LLM:n esikoulutus: data, laskenta, scaling laws ja kustannus

Objektiivissa ei muutu mikään. Malli ennustaa yhä seuraavan tokenin, loss on yhä luvun 4 cross-entropy sovellettuna luvun 8 faktorisointiin, optimointimenetelmä on yhä luvun 6 AdamW. Pretraining ei ole uusi algoritmi; se on sama algoritmi ajettuna korpuksella, joka on niin suuri, että ajo on budjetoitava. Kaksi asiaa tekee tämän mahdolliseksi: labelit ovat ilmaisia, koska kohdan $t$ target on token kohdassa $t+1$ ja on jo tekstissä; ja luvun 6 viimeinen osio poisti vastalauseen, koska malli, jossa on paljon enemmän parametreja kuin klassiset säännöt sallivat, ei hajoa vaan paranee. Lopputuloksena on base model — jokin, joka jatkaa tekstiä sen sijaan että vastaisi.

Ennen kuin tätä voi budjetoida, se on laskettava, ja ala laskee sen yhdellä kaavalla:

missä $N$ on parametrien määrä, $D$ training tokens ja $C$ floating-point-operaatioiden kokonaismäärä. Kaplan et al. johtavat sen kahdessa vaiheessa.¹ Forward: 2 FLOPia per parametri per token, koska jokaista matriisikertolaskun parametria käytetään kerran per token, yhdessä kertolaskussa ja yhdessä yhteenlaskussa. Backward: kaksi kertaa forward, koska luvun 5 backward pass laskee jokaisessa kerroksessa kaksi gradienttia — kerroksen inputeille, jotta signaali jatkaa kulkuaan, ja sen painoille — kumpikin forwardin kokoisena matriisikertolaskuna, joten $4N$.

Siinä on koko johtaminen, ja se kannattaa tarkistaa eikä vain uskoa. PyTorchin mukana tulee oikea FLOP-laskuri, torch.utils.flop_counter.FlopCounterMode, joka sieppaa jokaisen operaation, jonka malli lähettää, ja summaa todellisen työn. Aja se neljän kertaluokan yli, suurin meta-laitteella, joka varaa muodot mutta ei muistia:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Forward+backward suhteessa forwardiin on 3.000, täsmälleen, jokaisessa skaalassa: ei approksimaatio, joka sattuu olemaan hyvä, vaan yllä oleva aritmeettinen identiteetti pyöreänä lukuna laskurilta, joka ei tiedä johtamisesta mitään.

Mitattu kokonaismäärä on sitten 3–17 % yli $6ND$, kun $N$ laskee embedding-matriisit mukaan — ja sillä lisäyksellä on väliä, koska kaksi perustavaa paperia laskevat $N$ eri tavalla. Kaplan jättää pois ”all vocabulary and positional embeddings”, koska se ”produces significantly cleaner scaling laws” (§1.3); Chinchillan liite F sanoo ”we also count embeddings matrices in the total parameter count”.² Laajalla sanastolla ja kapealla hidden dimensionilla ero on yhdeksänkertainen, kuten ensimmäinen rivi näyttää.

Jäljelle jäävä ero on se, minkä $6ND$ tarkoituksella jättää pois: attention-pisteet. Kaplanin yhtälö (2.2) kirjoittaa forward-kustannuksen muodossa $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ ja pudottaa toisen termin, koska $d_{\text{model}} \gg n_{\text{ctx}}/12$ — turvallista vuonna 2020, vähemmän turvallista nyt, ja syy siihen miksi suhde valuu ylöspäin kun $T/d$ kasvaa — minkä vuoksi kahdella rivillä tässä on sama $T$ eli 1 024 ja suhde laskee, 1.145:stä 1.100:aan, kun $d$ kasvaa 768:sta 1 600:aan. Se on $O(T^2)$-kustannus, jonka luku 9 esitteli ja jonka luku 16 muuttaa hinnaksi.

Compute ratkaisee, kuinka kauan ajo kestää; muisti ratkaisee, voiko se alkaa. Kouluta tavallisella fp32 AdamW:llä, ja jokaiseen parametriin liittyy neljä lukua: paino, sen gradientti sekä Adamin juokseva keskiarvo $m$ ja varianssi $v$ — ne kaksi keskiarvoa, jotka rakennettiin käsin luvussa 6. Neljä lukua neljän tavun kokoisina on 16 tavua per parametri, ennen ensimmäistäkään activationia. Mitattuna 8 GB:n läppäri-GPU:lla, resident-varaus siinä stepin kohdassa, jossa graafia ei ole elossa:

Ennuste ja mittaus ovat 3 %:n sisällä toisistaan. Yllätys on viimeinen sarake: activationit peittävät mallin alleen. Sama 5,8 miljoonan parametrin malli, joka tarvitsee 89 MB pysyvää tilaa, tarvitsee 4 681 MB activationeja batchilla 128 — viisikymmentäkaksi kertaa mallin verran — eikä suuri osa siitä ole transformer lainkaan. Se on logits, yksi sanaston kokoinen vektori per token neljän tavun alkioilla: viimeisellä rivillä 512 MB, ensimmäisellä 393 MB. Sanaston koko valittiin luvussa 7, ja se päättää yhä, mikä mahtuu kortille.

Se, mikä termi dominoi, riippuu ajon muodosta, minkä vuoksi Micikevicius et al. sanovat muistin olevan ”dominated by activations”³, kun taas ZeRO sanoo 1,5 miljardin parametrin mallin tarvitsevan ”at least 24 GB” pelkkiin model states -tiloihin.⁴ ZeRO päätyy samoihin 16 tavuun toista reittiä — $2\Psi$ fp16-painoille, $2\Psi$ fp16-gradienttien, $4\Psi$ kullekin fp32 master weights -kopiolle ja Adamin kahdelle momentille — mikä 70 miljardilla parametrilla on 1,12 teratavua, neljäntoista 80 GB:n GPU:n verran ennen ensimmäistäkään activationia.

Mikään tästä ei mahdu yhdelle laitteelle frontier-skaalassa, joten ajo jaetaan neljällä tavalla yhtä aikaa. Data parallelism laittaa mallin kopion jokaiselle GPU:lle ja keskiarvoistaa gradientit — oletusratkaisu, jota ZeRO parantaa kieltäytymällä pitämästä ylimääräisiä kopioita optimiser-tilasta. Tensor parallelism jakaa yksittäiset matriisit laitteiden kesken. Pipeline parallelism antaa jokaiselle laitteelle yhtenäisen ryhmän kerroksia. Context parallelism jakaa itse sekvenssin, tarpeellinen vasta kun $T$ on tarpeeksi pitkä, jotta attention-termi dominoi. Llama 3:n taulukko 4 luettelee kaikki neljä yhtä aikaa: tensor 8, context enintään 16, pipeline 16, data enintään 128, yhteensä 16 384 H100-GPU:lla.⁵ Tämä kurssi ei sano siitä enempää; hajautetun koulutuksen engineering on oma lukukautensa, ja Stanfordin CS336 on se lukukausi, luennot 5–8, koodin kanssa.⁶ Delegoinnista jää jäljelle yksi luku, model FLOPs utilisation — osuus GPU:n huippuaritmetiikasta, jonka oikea ajo saavuttaa — joka muuttaa siistin $6ND$:n seinäkellon ajaksi ja siten rahaksi.

Tammikuussa 2020 Kaplan et al. kouluttivat ruudukon transformereita ja havaitsivat, että test loss noudattaa power law -lakia kullekin kolmesta resurssista yli kuuden kertaluokan alueella.¹ Heidän §1.2 antaa kolme sovitettua lakia:

kumppaneinaan $\alpha_D \approx 0.095$ datalle ja $\alpha_C^{\min} \approx 0.050$ optimaalisesti allokoidulle computelle. Vakiot eivät ole universaaleja, ja paperi sanoo sen: ”the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.”

Eksponentit ovat pieniä: kymmenkertaiset parametrit ostavat jäljellä olevasta lossista pois kertoimen $10^{0.076} \approx 1.19$. Se kuulostaa olemattomalta, ja se on tämän tärkein fakta — tuotot ovat surkeita eivätkä ne koskaan lopu. Power law pienellä eksponentilla lupaa, että seuraava kertaluokka auttaa, vähemmän kuin edellinen, ikuisesti. Computen ostaminen lakkaa olemasta uhkapeli ja muuttuu ostokseksi, jolla on julkaistu vaihtokurssi, mikä on täsmälleen se argumentti, joka avasi pääoman.

Sitten tuli ohjeistus, ja tässä paperi oli väärässä tavalla, joka maksoi alalle paljon rahaa. Kaplanin taulukko 6 antaa $N_{\text{opt}} \propto C^{0.73}$ ja $D_{\text{opt}} \propto C^{0.27}$: kymmenkertainen compute tarkoittaa 5,4 kertaa suurempaa mallia, jolle syötetään vain 1,9 kertaa enemmän tekstiä. Abstrakti on suora — ”optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.” Ala teki täsmälleen näin: GPT-3 on 175 miljardia parametria 300 miljardilla tokenilla,⁷ Gopher 280 miljardia 300 miljardilla, Megatron-Turing NLG 530 miljardia 270 miljardilla.² Puolesta tokenista kahteen tokeniin per parametri, kautta linjan.

Maaliskuussa 2022 Hoffmann et al. kouluttivat yli 400 mallia 70 miljoonasta 16 miljardiin parametriin ja päätyivät päinvastaiseen johtopäätökseen kolmella riippumattomalla tavalla.² Heidän taulukkonsa 2 raportoi eksponentin $a$ yhtälössä $N_{\text{opt}} \propto C^{a}$ arvoina 0.50, 0.49 ja 0.46, Kaplanin 0.73:aa vastaan. Selkokielellä: mallin koon ja training datan tulisi kasvaa samassa suhteessa.

Heidän toinen lähestymistapansa on se, jonka tämän luvun alun sweep toisti miljoonasosassa mittakaavasta: kiinnitä budjetti, kouluta monta kokoa täsmälleen sillä budjetilla, piirrä lopullinen loss mallin kokoa vasten.

Hold-out loss nat-yksiköissä per token, tokens per parametri suluissa, lihavointi kunkin budjetin parhaalle mallille; viiva on piste, jota ei ajettu, koska budjetti vaati enemmän tekstiä kuin korpuksessa on tai koko jäi kyseisen sweepin ulkopuolelle.

Lue saraketta alas: loss laskee, osuu pohjaan ja nousee taas. Malli voi olla budjetilleen liian suuri täsmälleen yhtä helposti kuin liian pieni — kohdassa $10^{14}$ rangaistus 665 280 parametrin valinnasta 295 808:n sijaan on 0,08 natia, mikä yllä sovitetulla käyrällä on loss, jonka oikein mitoitettu malli saavuttaa 18 % pienemmällä computella. Väärän muodon valinta heittää pois viidesosan budjetista. Se on Chinchillan kuva 3 iltapäivässä yhdellä GPU:lla neljänsadan mallin sijaan.

Lue nyt poikittain. Kohdassa $10^{13}$ paras malli on pienin sweepattu; kohdassa $10^{14}$ se on 295 808 parametria, molemmin puolin haarukoituna. Optimi liikkuu oikealle budjetin kasvaessa, mikä on koko korjauksen sisältö. Sovita paperin kolmas lähestymistapa — pinta $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ kaikkien ajojen yli — ja minimoi ehdolla $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, läppäriltä, Kaplanin 0.73:aa vastaan. Kolmen numeron yhteensopivuus kolmen budjetin sovituksesta on tuuria; ensimmäisen numeron yhteensopivuus ei ole. Eksponentti kulkee mukana — vakio ei, koska token-per-parametri-suhde näissä optimeissa on 170–540, ei 20. Kolme syytä, kaikki opettavaisia. $E$ sovittuu nollaan, koska yli 4 natin lossissa ajo ei ole lähelläkään entropialattiaa, joka dominoi Chinchillan sovitetta. Batch size ja learning rate pidettiin kiinteinä eikä viritetty jokaiselle pisteelle, mikä haittaa ajoja, jotka saavat vähiten steppejä — ja ne ovat suuret mallit: kohdassa $10^{13}$ FLOPs 1,28 miljoonan parametrin malli saa yhteensä 159 optimiser-stepiä, kaukana alle niiden muutaman tuhannen, jotka Kaplanin $S_{\min}$-termi sanoo minkä tahansa mallin tarvitsevan. Scaling law sovitetaan yhden regiimin sisällä, ja tämä on kuusi kertaluokkaa Chinchillan alapuolella.

Siksi paperin abstrakti: ”current large language models are significantly undertrained”. Chinchilla on demonstraatio — 70 miljardia parametria 1,4 biljoonalla tokenilla, sama kokonaiscompute kuin Gopherin 280 miljardia 300 miljardilla, ja parempi 51:ssä 57 MMLU-tehtävästä, 67,5 % vastaan 60 %.² Neljä kertaa pienempi, neljä ja puoli kertaa enemmän tekstiä, sama raha, parempi malli.

Kaksi varausta tuohon kuuluisaan suhteeseen. ”Kaksikymmentä tokenia per parametri” ei ole lause paperissa, joka sanoo vain, että ”for every doubling of model size the number of training tokens should also be doubled”; 20 on päätelmä taulukosta 3 ja Chinchillan omasta 70 B:stä 1,4 T:llä. Ja sen tarkkuus on huonompi kuin julkaistu: Besiroglu et al. sovittivat uudelleen kuvan 4 digitoinnista, havaitsivat alkuperäisten parametrien ”fit the reconstructed data poorly” ja intervallien olevan ”implausibly tight given the number of data points”, ja asettivat rehellisen haarukan välille ”between 4 and 40” tokenia per parametri.⁸

Yksi Chinchillan menetelmän yksityiskohta lunastaa lupauksen, jonka luku 1 teki learning-rate scheduleista. Cosine schedule on sovitettava token-budjettiin. Mallin, joka näkee 10 miljoonaa tokenia, on laskettava learning rate nollaan 10 miljoonan tokenin kohdalla; anna sille 100 miljoonalle mitoitettu schedule, pysäytä se aikaisin, ja luet lossia kesken laskun aivan liian suurella rate-arvolla. Chinchilla kouluttaa jokaisen mallin neljällä cycle lengthillä juuri tämän kontrolloimiseksi; yllä oleva sweep asettaa schedulensa budjetista samasta syystä.

Ne ovat alan hyödyllisin empiirinen tulos, ja niitä ylimyydään jatkuvasti. Neljä rajaa.

Ne ennustavat lossia, eivät capabilityä. Vasemmalla puolella on cross-entropy hold-out-tekstillä. Mikään näissä papereissa ei oikeuta väitettä siitä, kirjoittaako malli oikein SQL:ää, kieltäytyykö se haitallisesta pyynnöstä tai käyttääkö se työkalua. Tämä on taas luvun 5 oppi: lossin ennuste ei ole ennuste käytöksestä, josta maksat.

Ne sovitetaan, niitä ei johdeta. Mikään teoria ei tuota $\alpha_N = 0.076$. Vakiot liikkuvat tokenizerin mukana — siksi perplexity-vertailu kahden tokenizerin välillä on merkityksetön, kuten luku 8 selitti — sekä data mixin, arkkitehtuurin ja optimointimenetelmän mukana. Jokainen julkaistu laki on laki siitä asetelmasta, joka sen tuotti, minkä vuoksi Meta sovitti omansa uudelleen ennen Llama 3:a.⁵

Ne olettavat tuoreen tokenin jokaiselle stepille, mikä olettaa hiljaa äärettömän korpuksen. Muennighoff et al. mittasivat, mitä tapahtuu kun se loppuu: jopa neljä epochia toistettua dataa maksaa lähes mitään — 8,7 miljardin parametrin malli 44 miljardilla uniikilla tokenilla nähtynä neljä kertaa päätyi ”only 0.5 % higher validation loss” kuin sama malli 178 miljardilla uniikilla — kun taas noin kuudentoista epochin jälkeen lisäcompute ei osta mitään.⁹

Eikä kukaan enää kouluta compute-optimaalisesti. Chinchilla minimoi koulutuksen kustannuksen; tuotantoon viety malli maksaa sen jälkeen suunnilleen $2N$ FLOPs per generoitu token, ikuisesti. LLaMA 1 sanoi sen suoraan: ”given a target level of performance, the preferred model is not the fastest to train but the fastest at inference”.¹⁰ Sardana et al. formalisoivat sen minimoimalla sen sijaan $6ND_{\text{train}} + 2ND_{\text{inference}}$, ja havaitsivat, että miljardin pyynnön odottajan kannattaa kouluttaa ”smaller and longer than Chinchilla-optimal”.¹¹ Llama 3:n §9.1 on samaa mieltä: sen pienet mallit koulutetaan ”far beyond the point of compute optimal training, effectively trading training compute for inference efficiency”.⁵ Suhde ei ole vanhentunut; se vastaa kysymykseen, joka ei enää ole se jota kysytään.

Loss laskee tasaisesti. Benchmark-pisteet eivät aina. Wei et al. keräsivät tapauksia, joissa tehtävä pysyy sattuman tasolla useiden training compute -kertaluokkien yli ja sitten hyppää — kolminumeroinen aritmetiikka ilmestyy GPT-3:ssa noin $2 \times 10^{22}$ FLOPs kohdalla, MMLU nousee arvailun yläpuolelle $3$:n ja $5 \times 10^{23}$ välillä — ja nimesivät kuvion: ”an ability is emergent if it is not present in smaller models but is present in larger models”.¹² Jos se on todellinen ominaisuus, halvoista kokeista ekstrapolointi on vaarallista, koska capability, jonka ostat, ei ehkä ole olemassa missään skaalassa, jota pystyt testaamaan.

Schaeffer, Miranda ja Koyejo väittivät, että suurin osa siitä on mittauksen artefakti, ja mekanismi on aritmeettinen.¹³ Per-token loss laskee tasaisesti, joten todennäköisyys, että yksi token on oikein, $\exp(-\mathcal{L})$, paranee vähitellen. Pisteytä malli exact string match -mittarilla $L$-token-vastaukselle ja korotat tuon todennäköisyyden potenssiin $L$ — sileä käyrä suureen potenssiin korotettuna näyttää jyrkänteeltä. Vaihda mittariin, joka laskee tokenit sen sijaan että vaatisi kaikkien onnistuvan, samoilla ulostuloilla, ja ”the family's performance smoothly, continuously and predictably improves with increasing scale”.

Heidän auditointinsa on muistettava luku — ”of the 39 preferred metrics in BIG-Bench, at most 5 display emergence”, ja kaksi epäjatkuvaa mittaria selittää yli 92 % väitetyistä tapauksista — samoin heidän varoituksensa: ”nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities”. Hyppy kaaviossa on todistusaineistoa mittarista, kunnes toisin osoitetaan. Luku 29 on se kohta, jossa tästä tulee sinun ongelmasi, koska kovakatkaisevan mittarin valinta on päätös, jonka teet huomaamatta.

Korpus on pretraining-ajon osa, johon ei liity yhtälöä, ja jossa suurin osa seurauksellisista päätöksistä asuu. Raaka-aine on web crawl: Common Crawlin elokuun 2026 arkistossa on ”2.14 billion web pages or 360 TiB of uncompressed content”, yhden kuukauden verran, ladattavissa ilmaiseksi.¹⁴ Lähes mikään siitä ei kelpaa sellaisenaan. T5-paperi sanoo crawlin ”largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text”, ja sen esittelemä C4-pipeline on lista karkeita heuristiikkoja — pidä vain rivit, jotka päättyvät lopetusvälimerkkiin, pudota sivut joissa on alle kolme virkettä, pudota jokainen sivu jossa on aaltosulje tai sana julkiselta kirosanalistalta — muuttaen kaksikymmentä teratavua kuukausittaista tekstiä noin 750 GB:ksi.¹⁵

Karkea on oikea sana. Dodge et al. auditoivat, mitä nuo suodattimet poistavat, ja havaitsivat, että kirosanojen estolista poistaa 42 % African-American English -dokumenteista ja 32 % Hispanic-aligned English -dokumenteista, verrattuna 6,2 %:iin White-aligned English -dokumenteista, jättäen korpuksen, josta 97,8 % on viimeistä luokkaa.¹⁶ Säännöllä, jolla ei ollut mielipidettä murteesta, oli sellainen.

Sitten deduplication, joka ei ole siivousta: Lee et al. löysivät C4:stä 61-sanaisen virkkeen toistettuna 61 036 kertaa ja osoittivat, että deduplication leikkaa nopeuden, jolla mallit ”emit memorized text”, kymmenesosaan, 1,9 %:sta generoiduista tokeneista 0,19 %:iin.¹⁷ Enemmän ei silti ole parempi — FineWebin tiimi deduplikoi globaalisti 96 crawlin yli, sai 4 biljoonaa tokenia eikä mitattavaa hyötyä, sitten deduplikoi jokaisen crawlin erikseen, sai 20 biljoonaa ja vastasi parasta olemassa olevaa korpusta.¹⁸

Sitten contamination. Llama 3 mittasi omansa ja julkaisi sen: 98 % AGIEvalista, 95 % BIG-Bench Hardista ja 85 % HellaSwagista overlapasi training setin kanssa 8-grammeina, ja MMLU:n osalta overlap oli niin korkea, että ”it is impossible to get a good performance gain estimate”.⁵ GPT-3:n §4 raportoi suodatusbugin, joka jätti benchmarkit dataan ilman paluuta: ”because of cost considerations it was infeasible to retrain the model”.⁷

Provenance on ratkaisematon osa. The Pilen mukana tuli 100,96 GiB:n komponentti nimeltä Books3 — 12 % korpuksesta ja paperin oman suostumustaulukon mukaan kirjoja yksityiseltä torrent-trackerilta;¹⁹ se poistettiin verkosta elokuussa 2023 tekijänoikeusvalituksen jälkeen. Oikeudellinen tilanne syyskuussa 2026 on auki, ja kolme trendinä siteerattua yhdysvaltalaista ratkaisua ovat keskenään eri mieltä. Alsup katsoi laillisesti hankituilla kirjoilla kouluttamisen olevan ”exceedingly transformative” samalla kun piti piratoiduista kopioista rakennettua kirjastoa ei-sallittuna, ja Anthropic sovitteli tuon puolikkaan $1,5 miljardilla, joka kattaa 482 460 teosta, noin $3 000 kappaleelta, hyväksytty 20. heinäkuuta 2026.²⁰ Chhabria myönsi Metalle summary judgment -ratkaisun kirjoittaen samalla, että hänen ratkaisunsa ”does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful”, vaan ainoastaan että ”these plaintiffs made the wrong arguments”.²¹ Bibas, ratkaistessaan Ross Intelligenceä vastaan, huomautti, että ”only non-generative AI is before me today”.²² Yksikään Yhdysvaltain vetoomustuomioistuin ei ole ratkaissut kysymystä.

Ihmiset tekevät ne osat, joita loss ei voi tehdä. TIME raportoi tammikuussa 2023, että työntekijät, jotka labeloivat toksista tekstiä OpenAI:lle Sama-yhtiön kautta, saivat käteen ”between around $1.32 and $2 per hour” lukiessaan kohtia, jotka kuvasivat lasten seksuaalista hyväksikäyttöä, kidutusta ja itsensä vahingoittamista, kun OpenAI maksoi Samalle työstä $12.50 tunnilta; Sama kiistää sekä palkkahaarukan että kiintiön.²³ Se on pretrainingin ympärillä olevaa suodatusta eikä pretraining itse — mutta se on samalla laskulla, ja siinä kohdassa istuu ihminen.

Sähkö on todellista ja yleensä väärin siteerattua. Huolellisin julkaistu luku on BLOOMin: 1 082 990 GPU-tuntia, 433 MWh ja 24,7 tonnia CO₂-ekvivalenttia ajolle, 50,5 kun valmistus ja idle-solmut lasketaan mukaan;²⁴ Patterson et al. arvioivat GPT-3:lle 1 287 MWh ja 552 tonnia.²⁵ Kaksi varoitusta. BLOOMin etu on Ranskan ydinvoimavaltainen verkko, 57 g CO₂ per kWh, ei tehokkuus — se käytti enemmän energiaa kuin OPT-175B. Ja alan eniten siteerattu päästöluku, Strubell et al.:n 626 155 lb neural architecture searchille, osoitettiin myöhemmin 88 kertaa liian suureksi, koska oli oletettu haun ajaneen täyden mallin koossa, vaikka se ajettiin proxylla.²⁶ LBNL:n kehystys on puolustettava: Yhdysvaltain datakeskukset käyttivät 192 TWh vuonna 2024, 4,7 % maan sähköstä — luku, joka kuuluu toimialalle, ei yhdellekään ajolle.²⁷

Punainen lanka on se, minkä Bender et al. nimesivät documentation debtiksi: ”putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc”.²⁸ Jokainen yllä oleva fakta on olemassa, koska joku katsoi. Niiden korpusten kohdalla, joiden takana ovat useimpien käyttämät mallit, kukaan ei voi.

Nyt aritmetiikka, jonka kaikki haluavat, neljästä siteeratusta inputista, jotta niiden vanhentuessa on selvää, mikä pitää vaihtaa.

Lue kaksi viimeistä saraketta yhdessä. $10 000:lla saat 5 miljardin parametrin mallin yhdellä vuokratulla solmulla kahdessa viikossa. $100 000 000:n kohdalla aritmetiikka sanoo 546 miljardia parametria — ja kaksitoista tuhatta H100:aa kytkettynä yhteen kolmeksi kuukaudeksi, mikä ei ole asia, jonka vuokraat luottokortilla. Noin $100 000:n jälkeen sitova rajoite lakkaa olemasta raha ja muuttuu klusteriksi.

Ennen kuin luotat tällaiseen taulukkoon, testaa sitä ajoja vasten, joiden todellinen kustannus on julkaistu — llm.c toistaa GPT-2 124M:n ”~90 minutes” 8×A100-solmulla ”for about $20”, ja GPT-2 1.6B:n 24 tunnissa 8×H100-solmulla hintaan $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Molemmat noin 15 %:n sisällä, mikä on suunnilleen se tarkkuus, jonka tällainen arvio ansaitsee, ja huomattavasti parempi kuin tarkkuus, jolla sitä yleensä siteerataan.

Tämän aiheen toistetuin luku on, että GPT-2-luokan malli, joka maksoi noin $43 000 vuonna 2019, voidaan toistaa nykyään muutamalla kymmenellä dollarilla. Moderni puolisko on hyvin dokumentoitu; historiallinen puolisko ei ole.

Nykyään. Karpathyn nanochat README: ”you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.”³² ”GPT-2 capability” tässä on täsmällinen ja julkaistu — GPT-2:n CORE-pistemäärän 0.256525 voittaminen — leaderboardilla, jonka paras merkintä 14. maaliskuuta 2026 oli 1,65 tuntia. $48 olettaa $3 per GPU-tunti, alle Lambdan listahinnan $3.99; listahinnalla se on lähempänä $64.

Vuonna 2019. Ensisijaista lähdettä ei ole: OpenAI ei koskaan julkaissut kestoa eikä kustannusta. Ketju kulkee The Registerin kautta, helmikuu 2019, joka raportoi ”256 Google TPU3 cores” ilman hintaa ja kestoa; sitten Synced, kesäkuu 2019, huomauttaa että laitteisto maksoi $256 tunnilta Google Cloudissa ja sanoo eksplisiittisesti, että ”OpenAI didn't specify the training duration”. $43 008 on $256 tunnilta kertaa oletettu 168 tuntia, jota kukaan ei ole koskaan lähteistänyt.

Rehellinen otsikko on siis: malli, joka vastaa GPT-2:n julkaistua benchmark-pistemäärää, voidaan kouluttaa nykyään reilusti alle $100:lla vuokratulla laitteistolla, verrattuna vuoden 2019 kustannukseen, jota ei koskaan julkaistu ja jonka kuuluisa arvio lepää lähteistämättömällä arvauksella kestosta. Romahdus on todellinen, ja moderni puolisko on kenen tahansa luottokortillisen toistettavissa; suhde on aritmetiikkaa luvulla, jota ei ole olemassa. Tämä on julkaistujen koulutuskustannusten tila yleisesti. GPT-3-paperissa ei ole lainkaan dollarimäärää, vain $3.14 \times 10^{23}$ FLOPs taulukossa D.1;⁷ Llama 3 -paperissa ei ole sellaista myöskään.⁵ Jokainen lukemasi koulutuskustannus on arvio FLOP-määrästä, laitteisto-oletuksesta ja hinta-oletuksesta — aina kannattaa kysyä, kenen.

Ulos tulee malli, joka on nähnyt kiinteän korpuksen koottuna kiinteänä hetkenä, ja siitä seuraa kaksi ominaisuutta.

Ensimmäinen on knowledge cutoff. Keräyspäivän jälkeen malli ei tiedä mitään — ei ”on epävarma”, vaan ei mitään — ja se sepittää sujuvasti sen sijaan että sanoisi niin, koska sen sanominen ei koskaan ollut käytös, johon sitä koulutettiin. Llama 3.1:n model card antaa joulukuun 2023;³³ jokaisella mallilla on sellainen, ja se on training datan ominaisuus, ei käyttöönoton. Sen kiertäminen on retrieval-ongelma, joka on luku 19.

Toinen on, että base model täydentää eikä vastaa. Anna sille ”Mikä on Ranskan pääkaupunki?” ja uskottava jatko on toinen kysymys, koska korpuksessa tuo merkkijono esiintyy useimmiten harjoituslistassa.

Tekstin täydentäjä ei ole assistant. Se ei noudata ohjeita, koska mikään korpuksessa ei kertonut sille, että pyyntö pitäisi totella eikä jatkaa. Sillä ei ole käsitystä kahden osallistujan keskustelusta. Se tuottaa mielellään haitallisen promptin todennäköisimmän jatkon, koska todennäköinen on ainoa asia, jota varten se koskaan optimoitiin.

Sen muuttaminen joksikin, joka vastaa, vaatii toisen vaiheen, joka maksaa murto-osan ensimmäisestä prosentista ja koostuu lähes kokonaan esimerkkien näyttämisestä haluamastasi käytöksestä ja sitten sen omien ulostulojen parien vertailusta. Siinä vaiheessa syntyvät instruction following, chat templates, refusals ja — tämä yllättää ihmiset — kyky kutsua työkalua. Luku 11 on tuo vaihe: supervised fine-tuning, RLHF, DPO ja GRPO, sekä kysymys siitä, mitä ”aligned” tarkoittaa ja kuka päättää.

Tämän luvun rinnalla kannattaa lukea myös Karpathyn build-nanogpt ja siihen kuuluva video, jotka käyvät kokonaisen GPT-2-toiston läpi alusta loppuun tahdissa, johon tämä luku ei pysty; sekä Stanford CS324, Large Language Models, jonka datan ja ympäristövaikutusten luennot menevät syvemmälle materiaaliin, jota tämä kurssi käsittelee kerran ja delegoi.