Pretraining af en LLM: data, compute, scaling laws og pris

Intet i målet ændrer sig. Modellen forudsiger stadig næste token, tabet er stadig cross-entropy fra Kapitel 4 anvendt på faktoriseringen fra Kapitel 8, optimizeren er stadig AdamW fra Kapitel 6. Pretraining er ikke en ny algoritme; det er den samme algoritme kørt på et korpus, der er stort nok til, at kørslen skal budgetteres. To ting gør det muligt: labels er gratis, fordi målet for position $t$ er token ved $t+1$ og allerede findes i teksten; og sidste afsnit i Kapitel 6 fjernede indvendingen, fordi en model med langt flere parametre, end de klassiske regler tillader, ikke bryder sammen, men bliver bedre. Det, der kommer ud, er en basismodel — noget, der fortsætter tekst i stedet for at svare.

Før noget af dette kan budgetteres, skal det tælles, og feltet tæller det med én formel:

hvor $N$ er antallet af parametre, $D$ er trænings-tokens, og $C$ er det samlede antal floating-point-operationer. Kaplan et al. udleder det i to trin.¹ Forward: 2 FLOPs pr. parameter pr. token, fordi hver parameter i en matrixmultiplikation bruges én gang pr. token, i én multiplikation og én addition. Backward: dobbelt så meget som forward, fordi backward-passet fra Kapitel 5 beregner to gradienter i hvert lag — med hensyn til lagets inputs, så signalet bliver ved med at bevæge sig, og med hensyn til dets weights — hver især en matrixmultiplikation på størrelse med den i forward, altså $4N$.

Det er hele udledningen, og den er værd at tjekke i stedet for bare at tro på. PyTorch leverer en rigtig FLOP-tæller, torch.utils.flop_counter.FlopCounterMode, som opfanger hver operation, en model sender afsted, og summerer det faktiske arbejde. Kør den over fire størrelsesordener, den største på meta-enheden, som allokerer shapes og ingen hukommelse:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Forward+backward over forward-forholdet er 3,000, præcis, ved hver skala: ikke en tilnærmelse, der tilfældigvis er god, men den aritmetiske identitet ovenfor returneret som et rundt tal af en tæller, der intet ved om udledningen.

Den målte total ligger derefter mellem 3 % og 17 % over $6ND$, når $N$ tæller embedding-matricerne med — og den sætning betyder noget, fordi de to grundlæggende papers tæller $N$ forskelligt. Kaplan udelader »all vocabulary and positional embeddings«, fordi det »produces significantly cleaner scaling laws« (§1.3); Chinchillas Appendix F siger »we also count embeddings matrices in the total parameter count«.² For et bredt vokabular og en smal hidden dimension adskiller de to sig med en faktor ni, som første række viser.

Restgabet er det, $6ND$ bevidst udelader: attention-scorerne. Kaplans Eq. (2.2) skriver forward-omkostningen som $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ og dropper det andet led, fordi $d_{\text{model}} \gg n_{\text{ctx}}/12$ — sikkert i 2020, mindre sikkert nu, og grunden til, at forholdet driver opad, når $T/d$ vokser — hvilket er grunden til, at to rækker her deler en $T$ på 1.024, og forholdet falder, fra 1,145 til 1,100, når $d$ går fra 768 til 1.600. Det er den $O(T^2)$-omkostning, Kapitel 9 introducerede, og som Kapitel 16 gør til en pris.

Compute afgør, hvor lang tid en kørsel tager; hukommelse afgør, om den kan starte. Træn med almindelig fp32 AdamW, og hver parameter bærer fire tal: weight, dens gradient, og Adams løbende middel $m$ og varians $v$ — de to gennemsnit, der blev bygget i hånden i Kapitel 6. Fire tal på fire bytes hver er 16 bytes pr. parameter, før en eneste activation. Målt på en 8 GB laptop-GPU ved at tage den residente allokering på det punkt i steppet, hvor ingen graf er i live:

Forudsigelse og måling stemmer inden for 3 %. Overraskelsen er den sidste kolonne: activations får modellen til at se lille ud. Den samme model med 5,8 millioner parametre, som kræver 89 MB vedvarende tilstand, kræver 4.681 MB activations ved en batch på 128 — tooghalvtreds gange modellen — og meget af det er slet ikke transformer’en. Det er logits, én vektor af vokabularstørrelse pr. token ved fire bytes pr. element: 512 MB i sidste række, 393 MB i første. Vokabularstørrelsen blev valgt i Kapitel 7, og den afgør stadig, hvad der kan være på kortet.

Hvilket led der dominerer, afhænger af kørslens form, og derfor siger Micikevicius et al., at hukommelse »is dominated by activations«³, mens ZeRO siger, at en model med 1,5 milliarder parametre kræver »at least 24 GB« alene til modeltilstande.⁴ ZeRO når frem til de samme 16 bytes ad en anden vej — $2\Psi$ for fp16 weights, $2\Psi$ for fp16 gradients, $4\Psi$ hver for fp32 master weights og Adams to moments — hvilket for 70 milliarder parametre er 1,12 terabyte, svarende til fjorten 80 GB-GPU’er, før en eneste activation.

Intet af det passer på én enhed ved frontier-skala, så kørslen deles på fire måder samtidig. Data parallelism lægger en kopi af modellen på hver GPU og gennemsnitter gradienterne — standarden, og den ZeRO forbedrer ved at nægte at beholde redundante kopier af optimizer-tilstanden. Tensor parallelism splitter enkelte matricer på tværs af enheder. Pipeline parallelism giver hver enhed en sammenhængende gruppe lag. Context parallelism splitter selve sekvensen, nødvendigt først når $T$ er lang nok til, at attention-leddet dominerer. Llama 3’s Tabel 4 viser alle fire på én gang: tensor 8, context op til 16, pipeline 16, data op til 128, på tværs af 16.384 H100-GPU’er.⁵ Det er alt, dette kursus vil sige om det; distributed training-engineering er et helt semester for sig, og Stanford CS336 er det semester, lektion 5 til 8, med koden.⁶ Det, der overlever uddelegeringen, er ét tal, model FLOPs utilisation — andelen af en GPU’s peak-aritmetik, som en rigtig kørsel opnår — hvilket er det, der gør det pæne $6ND$ til vægurtid og derfor til penge.

I januar 2020 trænede Kaplan et al. et gitter af transformers og fandt, at testtabet følger en potenslov i hver af de tre ressourcer over mere end seks størrelsesordener.¹ Deres §1.2 giver tre fitted laws:

med ledsagere $\alpha_D \approx 0.095$ for data og $\alpha_C^{\min} \approx 0.050$ for optimalt allokeret compute. Konstanterne er ikke universelle, og paper’et siger det selv: »the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.«

Eksponenterne er bittesmå: ti gange parametrene køber en faktor $10^{0.076} \approx 1.19$ af det resterende tab. Det lyder som ingenting, og det er den vigtigste kendsgerning her — afkastet er elendigt, og det stopper aldrig. En potenslov med en lille eksponent lover, at næste størrelsesorden vil hjælpe, mindre end den forrige gjorde, for evigt. At købe compute holder op med at være et gamble og bliver et køb med en offentliggjort vekselkurs, og det er præcis argumentet, der frigjorde kapitalen.

Så kom forskriften, og her tog paper’et fejl på en måde, der kostede industrien rigtig mange penge. Kaplans Tabel 6 giver $N_{\text{opt}} \propto C^{0.73}$ og $D_{\text{opt}} \propto C^{0.27}$: ti gange compute betyder en model, der er 5,4 gange større, fodret med kun 1,9 gange så meget tekst. Abstractet er eksplicit — »optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.« Feltet gjorde præcis det: GPT-3 er 175 milliarder parametre på 300 milliarder tokens,⁷ Gopher 280 milliarder på 300 milliarder, Megatron-Turing NLG 530 milliarder på 270 milliarder.² En halv token til to tokens pr. parameter, hele vejen rundt.

I marts 2022 trænede Hoffmann et al. over 400 modeller fra 70 millioner til 16 milliarder parametre og nåede den modsatte konklusion ad tre uafhængige veje.² Deres Tabel 2 rapporterer eksponenten $a$ i $N_{\text{opt}} \propto C^{a}$ som 0,50, 0,49 og 0,46, mod Kaplans 0,73. Sagt enkelt: modelstørrelse og træningsdata bør vokse i samme forhold.

Deres anden tilgang er den, sweepet i toppen af dette kapitel reproducerer i en milliontedel af skalaen: fasthold et budget, træn mange størrelser ved præcis det budget, plot endeligt tab mod modelstørrelse.

Hold-out-tab i nats pr. token, tokens pr. parameter i parentes, fed for den bedste model ved hvert budget; en streg er et punkt, der ikke blev kørt, fordi budgettet krævede mere tekst, end korpusset rummer, eller størrelsen faldt uden for dem, der blev sweepet dér.

Læs ned gennem en kolonne: tabet falder, rammer bunden og stiger igen. En model kan være for stor til sit budget præcis lige så let som for lille — ved $10^{14}$ er straffen for at vælge 665.280 parametre frem for 295.808 0,08 nats, hvilket på den envelope, der blev fitted ovenfor, er det tab, en korrekt dimensioneret model når med 18 % mindre compute. At vælge den forkerte form smider en femtedel af budgettet væk. Det er Chinchillas Figur 3 på en eftermiddag på én GPU i stedet for med fire hundrede modeller.

Læs nu på tværs. Ved $10^{13}$ er den bedste model den mindste i sweepet; ved $10^{14}$ er den 295.808 parametre, indrammet på begge sider. Optimum flytter mod højre, når budgettet vokser, og det er hele indholdet i korrektionen. Fit paper’ets tredje tilgang — fladen $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ over hver kørsel — og minimér under betingelsen $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, fra en laptop, mod Kaplans 0,73. Overensstemmelse på tre cifre fra et fit med tre budgetter er held; overensstemmelse på det første er det ikke. Eksponenten rejser — konstanten gør ikke, eftersom token-til-parameter-forholdet ved disse optima er 170 til 540, ikke 20. Tre grunde, alle lærerige. $E$ fitter til nul, fordi kørslen ved et tab over 4 nats slet ikke er tæt på det entropigulv, der dominerer Chinchillas fit. Batch size og learning rate blev holdt faste i stedet for tuned pr. punkt, hvilket handicappper de kørsler, der får færrest steps — og det er de store modeller: ved $10^{13}$ FLOPs får en model med 1,28 millioner parametre 159 optimizer-steps i alt, langt under de få tusinde, Kaplans $S_{\min}$-led siger, at enhver model behøver. En scaling law fitted inden for et regime, og denne ligger seks størrelsesordener under Chinchillas.

Derfor paper’ets abstract: »current large language models are significantly undertrained«. Chinchilla er demonstrationen — 70 milliarder parametre på 1,4 billioner tokens, den samme samlede compute som Gophers 280 milliarder på 300 milliarder, og bedre end den på 51 af 57 MMLU-opgaver, 67,5 % mod 60 %.² Fire gange mindre, fire en halv gange mere tekst, samme penge, bedre model.

To forbehold om det berømte forhold. »Tyve tokens pr. parameter« er ikke en sætning i paper’et, som kun siger, at »for every doubling of model size the number of training tokens should also be doubled«; de 20 er en slutning fra Tabel 3 og fra Chinchillas egne 70 B på 1,4 T. Og præcisionen er dårligere end publiceret: Besiroglu et al. refittede fra en digitalisering af Figur 4, fandt, at de oprindelige parametre »fit the reconstructed data poorly« med intervaller »implausibly tight given the number of data points«, og satte det ærlige interval til »between 4 and 40« tokens pr. parameter.⁸

Én detalje i Chinchillas metode indfrier et løfte, Kapitel 1 gav om learning-rate schedules. Cosine-schedule skal matches til token-budgettet. En model, der kommer til at se 10 millioner tokens, skal decay sin learning rate til nul ved 10 millioner tokens; giv den en schedule dimensioneret til 100 millioner, stop den tidligt, og du aflæser et tab midt i nedstigningen ved en rate, der er alt for høj. Chinchilla træner hver model ved fire cycle lengths for præcis at kontrollere for dette; sweepet ovenfor sætter sin schedule ud fra budgettet af samme grund.

De er det mest nyttige empiriske resultat i feltet, og de bliver rutinemæssigt oversolgt. Fire begrænsninger.

De forudsiger tab, ikke evner. Venstresiden er cross-entropy på hold-out-tekst. Intet i disse papers giver lov til en påstand om, hvorvidt en model vil skrive korrekt SQL, afvise en skadelig anmodning eller bruge et tool. Det er lektionen fra Kapitel 5 igen: en forudsigelse af tabet er ikke en forudsigelse af den adfærd, du betaler for.

De er fitted, ikke udledt. Ingen teori producerer $\alpha_N = 0.076$. Konstanterne flytter sig med tokenizer’en — og derfor er en perplexity-sammenligning på tværs af to tokenizers meningsløs, som Kapitel 8 forklarede — og med data-mix, arkitektur og optimizer. Enhver publiceret lov er en lov for det setup, der producerede den, og derfor refittede Meta sin egen før Llama 3.⁵

De antager en frisk token for hvert step, hvilket stille antager et uendeligt korpus. Muennighoff et al. målte, hvad der sker, når det slipper op: op til fire epochs af gentagne data koster næsten ingenting — en model med 8,7 milliarder parametre på 44 milliarder unikke tokens set fire gange sluttede »only 0.5 % higher validation loss« end samme model på 178 milliarder unikke — mens ekstra compute efter omtrent seksten epochs ikke køber noget.⁹

Og ingen træner compute-optimal længere. Chinchilla minimerer omkostningen ved træning; en deployed model betaler derefter omtrent $2N$ FLOPs pr. genereret token, for evigt. LLaMA 1 sagde det ligeud: »given a target level of performance, the preferred model is not the fastest to train but the fastest at inference«.¹⁰ Sardana et al. formaliserede det ved at minimere $6ND_{\text{train}} + 2ND_{\text{inference}}$ i stedet og fandt, at enhver, der forventer en milliard requests, bør træne »smaller and longer than Chinchilla-optimal«.¹¹ Llama 3’s §9.1 er enig: dens små modeller trænes »far beyond the point of compute optimal training, effectively trading training compute for inference efficiency«.⁵ Forholdet er ikke forældet; det besvarer et spørgsmål, som ikke længere er det, der bliver stillet.

Tabet falder jævnt. Benchmark-scorer gør det nogle gange ikke. Wei et al. samlede tilfælde, hvor en opgave ligger på tilfældighedsniveau over størrelsesordener af trænings-compute og derefter springer — trecifret aritmetik, der dukker op i GPT-3 ved omkring $2 \times 10^{22}$ FLOPs, MMLU, der stiger over gætning mellem $3$ og $5 \times 10^{23}$ — og gav mønstret et navn: »an ability is emergent if it is not present in smaller models but is present in larger models«.¹² Hvis det er en virkelig egenskab, er ekstrapolation fra billige eksperimenter usikker, fordi den evne, du køber, måske ikke findes i nogen skala, du har råd til at teste.

Schaeffer, Miranda og Koyejo argumenterede for, at det meste er en måleartefakt, og mekanismen er aritmetik.¹³ Per-token-tab falder jævnt, så sandsynligheden for, at én token er rigtig, $\exp(-\mathcal{L})$, forbedres gradvist. Scor modellen med exact string match over et svar på $L$ tokens, og du opløfter den sandsynlighed til $L$ — en jævn kurve opløftet i en stor potens ligner en klippe. Skift til en metrik, der tæller tokens i stedet for at kræve dem alle, på de samme outputs, og »the family's performance smoothly, continuously and predictably improves with increasing scale«.

Deres audit er tallet at huske — »of the 39 preferred metrics in BIG-Bench, at most 5 display emergence«, hvor to diskontinuerte metrikker står for over 92 % af de påståede tilfælde — og det er deres advarsel også: »nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities«. Et spring i en graf er evidens om metrikken, indtil andet er vist. Kapitel 29 er dér, hvor det bliver dit problem, fordi valget af en hard-cutoff-metrik er en beslutning, du træffer uden at opdage det.

Korpusset er den del af en pretraining-kørsel, der ikke har nogen ligning knyttet til sig, og hvor de fleste afgørende beslutninger bor. Råmaterialet er et web crawl: Common Crawls arkiv fra august 2026 rummer »2.14 billion web pages or 360 TiB of uncompressed content«, én måned af det, gratis at downloade.¹⁴ Næsten intet er brugbart, som det står. T5-paper’et siger, at crawlet »largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text«, og C4-pipelinen, det introducerede, er en liste af grove heuristikker — behold kun linjer, der slutter med terminal tegnsætning, kassér sider med færre end tre sætninger, kassér enhver side, der indeholder en krøllet parentes eller et ord fra en offentlig liste over skældsord — som gør tyve terabyte månedlig tekst til omkring 750 GB.¹⁵

Groft er ordet. Dodge et al. audited, hvad disse filtre fjerner, og fandt, at bloklisten over skældsord sletter 42 % af dokumenter på African-American English og 32 % på Hispanic-aligned English, mod 6,2 % af White-aligned English, og efterlader et korpus, hvor 97,8 % er den sidste kategori.¹⁶ En regel uden mening om dialekt havde én.

Derefter deduplication, som ikke er rengøring: Lee et al. fandt en sætning på 61 ord gentaget 61.036 gange i C4 og viste, at deduplication reducerer den hastighed, hvormed modeller »emit memorized text«, tifold, fra 1,9 % af genererede tokens til 0,19 %.¹⁷ Mere er dog ikke bedre — FineWeb-teamet deduplicated globalt på tværs af 96 crawls, fik 4 billioner tokens og ingen målbar gevinst, og deduplicated derefter hvert crawl separat, fik 20 billioner og matchede det bedste eksisterende korpus.¹⁸

Derefter contamination. Llama 3 målte sin egen og publicerede den: 98 % af AGIEval, 95 % af BIG-Bench Hard og 85 % af HellaSwag overlappede træningssættet ved 8-grams, og for MMLU var overlap så højt, at »it is impossible to get a good performance gain estimate«.⁵ GPT-3’s §4 rapporterer en filtreringsbug, der efterlod benchmarks i dataene uden vej tilbage: »because of cost considerations it was infeasible to retrain the model«.⁷

Proveniens er den uløste del. The Pile leverede en komponent på 100,96 GiB kaldet Books3 — 12 % af korpusset og, ifølge paper’ets egen samtykketabel, bøger fra en privat torrent-tracker;¹⁹ den blev taget offline i august 2023 efter en copyright-klage. Den juridiske position pr. september 2026 er uafklaret, og de tre amerikanske afgørelser, der citeres som en trend, er uenige med hinanden. Alsup fandt træning på lovligt erhvervede bøger »exceedingly transformative«, mens han fastslog, at et bibliotek bygget af piratkopier ikke var det, og Anthropic indgik forlig om den halvdel for $1,5 milliarder dækkende 482.460 værker, omtrent $3.000 hver, godkendt 20. juli 2026.²⁰ Chhabria gav Meta summary judgment, mens han skrev, at hans afgørelse »does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful«, kun at »these plaintiffs made the wrong arguments«.²¹ Bibas, der afgjorde imod Ross Intelligence, bemærkede, at »only non-generative AI is before me today«.²² Ingen amerikansk appelret har afgjort spørgsmålet.

Mennesker gør de dele, tabet ikke kan. TIME rapporterede i januar 2023, at arbejdere, der labellede giftig tekst for OpenAI gennem firmaet Sama, tog »between around $1.32 and $2 per hour« med hjem for at læse passager, der beskrev seksuelt misbrug af børn, tortur og selvskade, mens OpenAI betalte Sama $12,50 i timen for arbejdet; Sama bestrider både lønintervallet og kvoten.²³ Det er filtreringen omkring pretraining snarere end pretraining selv — men det står på samme faktura, og det er dér, et menneske sidder.

Elektriciteten er virkelig og som regel fejlciteret. Det mest omhyggelige publicerede tal er BLOOMs: 1.082.990 GPU-timer, 433 MWh og 24,7 ton CO₂-ækvivalent for kørslen, 50,5 når produktion og idle nodes tælles med;²⁴ Patterson et al. sætter GPT-3 til 1.287 MWh og 552 ton.²⁵ To forbehold. BLOOMs fordel er det franske atomnet på 57 g CO₂ pr. kWh snarere end effektivitet — den brugte mere energi end OPT-175B. Og feltets mest citerede emissionsfigur, Strubell et al.s 626.155 lb for en neural architecture search, blev senere vist at være 88 gange for høj, fordi man havde antaget, at søgningen kørte ved fuld modelstørrelse, når den kørte på en proxy.²⁶ LBNL’s framing er den forsvarlige: amerikanske datacentre brugte 192 TWh i 2024, 4,7 % af national elektricitet — et tal knyttet til en industri, ikke til én bestemt kørsel.²⁷

Den røde tråd er det, Bender et al. kaldte documentation debt: »putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc«.²⁸ Hver kendsgerning ovenfor findes, fordi nogen kiggede. For korpusserne bag de modeller, de fleste bruger, kan ingen.

Nu aritmetikken, alle vil have, fra fire citerede inputs, så det er åbenlyst, hvad der skal skiftes ud, når de bliver forældede.

Læs de sidste to kolonner sammen. For $10.000 får du en model med 5 milliarder parametre på én lejet node på fjorten dage. Ved $100.000.000 siger aritmetikken 546 milliarder parametre — og tolv tusind H100’er koblet sammen i tre måneder, hvilket ikke er noget, du lejer med et kreditkort. Efter omtrent $100.000 holder den bindende begrænsning op med at være penge og bliver clusteret.

Før du stoler på en tabel som den, så test den mod kørsler, hvis reelle pris er publiceret — llm.c reproducerer GPT-2 124M på »~90 minutes« på en 8×A100-node »for about $20«, og GPT-2 1.6B på 24 timer på en 8×H100-node for $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Begge inden for omkring 15 %, hvilket omtrent er den nøjagtighed, denne slags estimat fortjener, og betydeligt bedre end den nøjagtighed, det normalt citeres med.

Det mest gentagne tal i dette emne er, at en model i GPT-2-klassen, som kostede omkring $43.000 i 2019, i dag kan reproduceres for nogle få dusin dollars. Den moderne halvdel er veldokumenteret; den historiske halvdel er ikke.

I dag. Karpathys nanochat README: »you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.«³² »GPT-2 capability« er her præcist og publiceret — at slå GPT-2’s CORE-score på 0,256525 — på en leaderboard, hvis bedste entry pr. 14. marts 2026 er 1,65 timer. De $48 antager $3 pr. GPU-time, under Lambdas listepris på $3,99; til listepris er det nærmere $64.

I 2019. Der er ingen primærkilde: OpenAI publicerede aldrig en varighed eller en pris. Kæden går gennem The Register, februar 2019, som rapporterede »256 Google TPU3 cores« uden pris og uden varighed; derefter Synced, juni 2019, som bemærkede, at hardwaren kostede $256 i timen på Google Cloud, og eksplicit sagde, at »OpenAI didn't specify the training duration«. $43.008 er $256 i timen gange en antaget 168 timer, som ingen nogensinde har angivet kilde til.

Så den ærlige overskrift er: en model, der matcher GPT-2’s publicerede benchmark-score, kan i dag trænes for langt under $100 på lejet hardware, mod en pris i 2019, som aldrig blev publiceret, og hvis berømte estimat hviler på et ukildet gæt om varigheden. Kollapset er virkeligt, og den moderne halvdel kan reproduceres af enhver med et kreditkort; forholdet er aritmetik på et tal, der ikke findes. Det er tilstanden for publicerede træningsomkostninger generelt. GPT-3-paper’et indeholder intet dollarbeløb overhovedet, kun $3.14 \times 10^{23}$ FLOPs i Tabel D.1;⁷ Llama 3-paper’et indeholder heller ikke noget.⁵ Enhver træningspris, du har læst, er et estimat fra en FLOP-optælling, en hardwareantagelse og en prisantagelse — altid værd at spørge hvis.

Det, der kommer ud, har set et fast korpus samlet på et fast tidspunkt, og to egenskaber følger.

Den første er knowledge cutoff. Efter indsamlingsdatoen ved modellen ingenting — ikke »er usikker«, ingenting — og den vil confabulate flydende i stedet for at sige det, fordi det aldrig var en adfærd, den blev trænet på. Llama 3.1’s model card angiver december 2023;³³ hver model har én, og det er en egenskab ved træningsdataene, ikke deployment. At omgå det er et retrieval-problem, hvilket er Kapitel 19.

Den anden er, at en basismodel fuldender snarere end svarer. Giv den »Hvad er Frankrigs hovedstad?«, og en sandsynlig fortsættelse er et andet spørgsmål, fordi den streng i korpusset oftest optræder i en liste med øvelser.

En tekstfuldender er ikke en assistant. Den følger ikke instruktioner, fordi intet i korpusset fortalte den, at en anmodning skulle adlydes i stedet for fortsættes. Den har ingen forestilling om en samtale med to deltagere. Den vil gladeligt producere den mest sandsynlige fortsættelse af en skadelig prompt, fordi sandsynlig var det eneste, den nogensinde blev optimeret for.

At gøre den til noget, der svarer, kræver et andet trin, som koster en brøkdel af en procent af det første, og som næsten udelukkende består i at vise den eksempler på den adfærd, du vil have, og derefter sammenligne par af dens egne outputs. Det trin er dér, instruction following, chat templates, refusals og — det overrasker folk — evnen til at call a tool alle kommer fra. Kapitel 11 er det trin: supervised fine-tuning, RLHF, DPO og GRPO, og spørgsmålet om, hvad »aligned« betyder, og hvem der bestemmer.

Også værd at læse ved siden af dette kapitel: Karpathys build-nanogpt og den tilhørende video, som gennemgår en fuld GPT-2-reproduktion fra ende til anden i et tempo, dette kapitel ikke kan; og Stanford CS324, Large Language Models, hvis lektioner om data og miljøpåvirkning går dybere end afsnittet ovenfor i materiale, dette kursus behandler én gang og uddelegerer.