Pretrainingul unui LLM: date, compute, scaling laws și cost

Obiectivul nu se schimbă. Modelul tot prezice următorul token, loss-ul este tot cross-entropy din Capitolul 4 aplicată factorizării din Capitolul 8, optimizatorul este tot AdamW din Capitolul 6. Pretrainingul nu este un algoritm nou; este același algoritm rulat pe un corpus suficient de mare încât rularea trebuie bugetată. Două lucruri fac asta posibil: etichetele sunt gratuite, deoarece ținta pentru poziția $t$ este tokenul de la $t+1$ și se află deja în text; iar ultima secțiune din Capitolul 6 a eliminat obiecția, fiindcă un model cu mult mai mulți parametri decât permit regulile clasice nu se destramă, ci se îmbunătățește. Rezultatul este un model de bază — ceva care continuă text, nu răspunde.

Înainte ca totul să poată fi bugetat, trebuie numărat, iar domeniul îl numără cu o singură formulă:

unde $N$ este numărul de parametri, $D$ numărul de tokens de antrenare, iar $C$ operațiile totale în virgulă mobilă. Kaplan et al. o derivă în doi pași.¹ Forward: 2 FLOPs per parametru per token, deoarece fiecare parametru dintr-o înmulțire de matrici este folosit o dată per token, într-o înmulțire și o adunare. Backward: de două ori forward, deoarece backward pass-ul din Capitolul 5 calculează două gradients la fiecare strat — față de intrările stratului, ca semnalul să continue, și față de weights — fiecare fiind o înmulțire de matrici de mărimea celei din forward, deci $4N$.

Aceasta este întreaga derivare și merită verificată, nu crezută. PyTorch include un contor real de FLOP, torch.utils.flop_counter.FlopCounterMode, care interceptează fiecare operație lansată de model și adună munca efectivă. Rulează-l pe patru ordine de mărime, cel mai mare pe dispozitivul meta, care alocă forme, nu memorie:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Raportul forward+backward peste forward este 3.000, exact, la fiecare scară: nu o aproximație întâmplător bună, ci identitatea aritmetică de mai sus returnată ca număr rotund de un contor care nu știe nimic despre derivare.

Totalul măsurat stă apoi între 3 % și 17 % peste $6ND$, odată ce $N$ numără matricile de embedding — iar clauza contează, fiindcă cele două lucrări fondatoare numără $N$ diferit. Kaplan exclude „toate embeddings de vocabular și poziționale” fiindcă așa „produce scaling laws semnificativ mai curate” (§1.3); Appendix F din Chinchilla spune „numărăm și matricile embeddings în numărul total de parametri”.² Pentru un vocabular larg și o dimensiune ascunsă îngustă, cele două diferă de nouă ori, cum arată primul rând.

Diferența rămasă este ceea ce $6ND$ omite deliberat: scorurile de attention. Ecuația (2.2) a lui Kaplan scrie costul forward ca $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ și elimină al doilea termen fiindcă $d_{\text{model}} \gg n_{\text{ctx}}/12$ — sigur în 2020, mai puțin sigur acum, și motivul pentru care raportul urcă odată cu $T/d$ — de aceea două rânduri de aici au același $T$ de 1.024 și raportul scade, de la 1.145 la 1.100, când $d$ trece de la 768 la 1.600. Este costul $O(T^2)$ introdus în Capitolul 9 și transformat în preț în Capitolul 16.

Compute-ul decide cât durează o rulare; memoria decide dacă poate începe. Antrenează cu AdamW fp32 simplu și fiecare parametru poartă patru numere: weight-ul, gradientul, media mobilă Adam $m$ și varianța $v$ — cele două medii construite manual în Capitolul 6. Patru numere a câte patru bytes înseamnă 16 bytes per parametru, înainte de orice activare. Măsurat pe un GPU de laptop de 8 GB, luând alocarea rezidentă în punctul din pas în care nu mai există graph:

Predicția și măsurarea se potrivesc în limita a 3 %. Surpriza este ultima coloană: activările eclipsează modelul. Același model de 5,8 milioane de parametri care are nevoie de 89 MB de stare persistentă are nevoie de 4.681 MB de activări la un batch de 128 — de cincizeci și două de ori modelul — iar mare parte nu este transformerul deloc. Sunt logits: câte un vector de mărimea vocabularului per token, la patru bytes per intrare: 512 MB în ultimul rând, 393 MB în primul. Mărimea vocabularului a fost aleasă în Capitolul 7 și încă decide ce încape pe placă.

Termenul dominant depinde de forma rulării, motiv pentru care Micikevicius et al. spun că memoria „este dominată de activări”³, în timp ce ZeRO spune că un model de 1,5 miliarde de parametri are nevoie de „cel puțin 24 GB” doar pentru stările modelului.⁴ ZeRO ajunge la aceiași 16 bytes pe altă cale — $2\Psi$ pentru weights fp16, $2\Psi$ pentru gradients fp16, câte $4\Psi$ pentru fp32 master weights și cele două momente Adam — ceea ce, pentru 70 de miliarde de parametri, înseamnă 1,12 terabytes, cât paisprezece GPU-uri de 80 GB înainte de orice activare.

Nimic din asta nu încape pe un singur dispozitiv la scară frontier, așa că rularea se împarte în patru feluri deodată. Data parallelism pune o copie a modelului pe fiecare GPU și mediază gradients — varianta implicită, pe care ZeRO o îmbunătățește refuzând copiile redundante ale stării optimizatorului. Tensor parallelism împarte matrici individuale între dispozitive. Pipeline parallelism dă fiecărui dispozitiv un grup contiguu de straturi. Context parallelism împarte însăși secvența, necesar doar când $T$ devine suficient de lungă ca termenul de attention să domine. Tabelul 4 din Llama 3 le listează pe toate patru simultan: tensor 8, context până la 16, pipeline 16, data până la 128, pe 16.384 GPU-uri H100.⁵ Atât va spune acest curs despre asta; ingineria distributed training este un semestru separat, iar CS336 de la Stanford este acel semestru, cursurile 5–8, cu cod.⁶ Ce rămâne după delegare este un singur număr, model FLOPs utilisation — fracțiunea din vârful aritmetic al unui GPU pe care o obține o rulare reală — care transformă ordonatul $6ND$ în timp de ceas și deci în bani.

În ianuarie 2020, Kaplan et al. au antrenat o grilă de transformers și au găsit că test loss-ul urmează o power law în fiecare dintre cele trei resurse pe mai mult de șase ordine de mărime.¹ §1.2 dă trei legi ajustate:

cu însoțitoarele $\alpha_D \approx 0.095$ pentru date și $\alpha_C^{\min} \approx 0.050$ pentru compute alocat optim. Constantele nu sunt universale, iar lucrarea o spune: „valorile numerice precise ale $N_c$, $C_c^{\min}$ și $D_c$ depind de mărimea vocabularului și tokenization și, prin urmare, nu au un sens fundamental.”

Exponenții sunt minusculi: de zece ori parametrii cumpără un factor $10^{0.076} \approx 1.19$ din loss-ul rămas. Pare nimic, și acesta este cel mai important fapt aici — randamentele sunt groaznice și nu se opresc niciodată. O power law cu exponent mic promite că următorul ordin de mărime va ajuta, mai puțin decât precedentul, pentru totdeauna. Cumpărarea de compute încetează să fie un pariu și devine o achiziție cu curs de schimb publicat, exact argumentul care a deblocat capitalul.

Apoi a venit prescripția, iar aici lucrarea s-a înșelat într-un fel care a costat industria mulți bani. Tabelul 6 din Kaplan dă $N_{\text{opt}} \propto C^{0.73}$ și $D_{\text{opt}} \propto C^{0.27}$: de zece ori compute înseamnă un model de 5,4 ori mai mare hrănit cu doar 1,9 ori mai mult text. Rezumatul este explicit — „antrenarea optimă din punctul de vedere al compute implică antrenarea unor modele foarte mari pe o cantitate relativ modestă de date și oprirea mult înainte de convergență.” Domeniul a făcut exact asta: GPT-3 are 175 de miliarde de parametri pe 300 de miliarde de tokens,⁷ Gopher 280 de miliarde pe 300 de miliarde, Megatron-Turing NLG 530 de miliarde pe 270 de miliarde.² De la jumătate de token la doi tokens per parametru, peste tot.

În martie 2022, Hoffmann et al. au antrenat peste 400 de modele, de la 70 de milioane la 16 miliarde de parametri, și au ajuns la concluzia opusă prin trei căi independente.² Tabelul 2 raportează exponentul $a$ din $N_{\text{opt}} \propto C^{a}$ ca 0,50, 0,49 și 0,46, față de 0,73 la Kaplan. Pe scurt: mărimea modelului și datele de antrenare trebuie să crească în aceeași proporție.

A doua lor abordare este cea reprodusă de sweep-ul de la începutul capitolului, la o milionime din scară: fixezi un buget, antrenezi multe mărimi exact la acel buget, plotezi loss-ul final față de mărimea modelului.

Held-out loss în nats per token, tokens per parametru în paranteze, bold pentru cel mai bun model la fiecare buget; liniuța este un punct nerulat, fiindcă bugetul cerea mai mult text decât conține corpusul sau mărimea era în afara celor testate acolo.

Citește în jos pe o coloană: loss-ul scade, atinge minimul și urcă din nou. Un model poate fi prea mare pentru bugetul lui la fel de ușor cum poate fi prea mic — la $10^{14}$ penalizarea pentru alegerea a 665.280 de parametri în loc de 295.808 este 0,08 nats, care pe anvelopa ajustată mai sus este loss-ul la care un model dimensionat corect ajunge cu 18 % mai puțin compute. Alegerea formei greșite aruncă o cincime din buget. Aceasta este Figura 3 din Chinchilla într-o după-amiază pe un GPU, nu cu patru sute de modele.

Acum citește pe orizontală. La $10^{13}$ cel mai bun model este cel mai mic din sweep; la $10^{14}$ are 295.808 parametri, încadrat de ambele părți. Optimul se mută spre dreapta pe măsură ce bugetul crește, ceea ce este întreg conținutul corecției. Ajustează a treia abordare a lucrării — suprafața $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ peste fiecare rulare — și minimizeaz-o sub constrângerea $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, de pe un laptop, față de 0,73 la Kaplan. Potrivirea la trei cifre dintr-o ajustare pe trei bugete este noroc; potrivirea la prima nu este. Exponentul călătorește — constanta nu, fiindcă raportul tokens-per-parametru la aceste optime este 170–540, nu 20. Trei motive, toate instructive. $E$ se ajustează la zero fiindcă la un loss peste 4 nats rularea nu este nicăieri aproape de podeaua de entropie care domină ajustarea Chinchilla. Batch size și learning rate au fost fixe, nu ajustate per punct, ceea ce dezavantajează rulările cu cei mai puțini pași — adică modelele mari: la $10^{13}$ FLOPs, un model de 1,28 milioane de parametri primește 159 de pași de optimizator în total, mult sub cele câteva mii pe care termenul $S_{\min}$ al lui Kaplan spune că le cere orice model. O scaling law este ajustată într-un regim, iar aceasta stă cu șase ordine de mărime sub Chinchilla.

De aici rezumatul lucrării: „current large language models are significantly undertrained”. Chinchilla este demonstrația — 70 de miliarde de parametri pe 1,4 trilioane de tokens, cu același compute total ca Gopher de 280 de miliarde pe 300 de miliarde, pe care îl bate în 51 din 57 de sarcini MMLU, 67,5 % față de 60 %.² De patru ori mai mic, de patru ori și jumătate mai mult text, aceiași bani, model mai bun.

Două avertismente despre acel raport faimos. „Douăzeci de tokens per parametru” nu este o propoziție din lucrare, care spune doar că „pentru fiecare dublare a mărimii modelului, numărul de tokens de antrenare trebuie și el dublat”; 20 este o inferență din Tabelul 3 și din propriul Chinchilla, 70 B pe 1,4 T. Iar precizia lui este mai slabă decât publicată: Besiroglu et al. au reajustat pornind de la o digitizare a Figurii 4, au găsit că parametrii originali „se potrivesc prost datelor reconstruite”, cu intervale „neverosimil de strânse date fiind punctele”, și au pus intervalul onest la „între 4 și 40” tokens per parametru.⁸

Un detaliu al metodei Chinchilla achită o promisiune făcută în Capitolul 1 despre learning-rate schedules. Cosine schedule trebuie potrivit cu bugetul de tokens. Un model care va vedea 10 milioane de tokens trebuie să-și decaiedă learning rate-ul la zero la 10 milioane de tokens; dă-i un schedule pentru 100 de milioane, oprește-l devreme, și citești un loss la mijlocul coborârii, la o rată mult prea mare. Chinchilla antrenează fiecare model la patru lungimi de ciclu tocmai pentru asta; sweep-ul de mai sus își setează schedule-ul din buget din același motiv.

Sunt cel mai util rezultat empiric din domeniu și sunt vândute excesiv în mod regulat. Patru limite.

Prezic loss, nu capabilitate. Partea stângă este cross-entropy pe text held-out. Nimic din aceste lucrări nu autorizează o afirmație despre dacă un model va scrie SQL corect, va refuza o cerere dăunătoare sau va folosi un tool. Este lecția din Capitolul 5 din nou: o predicție a loss-ului nu este o predicție a comportamentului pentru care plătești.

Sunt ajustate, nu derivate. Nicio teorie nu produce $\alpha_N = 0.076$. Constantele se mută cu tokenizerul — motiv pentru care o comparație de perplexity între două tokenizers nu are sens, cum a explicat Capitolul 8 — și cu amestecul de date, arhitectura și optimizatorul. Fiecare lege publicată este o lege a setup-ului care a produs-o, motiv pentru care Meta și-a reajustat propria lege înainte de Llama 3.⁵

Presupun un token proaspăt pentru fiecare pas, ceea ce presupune tacit un corpus infinit. Muennighoff et al. au măsurat ce se întâmplă când se termină: până la patru epoci de date repetate costă aproape nimic — un model de 8,7 miliarde de parametri pe 44 de miliarde de tokens unici văzuți de patru ori a terminat cu „doar 0,5 % validation loss mai mare” decât același model pe 178 de miliarde de tokens unici — în timp ce după circa șaisprezece epoci compute-ul suplimentar nu mai cumpără nimic.⁹

Și nimeni nu mai antrenează compute-optimal. Chinchilla minimizează costul antrenării; un model deployat plătește apoi aproximativ $2N$ FLOPs per token generat, pentru totdeauna. LLaMA 1 a spus-o clar: „dat un nivel țintă de performanță, modelul preferat nu este cel mai rapid de antrenat, ci cel mai rapid la inference”.¹⁰ Sardana et al. au formalizat asta minimizând $6ND_{\text{train}} + 2ND_{\text{inference}}$ în schimb și au găsit că oricine așteaptă un miliard de cereri ar trebui să antreneze „mai mic și mai mult decât Chinchilla-optimal”.¹¹ §9.1 din Llama 3 este de acord: modelele mici sunt antrenate „mult dincolo de punctul de compute optimal training, schimbând efectiv training compute pentru eficiență la inference”.⁵ Raportul nu este depășit; răspunde unei întrebări care nu mai este cea pusă.

Loss-ul scade lin. Scorurile pe benchmark-uri uneori nu. Wei et al. au adunat cazuri în care o sarcină stă la șansă pe ordine de mărime de training compute și apoi sare — aritmetica pe trei cifre apare în GPT-3 la circa $2 \times 10^{22}$ FLOPs, MMLU urcă peste ghicit între $3$ și $5 \times 10^{23}$ — și au numit tiparul: „o abilitate este emergentă dacă nu este prezentă în modele mai mici, dar este prezentă în modele mai mari”.¹² Dacă aceasta este o proprietate reală, extrapolarea din experimente ieftine este nesigură, fiindcă abilitatea cumpărată poate să nu existe la nicio scară pe care îți permiți s-o testezi.

Schaeffer, Miranda și Koyejo au argumentat că mare parte este un artefact de măsurare, iar mecanismul este aritmetic.¹³ Per-token loss scade lin, deci probabilitatea ca un token să fie corect, $\exp(-\mathcal{L})$, crește treptat. Evaluează modelul cu exact string match pe un răspuns de $L$ tokens și ridici probabilitatea la puterea $L$ — o curbă lină ridicată la o putere mare arată ca o prăpastie. Schimbă metrica cu una care numără tokens în loc să le ceară pe toate, pe aceleași ieșiri, și „performanța familiei se îmbunătățește lin, continuu și previzibil odată cu scara”.

Auditul lor este numărul de ținut minte — „din cele 39 de metrici preferate din BIG-Bench, cel mult 5 afișează emergență”, două metrici discontinue reprezentând peste 92 % din cazurile susținute — și la fel avertismentul: „nimic din această lucrare nu trebuie interpretat ca afirmație că large language models nu pot afișa abilități emergente”. Un salt într-un grafic este dovadă despre metrică până se arată altfel. Capitolul 29 este locul unde asta devine problema ta, fiindcă alegerea unei metrici cu prag dur este o decizie pe care o vei lua fără să observi.

Corpusul este partea unei rulări de pretraining fără ecuație atașată și locul unde trăiesc cele mai multe decizii cu consecințe. Materia primă este un crawl web: arhiva Common Crawl din august 2026 conține „2,14 miliarde de pagini web sau 360 TiB de conținut necomprimat”, o lună, gratuită la descărcare.¹⁴ Aproape nimic nu este utilizabil ca atare. Lucrarea T5 spune că crawl-ul „constă în mare parte din text fără sens sau boiler-plate precum meniuri, mesaje de eroare sau text duplicat”, iar pipeline-ul C4 introdus acolo este o listă de euristici contondente — păstrează doar liniile care se termină cu punctuație terminală, elimină paginile cu mai puțin de trei propoziții, elimină orice pagină care conține o acoladă sau un cuvânt dintr-o listă publică de obscenități — transformând douăzeci de terabytes de text lunar în circa 750 GB.¹⁵

Contondent este cuvântul. Dodge et al. au auditat ce elimină filtrele și au găsit că blocklistul de obscenități șterge 42 % dintre documentele în engleză afro-americană și 32 % în engleză aliniată hispanic, față de 6,2 % în engleză aliniată albilor, lăsând un corpus 97,8 % din ultima categorie.¹⁶ O regulă fără opinie despre dialect a avut una.

Apoi deduplication, care nu este curățenie: Lee et al. au găsit o propoziție de 61 de cuvinte repetată de 61.036 de ori în C4 și au arătat că deduplicating reduce de zece ori rata cu care modelele „emit text memorat”, de la 1,9 % din tokens generați la 0,19 %.¹⁷ Mai mult nu este mai bine însă — echipa FineWeb a deduplicat global pe 96 de crawls, a obținut 4 trilioane de tokens și niciun câștig măsurabil, apoi a deduplicat fiecare crawl separat, a obținut 20 de trilioane și a egalat cel mai bun corpus existent.¹⁸

Apoi contamination. Llama 3 și-a măsurat-o și publicat-o: 98 % din AGIEval, 95 % din BIG-Bench Hard și 85 % din HellaSwag se suprapun cu setul de antrenare prin 8-grams, iar pentru MMLU o suprapunere atât de mare încât „este imposibil de obținut o estimare bună a câștigului de performanță”.⁵ §4 din GPT-3 raportează un bug de filtrare care a lăsat benchmark-uri în date fără cale de întoarcere: „din considerente de cost, era imposibil să reantrenăm modelul”.⁷

Proveniența este partea nerezolvată. The Pile a livrat o componentă de 100,96 GiB numită Books3 — 12 % din corpus și, după propriul tabel de consimțământ al lucrării, cărți dintr-un tracker privat de torrents;¹⁹ a fost scoasă offline în august 2023 după o plângere de copyright. Poziția legală în septembrie 2026 este neclară, iar cele trei hotărâri americane citate ca tendință se contrazic. Alsup a găsit antrenarea pe cărți obținute legal „extrem de transformatoare”, dar a decis că o bibliotecă construită din copii piratate nu era, iar Anthropic a închis acea jumătate pentru $1,5 miliarde, acoperind 482.460 de opere, circa $3.000 fiecare, aprobat la 20 iulie 2026.²⁰ Chhabria a acordat Meta summary judgment, dar a scris că hotărârea lui „nu susține propoziția că folosirea de către Meta a materialelor protejate prin copyright pentru a-și antrena modelele de limbaj este legală”, ci doar că „acești reclamanți au adus argumentele greșite”.²¹ Bibas, hotărând împotriva Ross Intelligence, a notat că „doar AI non-generativ este în fața mea astăzi”.²² Nicio curte de apel americană nu s-a pronunțat asupra întrebării.

Oamenii fac părțile pe care loss-ul nu le poate face. TIME a raportat în ianuarie 2023 că lucrătorii care etichetau text toxic pentru OpenAI prin firma Sama luau acasă „între circa $1,32 și $2 pe oră” citind pasaje despre abuz sexual asupra copiilor, tortură și autovătămare, în timp ce OpenAI plătea Sama $12,50 pe oră pentru muncă; Sama contestă atât intervalul de plată, cât și norma.²³ Aceasta este filtrarea din jurul pretrainingului, nu pretrainingul însuși — dar este pe aceeași factură și este locul unde stă o persoană.

Electricitatea este reală și de obicei citată greșit. Cea mai atentă cifră publicată este pentru BLOOM: 1.082.990 GPU-hours, 433 MWh și 24,7 tone de CO₂ echivalent pentru rulare, 50,5 incluzând fabricația și nodurile idle;²⁴ Patterson et al. pun GPT-3 la 1.287 MWh și 552 de tone.²⁵ Două avertismente. Avantajul BLOOM este rețeaua nucleară franceză la 57 g CO₂ per kWh, nu eficiența — a folosit mai multă energie decât OPT-175B. Iar cea mai citată cifră de emisii din domeniu, 626.155 lb la Strubell et al. pentru o căutare de neural architecture, s-a dovedit ulterior de 88 de ori prea mare, presupunând că search-ul a rulat la mărimea completă a modelului, când rula pe un proxy.²⁶ Încadrarea LBNL este cea defensibilă: centrele de date din SUA au folosit 192 TWh în 2024, 4,7 % din electricitatea națională — un număr atașat unei industrii, nu unei rulări.

Firul comun este ceea ce Bender et al. au numit documentation debt: „ne punem într-o situație în care datasets sunt atât nedocumentate, cât și prea mari pentru a fi documentate post hoc”.²⁷ Fiecare fapt de mai sus există fiindcă cineva s-a uitat. Pentru corpusurile din spatele modelelor folosite de majoritatea oamenilor, nimeni nu poate.

Acum aritmetica pe care o vrea toată lumea, din patru intrări citate, astfel încât atunci când se învechesc să fie clar ce trebuie înlocuit.

Citește ultimele două coloane împreună. La $10.000 primești un model de 5 miliarde de parametri pe un nod închiriat în două săptămâni. La $100.000.000 aritmetica spune 546 de miliarde de parametri — și douăsprezece mii de H100 legate împreună timp de trei luni, lucru pe care nu-l închiriezi cu cardul. Dincolo de circa $100.000, constrângerea decisivă încetează să fie banii și devine clusterul.

Înainte să ai încredere într-un astfel de tabel, testează-l față de rulări ale căror costuri reale sunt publicate — llm.c reproduce GPT-2 124M în „~90 de minute” pe un nod 8×A100 „pentru circa $20”, iar GPT-2 1.6B în 24 de ore pe un nod 8×H100 pentru $672.³⁰

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Ambele sunt în limita a circa 15 %, aproximativ acuratețea pe care o merită acest tip de estimare și considerabil mai bună decât acuratețea cu care este de obicei citată.

Cifra repetată cel mai des în acest subiect este că un model din clasa GPT-2, care costa circa $43.000 în 2019, poate fi reprodus azi cu câteva zeci de dolari. Jumătatea modernă este bine documentată; cea istorică nu.

Astăzi. README-ul nanochat al lui Karpathy: „îți poți antrena propriul GPT-2 capability LLM ... pentru doar $48 (~2 ore pe un nod GPU 8XH100) ... Pe o instanță spot, costul total poate fi mai aproape de ~$15.”³¹ „GPT-2 capability” este aici precis și publicat — depășește scorul CORE de 0,256525 al GPT-2 — pe un leaderboard al cărui cel mai bun rezultat la 14 martie 2026 este 1,65 ore. Cei $48 presupun $3 per GPU-hour, sub lista Lambda de $3,99; la listă este mai aproape de $64.

În 2019. Nu există sursă primară: OpenAI nu a publicat nici durată, nici cost. Lanțul pornește de la The Register, februarie 2019, care raportează „256 Google TPU3 cores” fără preț și fără durată; apoi Synced, iunie 2019, notează că hardware-ul costa $256 pe oră pe Google Cloud și afirmă explicit că „OpenAI nu a specificat durata antrenării”. $43.008 înseamnă $256 pe oră înmulțit cu 168 de ore presupuse, pentru care nimeni nu a dat vreodată o sursă.

Așadar titlul onest este: un model care egalează scorul benchmark publicat al GPT-2 poate fi antrenat astăzi cu mult sub $100 pe hardware închiriat, față de un cost din 2019 care nu a fost publicat niciodată și a cărui estimare faimoasă se sprijină pe o presupunere nesursată despre durată. Prăbușirea este reală, iar jumătatea modernă poate fi reprodusă de oricine are un card; raportul este aritmetică pe un număr care nu există. Aceasta este starea costurilor de antrenare publicate în general. Lucrarea GPT-3 nu conține nicio sumă în dolari, doar $3.14 \times 10^{23}$ FLOPs în Tabelul D.1;⁷ nici lucrarea Llama 3 nu conține.⁵ Fiecare cost de antrenare pe care l-ai citit este o estimare dintr-un număr de FLOP, o presupunere de hardware și o presupunere de preț — merită mereu întrebat ale cui.

Rezultatul a văzut un corpus fix, asamblat la un moment fix, iar de aici urmează două proprietăți.

Prima este knowledge cutoff. După data colectării, modelul nu știe nimic — nu „este nesigur”, ci nimic — și va fabula fluent în loc să spună asta, fiindcă a spune asta nu a fost niciodată un comportament pe care a fost antrenat. Model card-ul Llama 3.1 dă decembrie 2023;³² fiecare model are una, și este o proprietate a datelor de antrenare, nu a deploymentului. Ocolirea ei este o problemă de retrieval, adică Capitolul 19.

A doua este că un model de bază completează, nu răspunde. Dă-i „Care este capitala Franței?” și o continuare plauzibilă este o altă întrebare, fiindcă în corpus acel șir apare cel mai des într-o listă de exerciții.

Un completor de text nu este un asistent. Nu urmează instrucțiuni, fiindcă nimic din corpus nu i-a spus că o cerere trebuie ascultată, nu continuată. Nu are noțiunea unei conversații cu doi participanți. Va produce bucuros continuarea cea mai probabilă a unui prompt dăunător, fiindcă probabilul este singurul lucru pentru care a fost optimizat vreodată.

Transformarea lui în ceva care răspunde cere o a doua etapă, care costă o fracțiune de procent din prima și constă aproape în întregime în a-i arăta exemple ale comportamentului dorit și apoi în a compara perechi din propriile lui ieșiri. Acea etapă este locul de unde vin urmarea instrucțiunilor, chat templates, refuzurile și — lucru care surprinde — capacitatea de a apela un tool. Capitolul 11 este acea etapă: supervised fine-tuning, RLHF, DPO și GRPO, plus întrebarea ce înseamnă „aligned” și cine decide.

Merită citite alături de acest capitol: build-nanogpt al lui Karpathy și videoul aferent, care parcurg o reproducere completă GPT-2 cap-coadă într-un ritm pe care capitolul acesta nu îl poate susține; și Stanford CS324, Large Language Models, ale cărui cursuri despre date și impactul de mediu merg mai adânc decât secțiunea de mai sus în materialul pe care acest curs îl tratează o singură dată și apoi îl deleagă.