Egy LLM pretrainingje: adatok, compute, scaling laws és költség

A célfüggvényben semmi sem változik. A modell továbbra is a következő tokenre jósol, a loss továbbra is a 4. fejezet cross-entropyje a 8. fejezet faktorizációjára alkalmazva, az optimizer továbbra is a 6. fejezet AdamW-je. A pretraining nem új algoritmus; ugyanaz az algoritmus, csak akkora korpuszon futtatva, hogy a futást költségvetni kell. Két dolog teszi ezt lehetővé: a címkék ingyen vannak, mert a $t$ pozíció célja a $t+1$ helyen lévő token, és már benne van a szövegben; a 6. fejezet utolsó szakasza pedig elhárította az ellenvetést, mert egy a klasszikus szabályoknál jóval több paramétert tartalmazó modell nem esik szét, hanem javul. Ami kijön belőle, az egy base model — valami, ami szöveget folytat, nem válaszol.

Mielőtt bármit költségvetni lehetne, meg kell számolni, és a terület ezt egyetlen képlettel számolja:

ahol $N$ a paraméterszám, $D$ a training tokenek száma, $C$ pedig az összes lebegőpontos művelet. Kaplan és mtsai. két lépésben vezetik le.¹ Forward: paraméterenként és tokenenként 2 FLOP, mert mátrixszorzásban minden paraméter tokenenként egyszer szerepel, egy szorzásban és egy összeadásban. Backward: a forward kétszerese, mert az 5. fejezet backward passza minden rétegnél két gradientet számol — a réteg bemeneteire nézve, hogy a jel tovább haladjon, és a súlyaira nézve — mindkettő a forwarddal azonos méretű mátrixszorzás, tehát $4N$.

Ez a teljes levezetés, és érdemes ellenőrizni, nem csak elhinni. A PyTorch tartalmaz egy valódi FLOP-számlálót, torch.utils.flop_counter.FlopCounterMode, amely elfog minden műveletet, amit egy modell dispatch-el, és összesíti a tényleges munkát. Futtasd le négy nagyságrenden át, a legnagyobbat a meta eszközön, amely alakzatokat allokál, memóriát nem:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

A forward+backward / forward arány 3.000, pontosan, minden skálán: nem egy történetesen jó közelítés, hanem a fenti aritmetikai azonosság, kerek számként visszaadva egy olyan számlálótól, amely semmit sem tud a levezetésről.

A mért összeg ezután 3% és 17% között fölötte van $6ND$ értékének, ha $N$ beleszámolja az embedding mátrixokat — és ez a kikötés számít, mert a két alapító cikk eltérően számolja $N$ értékét. Kaplan kizárja „az összes szótári és pozicionális embeddinget”, mert ez „lényegesen tisztább scaling laws”-t ad (§1.3); a Chinchilla F függeléke azt mondja: „az embedding mátrixokat is beleszámoljuk a teljes paraméterszámba”.² Széles szótár és szűk hidden dimension esetén a kettő kilencszeres eltérést ad, ahogy az első sor mutatja.

A maradék rés az, amit $6ND$ szándékosan kihagy: az attention pontszámok. Kaplan (2.2) egyenlete a forward költséget $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ alakban írja, és elhagyja a második tagot, mert $d_{\text{model}} \gg n_{\text{ctx}}/12$ — 2020-ban biztonságos volt, ma kevésbé, és ez az oka, hogy az arány felfelé sodródik, ahogy $T/d$ nő — ezért van itt két sor azonos, 1 024-es $T$ értékkel, és az arány csökken, 1.145-ről 1.100-ra, amikor $d$ 768-ról 1 600-ra nő. Ez az a $O(T^2)$ költség, amelyet a 9. fejezet vezetett be, és amelyből a 16. fejezet árat csinál.

A compute azt dönti el, mennyi ideig tart egy futás; a memória azt, hogy el tud-e indulni. Taníts sima fp32 AdamW-vel, és minden paraméter négy számot hordoz: a súlyt, a gradientjét, valamint Adam futó átlagát $m$ és varianciáját $v$ — azt a két átlagot, amelyet a 6. fejezet kézzel épített fel. Négy szám, egyenként négy bájton: 16 bájt paraméterenként, még egyetlen activation előtt. 8 GB-os laptop GPU-n mérve, a lépésnek azon a pontján vett rezidens allokációval, amikor már nincs élő gráf:

A becslés és a mérés 3%-on belül egyezik. A meglepetés az utolsó oszlop: az activationök eltörpítik magát a modellt. Ugyanaz az 5,8 millió paraméteres modell, amelynek 89 MB tartós állapot kell, 128-as batch mellett 4 681 MB activationt igényel — a modell ötvenkétszeresét —, és ennek nagy része egyáltalán nem a transformer. A logits az: tokenenként egy szótárméretű vektor, bejegyzésenként négy bájton. Az utolsó sorban 512 MB, az elsőben 393 MB. A szótárméretet a 7. fejezetben választottuk, és még mindig az dönti el, mi fér fel a kártyára.

Hogy melyik tag dominál, a futás alakjától függ; ezért mondják Micikevicius és mtsai., hogy a memóriát „az activationök dominálják”³, miközben a ZeRO szerint egy 1,5 milliárd paraméteres modellnek „legalább 24 GB” kell csak modellállapotokra.⁴ A ZeRO más úton jut ugyanahhoz a 16 bájthoz — $2\Psi$ fp16 súlyokra, $2\Psi$ fp16 gradientekre, $4\Psi$ egyenként az fp32 master súlyokra és Adam két momentumára — ami 70 milliárd paraméternél 1,12 terabájt, tizennégy darab 80 GB-os GPU-nyi mennyiség, még egyetlen activation előtt.

Frontier skálán ebből semmi sem fér el egyetlen eszközön, ezért a futás egyszerre négyfelé oszlik. Data parallelism minden GPU-ra feltesz egy modellt, és átlagolja a gradienteket — ez az alapértelmezés, és ezt javítja a ZeRO azzal, hogy nem tart redundáns példányokat az optimizer állapotából. Tensor parallelism az egyes mátrixokat osztja szét eszközök között. Pipeline parallelism minden eszköznek rétegek összefüggő csoportját adja. Context parallelism magát a szekvenciát osztja fel, és csak akkor szükséges, ha $T$ elég hosszú ahhoz, hogy az attention-tag domináljon. A Llama 3 4. táblázata mind a négyet egyszerre sorolja: tensor 8, context akár 16, pipeline 16, data akár 128, összesen 16 384 H100 GPU-n.⁵ Ez minden, amit ez a kurzus erről mond; az elosztott tanítás mérnöki oldala önálló félév, és a Stanford CS336 ez a félév, az 5–8. előadásokkal és kóddal.⁶ Ami a delegálásból megmarad, az egyetlen szám: model FLOPs utilisation — egy GPU csúcsaritmetikájának az a hányada, amelyet egy valós futás elér —, ez alakítja a rendezett $6ND$ értéket falióraidővé, tehát pénzzé.

2020 januárjában Kaplan és mtsai. transformerek rácsát tanították, és azt találták, hogy a teszt loss a három erőforrás mindegyikében hat nagyságrendet meghaladó tartományon hatványtörvényt követ.¹ Az §1.2 három illesztett törvényt ad:

társakkal: $\alpha_D \approx 0.095$ adatra és $\alpha_C^{\min} \approx 0.050$ optimálisan allokált compute-ra. A konstansok nem univerzálisak, és ezt a cikk ki is mondja: „$N_c$, $C_c^{\min}$ és $D_c$ pontos numerikus értékei a szótármérettől és a tokenizationtől függenek, ezért nincs alapvető jelentésük.”

A kitevők aprók: tízszer annyi paraméter a maradék loss-ból $10^{0.076} \approx 1.19$ faktort vesz le. Ez semminek hangzik, és itt ez a legfontosabb tény — a hozamok borzalmasak, és soha nem állnak le. Egy kis kitevőjű hatványtörvény azt ígéri, hogy a következő nagyságrend segíteni fog, kevesebbet, mint az előző, örökké. Compute-ot venni nem szerencsejáték többé, hanem vásárlás közzétett árfolyammal, és pontosan ez az érv nyitotta ki a tőkét.

Aztán jött az előírás, és itt tévedett a cikk úgy, hogy az iparágnak sok pénzébe került. Kaplan 6. táblázata $N_{\text{opt}} \propto C^{0.73}$ és $D_{\text{opt}} \propto C^{0.27}$ értéket ad: tízszeres compute 5,4-szer nagyobb modellt jelent, mindössze 1,9-szer annyi szöveggel etetve. Az absztrakt egyértelmű: „az optimálisan compute-hatékony tanítás nagyon nagy modellek viszonylag szerény mennyiségű adaton való tanítását jelenti, és jelentősen a konvergencia előtt megáll”. A terület pontosan ezt tette: GPT-3, 175 milliárd paraméter 300 milliárd tokenen,⁷ Gopher, 280 milliárd 300 milliárdon, Megatron-Turing NLG, 530 milliárd 270 milliárdon.² Fél tokentől két tokenig paraméterenként, mindenhol.

2022 márciusában Hoffmann és mtsai. több mint 400 modellt tanítottak 70 milliótól 16 milliárd paraméterig, és három független úton az ellenkező következtetésre jutottak.² A 2. táblázatban $N_{\text{opt}} \propto C^{a}$ képlet $a$ kitevőjére 0.50, 0.49 és 0.46 szerepel, Kaplan 0.73 értékével szemben. Egyszerűen: a modellméretnek és a training adatnak azonos arányban kell nőnie.

A második megközelítés az, amelyet a fejezet tetején lévő sweep egymilliomod skálán reprodukál: rögzíts egy keretet, taníts sok méretet pontosan ezen a kereten, ábrázold a végső loss-t a modellméret függvényében.

Hold-out loss natban tokenenként, zárójelben a token/paraméter arány, félkövérrel az egyes keretek legjobb modellje; a gondolatjel nem futtatott pontot jelöl, mert a keret több szöveget követelt, mint amennyi a korpuszban van, vagy a méret kívül esett az ott végigsöpört tartományon.

Olvass lefelé egy oszlopban: a loss csökken, eléri az alját, majd újra nő. Egy modell pontosan ugyanolyan könnyen lehet túl nagy a keretéhez, mint túl kicsi — $10^{14}$ esetén 665 280 paraméter választása 295 808 helyett 0,08 nat büntetés, ami a fent illesztett burkolón annak a loss-nak felel meg, amelyet egy helyesen méretezett modell 18%-kal kevesebb compute-tal ér el. A rossz alak kiválasztása a keret ötödét dobja ki. Ez Chinchilla 3. ábrája egy délután alatt, egy GPU-n, nem négyszáz modellel.

Most olvass vízszintesen. $10^{13}$ esetén a legjobb modell a sweep legkisebbje; $10^{14}$ esetén 295 808 paraméter, mindkét oldalról bekeretezve. Az optimum jobbra mozdul, ahogy a keret nő, és ez a korrekció teljes tartalma. Illeszd a cikk harmadik megközelítését — a $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ felületet minden futás felett —, és minimalizálj $C = 6ND$ feltétel mellett:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, laptopról, Kaplan 0.73 értékével szemben. Háromjegyű egyezés három keretből illesztve szerencse; az első jegy egyezése nem az. A kitevő utazik — a konstans nem, mert ezeknél az optimumoknál a token/paraméter arány 170–540, nem 20. Három ok, mind tanulságos. $E$ nullára illeszkedik, mert 4 nat feletti loss mellett a futás sehol sincs annak az entrópia-padlónak a közelében, amely Chinchilla illesztését dominálja. A batch size és a learning rate fix volt, nem pontonként hangolt, ami azokat a futásokat bünteti, amelyek a legkevesebb lépést kapják — és ezek a nagy modellek: $10^{13}$ FLOP-nál egy 1,28 millió paraméteres modell összesen 159 optimizer-lépést kap, messze a néhány ezer alatt, amelyet Kaplan $S_{\min}$ tagja szerint bármely modell igényel. Egy scaling law egy rezsimen belül illeszkedik, és ez hat nagyságrenddel Chinchilla alatt ül.

Ezért a cikk absztraktja: „a jelenlegi nagy language modellek jelentősen alultanítottak”. A Chinchilla a demonstráció — 70 milliárd paraméter 1,4 billió tokenen, ugyanazzal a teljes compute-tal, mint a Gopher 280 milliárdja 300 milliárdon, és 57 MMLU-feladatból 51-en megveri, 67,5% kontra 60%.² Négyszer kisebb, négy és félszer több szöveg, ugyanannyi pénz, jobb modell.

Két fenntartás a híres arányhoz. A „húsz token paraméterenként” nem mondat a cikkben, amely csak azt mondja, hogy „a modellméret minden duplázásakor a training tokenek számát is duplázni kell”; a 20 a 3. táblázatból és Chinchilla saját 70 B / 1.4 T példájából következtetés. A pontossága pedig rosszabb a közöltnél: Besiroglu és mtsai. a 4. ábra digitalizálásából újraillesztették, azt találták, hogy az eredeti paraméterek „rosszul illeszkednek a rekonstruált adatokhoz”, az intervallumok „valószínűtlenül szűkek az adatpontok számához képest”, és a becsületes tartományt „4 és 40 között” token/paraméterre tették.⁸

Chinchilla módszerének egy részlete beváltja az 1. fejezet learning-rate schedule-ökről tett ígéretét. A cosine schedule-t a tokenkerethez kell igazítani. Annak a modellnek, amely 10 millió tokent fog látni, a learning rate-jét 10 millió tokennél kell nullára csökkentenie; adj neki 100 millióra méretezett schedule-t, állítsd meg korán, és egy olyan loss-t olvasol le a lejtő közepéről, amelynél a ráta túl magas. Chinchilla minden modellt négy ciklushosszon tanít pontosan ennek kontrollálására; a fenti sweep ugyanezért állítja a schedule-t a keretből.

Ezek a terület leghasznosabb empirikus eredményei, és rutinszerűen túlértékesítik őket. Négy korlát.

Loss-t jósolnak, nem képességet. A bal oldal hold-out szövegen mért cross-entropy. Ezekben a cikkekben semmi sem jogosít fel arra az állításra, hogy egy modell helyes SQL-t ír-e, visszautasít-e egy káros kérést, vagy használ-e toolt. Ez újra az 5. fejezet leckéje: a loss előrejelzése nem annak a viselkedésnek az előrejelzése, amiért fizetsz.

Illesztettek, nem levezetettek. Semmilyen elmélet nem állít elő $\alpha_N = 0.076$ értéket. A konstansok mozognak a tokenizerrel — ezért értelmetlen két tokenizer között perplexityt összehasonlítani, ahogy a 8. fejezet elmagyarázta —, továbbá az adatkeverékkel, architektúrával és optimizerrel. Minden publikált törvény annak a setupnak a törvénye, amely létrehozta, ezért illesztette újra a Meta a sajátját a Llama 3 előtt.⁵

Minden lépéshez friss tokent feltételeznek, ami csendben végtelen korpuszt feltételez. Muennighoff és mtsai. megmérték, mi történik, amikor elfogy: akár négy epoch ismételt adat szinte semmibe sem kerül — egy 8,7 milliárd paraméteres modell 44 milliárd egyedi tokenen négyszer végigmenve „csak 0,5%-kal magasabb validation loss”-szal végzett, mint ugyanaz a modell 178 milliárd egyedi tokenen —, míg körülbelül tizenhat epoch után a további compute már semmit sem vesz.⁹

És ma már senki sem tanít compute-optimálisan. A Chinchilla a tanítás költségét minimalizálja; egy deployolt modell ezután nagyjából $2N$ FLOP-ot fizet generált tokenenként, örökké. A LLaMA 1 ezt egyenesen kimondta: „adott teljesítménycél mellett nem a leggyorsabban tanítható, hanem az inference-ben leggyorsabb modell a preferált”.¹⁰ Sardana és mtsai. ezt úgy formalizálták, hogy helyette $6ND_{\text{train}} + 2ND_{\text{inference}}$ értéket minimalizáltak, és azt találták, hogy aki egymilliárd kéréssel számol, annak „Chinchilla-optimálisnál kisebb és tovább tanított” modellt kell tanítania.¹¹ A Llama 3 §9.1 egyetért: kis modelljeit „messze a compute-optimal training pontján túl” tanítják, ténylegesen training compute-ot cserélve inference-hatékonyságra.⁵ Az arány nem elavult; csak arra a kérdésre válaszol, amelyet már nem tesznek fel.

A loss simán csökken. A benchmark-pontszámok néha nem. Wei és mtsai. olyan eseteket gyűjtöttek, ahol egy feladat a training compute nagyságrendjein át véletlenszinten marad, majd ugrik — háromjegyű aritmetika megjelenése GPT-3-ban körülbelül $2 \times 10^{22}$ FLOP-nál, MMLU a találgatás fölé emelkedik $3$ és $5 \times 10^{23}$ között —, és nevet adtak a mintának: „egy képesség emergent, ha kisebb modellekben nincs jelen, nagyobb modellekben viszont igen”.¹² Ha ez valódi tulajdonság, olcsó kísérletekből extrapolálni veszélyes, mert a képesség, amelyet megveszel, lehet, hogy semmilyen számodra tesztelhető skálán nem létezik.

Schaeffer, Miranda és Koyejo azt állították, hogy ennek nagy része mérési műtermék, és a mechanizmus aritmetika.¹³ A tokenenkénti loss simán csökken, így annak valószínűsége, hogy egy token helyes, $\exp(-\mathcal{L})$, fokozatosan javul. Pontozd a modellt exact string match metrikával egy $L$-tokenes válaszon, és ezt a valószínűséget $L$ hatványra emeled — egy sima görbe nagy hatványra emelve szakadéknak látszik. Cseréld le olyan metrikára, amely tokeneket számol ahelyett, hogy mindet megkövetelné, ugyanazon kimeneteken, és „a család teljesítménye simán, folytonosan és előrejelezhetően javul a skála növekedésével”.

Az auditjuk száma az, amit meg kell jegyezni — „a BIG-Bench 39 preferált metrikájából legfeljebb 5 mutat emergence-et”, és két diszkontinuus metrika felel a hivatkozott esetek több mint 92%-áért —, és a figyelmeztetésük is: „ebben a cikkben semmit sem szabad úgy értelmezni, hogy azt állítaná: a nagy language modellek nem mutathatnak emergent abilities-t”. Egy grafikonon látott ugrás a metrikáról szóló bizonyíték, amíg más be nem bizonyosodik. A 29. fejezet az, ahol ez a te problémáddá válik, mert a hard-cutoff metrika kiválasztása olyan döntés lesz, amelyet észrevétlenül hozol meg.

A korpusz a pretraining futásnak az a része, amelyhez nem tartozik egyenlet, és ahol a legtöbb következményekkel járó döntés lakik. A nyersanyag egy webcrawl: a Common Crawl 2026. augusztusi archívuma „2,14 milliárd weboldalt vagy 360 TiB tömörítetlen tartalmat” tartalmaz, egyetlen hónapot, ingyen letölthetően.¹⁴ Szinte semmi sem használható ebben a formában. A T5-cikk szerint a crawl „nagyrészt halandzsából vagy boilerplate szövegből, például menükből, hibaüzenetekből vagy duplikált szövegből áll”, és az általa bevezetett C4 pipeline nyers heurisztikák listája — csak a mondatzáró írásjellel végződő sorok megtartása, háromnál kevesebb mondatot tartalmazó oldalak eldobása, minden olyan oldal eldobása, amely kapcsos zárójelet vagy egy nyilvános trágárságlistán szereplő szót tartalmaz — így lesz havi húsz terabájt szövegből körülbelül 750 GB.¹⁵

A nyers a megfelelő szó. Dodge és mtsai. auditálták, mit távolítanak el ezek a szűrők, és azt találták, hogy a trágárság-blokklista az African-American English dokumentumok 42%-át és a Hispanic-aligned English dokumentumok 32%-át törli, szemben a White-aligned English 6,2%-ával, így a korpusz 97,8%-ban az utóbbi kategóriából marad.¹⁶ Egy szabálynak, amelynek nem volt véleménye dialektusról, lett.

Aztán deduplication, ami nem takarítás: Lee és mtsai. találtak egy 61 szavas mondatot, amely 61 036-szor ismétlődött a C4-ben, és megmutatták, hogy a deduplication tízszeresére csökkenti, milyen gyakran „bocsátanak ki memorizált szöveget” a modellek, a generált tokenek 1,9%-áról 0,19%-ra.¹⁷ A több azonban nem jobb: a FineWeb csapata globálisan, 96 crawlon át deduplikált, 4 billió tokent kapott, mérhető nyereség nélkül; aztán crawlonként külön deduplikált, 20 billiót kapott, és hozta a legjobb létező korpusz szintjét.¹⁸

Aztán contamination. A Llama 3 megmérte a sajátját, és közzétette: az AGIEval 98%-a, a BIG-Bench Hard 95%-a és a HellaSwag 85%-a 8-gramokon átfedett a training set-tel, MMLU esetén pedig olyan magas volt az átfedés, hogy „lehetetlen jó teljesítménynyereség-becslést kapni”.⁵ A GPT-3 §4 egy szűrési hibáról számol be, amely benchmarkokat hagyott az adatban úgy, hogy már nem volt visszaút: „költségmegfontolások miatt nem volt kivitelezhető a modell újratanítása”.⁷

A provenance a megoldatlan rész. A Pile egy 100,96 GiB-os Books3 nevű komponenst adott ki — a korpusz 12%-át, és a cikk saját hozzájárulási táblázata szerint privát torrent trackerről származó könyveket;¹⁹ 2023 augusztusában szerzői jogi panasz után lekerült. A jogi helyzet 2026 szeptemberében rendezetlen, és a trendként idézett három amerikai döntés ellentmond egymásnak. Alsup szerint a jogszerűen megszerzett könyveken való tanítás „rendkívül transzformatív”, miközben kimondta, hogy a kalózmásolatokból épített könyvtár nem az; az Anthropic ezt a felét $1,5 milliárdért rendezte, 482 460 műre, darabonként nagyjából $3 000-ért, 2026. július 20-i jóváhagyással.²⁰ Chhabria összegző ítéletet adott a Metának, miközben azt írta, hogy döntése „nem állítja azt a tételt, hogy a Meta szerzői joggal védett anyagok használata language modellek tanítására jogszerű”, csak azt, hogy „ezek a felperesek rossz érveket hoztak”.²¹ Bibas, a Ross Intelligence ellen döntve, megjegyezte, hogy „ma csak non-generative AI van előttem”.²² Egyetlen amerikai fellebbviteli bíróság sem döntött még a kérdésben.

Emberek végzik azokat a részeket, amelyeket a loss nem tud. A TIME 2023 januárjában arról számolt be, hogy az OpenAI számára, a Sama cégen keresztül toxikus szöveget címkéző dolgozók „körülbelül $1,32 és $2 közötti órabért” vittek haza, miközben gyermekek szexuális bántalmazását, kínzást és önsértést leíró részleteket olvastak; az OpenAI $12,50-t fizetett óránként a Samának a munkáért; a Sama vitatja mind a bérsávot, mind a kvótát.²³ Ez a pretraining körüli szűrés, nem maga a pretraining — de ugyanazon a számlán van, és itt ül egy ember.

Az áram valódi, és általában rosszul idézik. A legóvatosabb publikált szám a BLOOM-é: 1 082 990 GPU-óra, 433 MWh és 24,7 tonna CO₂-egyenérték a futásra, 50,5 a gyártást és idle node-okat is beleszámolva;²⁴ Patterson és mtsai. a GPT-3-at 1 287 MWh-ra és 552 tonnára teszik.²⁵ Két figyelmeztetés. A BLOOM előnye a francia nukleáris hálózat 57 g CO₂/kWh értéke, nem a hatékonyság — több energiát használt, mint az OPT-175B. A terület legtöbbet idézett kibocsátási száma, Strubell és mtsai. 626 155 fontja egy neural architecture search-re, később 88-szor túl magasnak bizonyult, mert azt feltételezte, hogy a keresés teljes modellméreten futott, holott proxyn futott.²⁶ Az LBNL keretezése a védhető: az amerikai adatközpontok 192 TWh-t használtak 2024-ben, a nemzeti villamosenergia 4,7%-át — ez egy iparághoz kötött szám, nem egyetlen futáshoz.²⁷

A vezérfonal az, amit Bender és mtsai. documentation debt néven írtak le: „olyan helyzetbe hozzuk magunkat, ahol az adatkészletek egyszerre dokumentálatlanok és túl nagyok ahhoz, hogy utólag dokumentáljuk őket”.²⁸ A fenti tények mind azért léteznek, mert valaki megnézte. A legtöbbek által használt modellek mögötti korpuszok esetében senki sem tudja.

Most jön az az aritmetika, amelyet mindenki akar, négy idézett bemenetből, hogy amikor elavulnak, nyilvánvaló legyen, melyiket kell lecserélni.

Olvasd együtt az utolsó két oszlopot. $10 000-ért kapsz egy 5 milliárd paraméteres modellt egy bérelt node-on két hét alatt. $100 000 000-nál az aritmetika 546 milliárd paramétert mond — és tizenkétezer H100-at, három hónapra összekötve, amit nem bérelsz ki bankkártyával. Nagyjából $100 000 fölött a kötő korlát már nem a pénz, hanem a cluster.

Mielőtt hinnél egy ilyen táblázatnak, teszteld olyan futásokkal szemben, amelyek valódi költsége publikált — llm.c reprodukálja a GPT-2 124M-et „~90 perc” alatt egy 8×A100 node-on „körülbelül $20-ért”, és a GPT-2 1.6B-t 24 óra alatt egy 8×H100 node-on $672-ért.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Mindkettő körülbelül 15%-on belül van, ami nagyjából az a pontosság, amit egy ilyen becslés megérdemel, és jóval jobb annál a pontosságnál, amellyel általában idézik.

A témában legtöbbet ismételt állítás az, hogy egy 2019-ben körülbelül $43 000-be kerülő GPT-2-osztályú modell ma néhány tíz dollárból reprodukálható. A modern fele jól dokumentált; a történeti fele nem.

Ma. Karpathy nanochat README-je: „you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.”³² A „GPT-2 capability” itt pontos és publikált — a GPT-2 0.256525-ös CORE score-jának megverése — egy leaderboardon, amelynek legjobb bejegyzése 2026. március 14-én 1,65 óra. A $48 $3/GPU-órát feltételez, Lambda $3,99-os listaára alatt; listaáron inkább $64.

2019-ben. Nincs elsődleges forrás: az OpenAI soha nem publikált időtartamot vagy költséget. A lánc így néz ki: The Register, 2019. február, „256 Google TPU3 core”-t jelent ár és időtartam nélkül; majd Synced, 2019. június, megjegyzi, hogy a hardver $256/óra volt Google Cloudon, és kifejezetten leírja, hogy „OpenAI didn't specify the training duration”. A $43 008 úgy jön ki, hogy $256/óra szorozva egy feltételezett 168 órával, amelyre senki sem adott forrást.

A becsületes cím tehát: egy GPT-2 publikált benchmark-pontszámát elérő modell ma jóval $100 alatt betanítható bérelt hardveren, szemben egy 2019-es költséggel, amelyet soha nem publikáltak, és amelynek híres becslése forrás nélküli időtartam-feltételezésen nyugszik. Az összeomlás valódi, és a modern felet bárki reprodukálhatja bankkártyával; az arány egy nem létező számon végzett aritmetika. Általában ez a publikált tanítási költségek állapota. A GPT-3 cikkben egyáltalán nincs dollárösszeg, csak $3.14 \times 10^{23}$ FLOP a D.1 táblázatban;⁷ a Llama 3 cikkben sincs.⁵ Minden training cost, amit olvastál, FLOP-számból, hardverfeltételezésből és árfeltételezésből származó becslés — mindig érdemes megkérdezni, kié.

Ami kijön, egy rögzített pillanatban összeállított rögzített korpuszt látott, és ebből két tulajdonság következik.

Az első a knowledge cutoff. A gyűjtési dátum után a modell semmit sem tud — nem „bizonytalan”, hanem semmit —, és folyékonyan konfabulál majd ahelyett, hogy ezt mondaná, mert ezt a viselkedést soha nem tanították neki. A Llama 3.1 model card 2023 decemberét adja meg;³³ minden modellnek van ilyenje, és ez a training adat tulajdonsága, nem a deploymenté. Megkerülni retrieval-probléma, ez a 19. fejezet.

A második, hogy egy base model kiegészít, nem válaszol. Add neki azt, hogy „Mi Franciaország fővárosa?”, és egy hihető folytatás lehet egy másik kérdés, mert a korpuszban ez a string leggyakrabban feladatlistákban jelenik meg.

Egy szövegkiegészítő nem assistant. Nem követ utasításokat, mert a korpuszban semmi sem mondta neki, hogy egy kérést teljesíteni kell, nem folytatni. Nincs fogalma két résztvevős beszélgetésről. Gond nélkül előállítja egy káros prompt legvalószínűbb folytatását, mert valaha csak a valószínűségre optimalizálták.

Ahhoz, hogy válaszoló valamivé alakuljon, kell egy második szakasz, amely az első költségének töredék százalékába kerül, és szinte teljesen abból áll, hogy példákat mutatunk neki a kívánt viselkedésre, majd saját kimeneteinek párjait hasonlítjuk össze. Ebből a szakaszból származik az utasításkövetés, a chat template-ek, a visszautasítások és — ez sokakat meglep — a tool hívásának képessége is. A 11. fejezet ez a szakasz: supervised fine-tuning, RLHF, DPO és GRPO, valamint az a kérdés, mit jelent az, hogy „aligned”, és ki dönt róla.

E fejezet mellé még érdemes olvasni: Karpathy build-nanogpt projektjét és a hozzá tartozó videót, amelyek egy teljes GPT-2-reprodukciót vezetnek végig elejétől végéig olyan tempóban, amire ez a fejezet nem képes; valamint a Stanford CS324, Large Language Models kurzust, amelynek adatokról és környezeti hatásról szóló előadásai mélyebbre mennek abban az anyagban, amelyet ez a kurzus egyszer tárgyal, majd delegál.