Pretrénování LLM: data, výpočty, škálovací zákony a náklady

V cíli se nic nemění. Model pořád předpovídá další token, loss je pořád cross-entropy z Kapitoly 4 aplikovaná na faktorizaci z Kapitoly 8, optimalizátor je pořád AdamW z Kapitoly 6. Pretraining není nový algoritmus; je to stejný algoritmus spuštěný na korpusu tak velkém, že běh musíte rozpočtovat. Umožňují to dvě věci: štítky jsou zdarma, protože cílem pro pozici $t$ je token na $t+1$ a ten už v textu je; a poslední část Kapitoly 6 odstranila námitku, protože model s mnohem více parametry, než dovolují klasická pravidla, se nerozpadne, ale zlepší. Výsledkem je base model — něco, co pokračuje v textu, místo aby odpovídalo.

Než se cokoli z toho dá rozpočtovat, musí se to spočítat, a obor to počítá jedním vzorcem:

kde $N$ je počet parametrů, $D$ počet trénovacích tokenů a $C$ celkový počet operací s plovoucí řádovou čárkou. Kaplan et al. jej odvozují ve dvou krocích.¹ Forward: 2 FLOPs na parametr a token, protože každý parametr v násobení matic se použije jednou na token, v jednom násobení a jednom sčítání. Backward: dvojnásobek forward, protože backward pass z Kapitoly 5 počítá v každé vrstvě dva gradienty — vůči vstupům vrstvy, aby signál pokračoval dál, a vůči jejím vahám — každý jako násobení matic o velikosti forward, takže $4N$.

To je celé odvození a stojí za to ho ověřit, ne mu jen věřit. PyTorch dodává skutečný FLOP čítač, torch.utils.flop_counter.FlopCounterMode, který zachytí každou operaci, kterou model spustí, a sečte skutečnou práci. Spusťte ho přes čtyři řády velikosti, největší na zařízení meta, které alokuje tvary a žádnou paměť:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Poměr forward+backward ku forward je 3.000, přesně, v každém měřítku: není to aproximace, která náhodou dobře vychází, ale výše uvedená aritmetická identita vrácená jako kulaté číslo čítačem, který o odvození nic neví.

Měřený součet pak leží mezi 3 % a 17 % nad $6ND$, jakmile $N$ započítá matice embedding — a na této větě záleží, protože dva zakládající články počítají $N$ odlišně. Kaplan vylučuje „all vocabulary and positional embeddings“, protože to „produces significantly cleaner scaling laws“ (§1.3); Chinchillina Příloha F říká „we also count embeddings matrices in the total parameter count“.² U širokého slovníku a úzké hidden dimension se tyto dva přístupy liší faktorem devět, jak ukazuje první řádek.

Zbytková mezera je to, co $6ND$ záměrně vynechává: attention skóre. Kaplanova Eq. (2.2) zapisuje forward náklad jako $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ a druhý člen zahazuje, protože $d_{\text{model}} \gg n_{\text{ctx}}/12$ — bezpečné v roce 2020, méně bezpečné dnes, a důvod, proč poměr roste s tím, jak roste $T/d$ — proto tu dva řádky sdílejí $T$ rovné 1 024 a poměr klesá, z 1.145 na 1.100, když $d$ přejde ze 768 na 1 600. Je to náklad $O(T^2)$, který zavedla Kapitola 9 a Kapitola 16 promění v cenu.

Compute rozhoduje, jak dlouho běh trvá; paměť rozhoduje, jestli vůbec může začít. Trénujte s obyčejným fp32 AdamW a každý parametr nese čtyři čísla: váhu, její gradient a Adamův běžící průměr $m$ a rozptyl $v$ — dva průměry ručně sestavené v Kapitole 6. Čtyři čísla po čtyřech bytech znamenají 16 bytů na parametr, ještě před jedinou aktivací. Měřeno na 8GB GPU v notebooku, s rezidentní alokací v bodě kroku, kdy už nežije žádný graf:

Predikce a měření souhlasí do 3 %. Překvapení je poslední sloupec: aktivace model zastiňují. Stejný model s 5,8 milionu parametrů, který potřebuje 89 MB trvalého stavu, potřebuje 4 681 MB aktivací při batch 128 — dvaapadesátkrát víc než model — a velká část toho vůbec není transformer. Jsou to logits, jeden vektor velikosti slovníku na token při čtyřech bytech na položku: 512 MB v posledním řádku, 393 MB v prvním. Velikost slovníku byla zvolena v Kapitole 7 a pořád rozhoduje, co se na kartu vejde.

Který člen dominuje, závisí na tvaru běhu, a proto Micikevicius et al. říkají, že paměť „is dominated by activations“³, zatímco ZeRO říká, že model s 1,5 miliardy parametrů potřebuje „at least 24 GB“ jen na stavy modelu.⁴ ZeRO dochází ke stejným 16 bytům jinou cestou — $2\Psi$ pro fp16 váhy, $2\Psi$ pro fp16 gradienty, $4\Psi$ pro fp32 master weights a Adamovy dva momenty — což je pro 70 miliard parametrů 1,12 terabytu, hodnota čtrnácti 80GB GPU ještě před jedinou aktivací.

Nic z toho se ve frontier měřítku nevejde na jedno zařízení, takže běh se rozdělí čtyřmi způsoby najednou. Data parallelism dá kopii modelu na každý GPU a průměruje gradienty — výchozí varianta a ta, kterou ZeRO vylepšuje tím, že odmítá držet redundantní kopie stavu optimalizátoru. Tensor parallelism dělí jednotlivé matice mezi zařízení. Pipeline parallelism dává každému zařízení souvislou skupinu vrstev. Context parallelism dělí samotnou sekvenci, nutné teprve ve chvíli, kdy je $T$ dost dlouhé na to, aby dominoval attention člen. Tabulka 4 Llama 3 uvádí všechny čtyři současně: tensor 8, context až 16, pipeline 16, data až 128, přes 16 384 H100 GPU.⁵ To je vše, co k tomu tento kurz řekne; inženýrství distribuovaného trénování je samostatný semestr a Stanford CS336 je právě ten semestr, přednášky 5 až 8, včetně kódu.⁶ Z delegace nám zůstává jediné číslo, model FLOPs utilisation — podíl špičkové aritmetiky GPU, kterého skutečný běh dosáhne — a právě to promění úhledné $6ND$ na wall-clock čas, a tedy na peníze.

V lednu 2020 Kaplan et al. natrénovali mřížku transformerů a zjistili, že testovací loss sleduje mocninný zákon v každém ze tří zdrojů přes více než šest řádů velikosti.¹ Jejich §1.2 dává tři fitované zákony:

s doprovody $\alpha_D \approx 0.095$ pro data a $\alpha_C^{\min} \approx 0.050$ pro optimálně alokované compute. Konstanty nejsou univerzální a článek to říká: „the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.“

Exponenty jsou drobné: desetkrát více parametrů koupí faktor $10^{0.076} \approx 1.19$ zbytkového loss. Zní to jako nic, a právě to je zde nejdůležitější fakt — výnosy jsou mizerné a nikdy nekončí. Mocninný zákon s malým exponentem slibuje, že další řád velikosti pomůže, méně než ten poslední, navždy. Nákup compute přestává být hazardem a stává se nákupem s publikovaným směnným kurzem, přesně argumentem, který odemkl kapitál.

Pak přišel předpis, a právě tady se článek mýlil způsobem, který odvětví stál hodně peněz. Kaplanova Tabulka 6 dává $N_{\text{opt}} \propto C^{0.73}$ a $D_{\text{opt}} \propto C^{0.27}$: desetkrát více compute znamená 5,4krát větší model krmený jen 1,9krát větším množstvím textu. Abstrakt je explicitní — „optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.“ Obor to přesně udělal: GPT-3 má 175 miliard parametrů na 300 miliardách tokenů,⁷ Gopher 280 miliard na 300 miliardách, Megatron-Turing NLG 530 miliard na 270 miliardách.² Půl tokenu až dva tokeny na parametr, všude.

V březnu 2022 Hoffmann et al. natrénovali přes 400 modelů od 70 milionů po 16 miliard parametrů a třemi nezávislými cestami došli k opačnému závěru.² Jejich Tabulka 2 uvádí exponent $a$ v $N_{\text{opt}} \propto C^{a}$ jako 0.50, 0.49 a 0.46 oproti Kaplanovým 0.73. Jednoduše řečeno: velikost modelu a trénovací data mají růst ve stejném poměru.

Jejich druhý přístup je ten, který reprodukuje sweep na začátku této kapitoly, v miliontinovém měřítku: zafixujte rozpočet, trénujte mnoho velikostí přesně na tomto rozpočtu, vykreslete konečný loss proti velikosti modelu.

Held-out loss v natech na token, tokenů na parametr v závorkách, tučně nejlepší model při každém rozpočtu; pomlčka je bod, který neběžel, protože rozpočet vyžadoval víc textu, než korpus obsahuje, nebo velikost ležela mimo zde procházené hodnoty.

Čtěte sloupec dolů: loss klesá, dosáhne dna a zase roste. Model může být pro svůj rozpočet příliš velký stejně snadno jako příliš malý — při $10^{14}$ je penalizace za volbu 665 280 parametrů místo 295 808 rovna 0.08 natu, což je na obálce fitované výše loss, kterého správně velký model dosáhne s o 18 % menším compute. Špatná volba tvaru zahodí pětinu rozpočtu. To je Chinchillina Figura 3 za jedno odpoledne na jednom GPU místo se čtyřmi sty modely.

Teď čtěte napříč. Při $10^{13}$ je nejlepší model nejmenší z procházených; při $10^{14}$ je to 295 808 parametrů, sevřené z obou stran. Optimum se s růstem rozpočtu posouvá doprava, což je celý obsah opravy. Fitujte třetí přístup článku — povrch $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ přes každý běh — a minimalizujte za podmínky $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, z notebooku, oproti Kaplanovým 0.73. Shoda na tři číslice z fitu na třech rozpočtech je štěstí; shoda na první není. Exponent cestuje — konstanta ne, protože poměr tokenů k parametrům v těchto optimech je 170 až 540, ne 20. Tři důvody, všechny poučné. $E$ se fituje k nule, protože při loss nad 4 naty není běh ani blízko entropickému dnu, které dominuje Chinchillinu fitu. Batch size a learning rate byly fixní, ne laděné pro každý bod, což znevýhodňuje běhy s nejmenším počtem kroků — a to jsou velké modely: při $10^{13}$ FLOPs dostane model s 1,28 milionu parametrů celkem 159 kroků optimalizátoru, hluboko pod několika tisíci, které Kaplanův člen $S_{\min}$ říká, že potřebuje každý model. Scaling law se fituje uvnitř režimu a tento leží šest řádů pod Chinchillou.

Proto abstrakt článku: „current large language models are significantly undertrained“. Chinchilla je demonstrace — 70 miliard parametrů na 1,4 bilionu tokenů, stejné celkové compute jako Gopherových 280 miliard na 300 miliardách, a přitom ho poráží v 51 z 57 úloh MMLU, 67,5 % proti 60 %.² Čtyřikrát menší, čtyřiapůlkrát více textu, stejné peníze, lepší model.

Dvě poznámky k tomuto slavnému poměru. „Dvacet tokenů na parametr“ není věta v článku, který říká jen, že „for every doubling of model size the number of training tokens should also be doubled“; těch 20 je inference z Tabulky 3 a z vlastní Chinchilly, 70 B na 1,4 T. A jeho přesnost je horší než publikovaná: Besiroglu et al. refitovali z digitalizace Figury 4, zjistili, že původní parametry „fit the reconstructed data poorly“ s intervaly „implausibly tight given the number of data points“, a poctivé rozmezí dali na „between 4 and 40“ tokenů na parametr.⁸

Jeden detail Chinchilliny metody splácí slib, který Kapitola 1 dala ohledně learning-rate schedules. Cosine schedule musí odpovídat token rozpočtu. Model, který uvidí 10 milionů tokenů, musí svůj learning rate snížit na nulu při 10 milionech tokenů; dejte mu schedule dimenzovaný na 100 milionů, zastavte ho brzy, a čtete loss uprostřed sestupu při příliš vysoké hodnotě. Chinchilla trénuje každý model se čtyřmi délkami cyklu právě kvůli této kontrole; sweep výše ze stejného důvodu nastavuje schedule z rozpočtu.

Jsou nejužitečnějším empirickým výsledkem v oboru a běžně se přehánějí. Čtyři omezení.

Predikují loss, ne schopnost. Levá strana je cross-entropy na held-out textu. Nic v těchto článcích nedává oprávnění tvrdit, zda model napíše správné SQL, odmítne škodlivý požadavek nebo použije nástroj. To je znovu lekce Kapitoly 5: predikce loss není predikce chování, za které platíte.

Jsou fitované, ne odvozené. Žádná teorie neprodukuje $\alpha_N = 0.076$. Konstanty se posouvají s tokenizerem — proto je porovnání perplexity mezi dvěma tokenizery bezvýznamné, jak vysvětlila Kapitola 8 — i se směsí dat, architekturou a optimalizátorem. Každý publikovaný zákon je zákonem setupu, který ho vytvořil, a proto si Meta před Llama 3 fitovala vlastní.⁵

Předpokládají čerstvý token pro každý krok, což potichu předpokládá nekonečný korpus. Muennighoff et al. změřili, co se stane, když dojde: až čtyři epochy opakovaných dat nestojí skoro nic — model s 8,7 miliardy parametrů na 44 miliardách unikátních tokenů viděných čtyřikrát skončil s „only 0.5 % higher validation loss“ než stejný model na 178 miliardách unikátních tokenů — zatímco za zhruba šestnácti epochami další compute nekupuje nic.⁹

A nikdo už netrénuje compute-optimal. Chinchilla minimalizuje náklady trénování; nasazený model pak platí přibližně $2N$ FLOPs za každý vygenerovaný token, navždy. LLaMA 1 to řekla přímo: „given a target level of performance, the preferred model is not the fastest to train but the fastest at inference“.¹⁰ Sardana et al. to formalizovali minimalizací $6ND_{\text{train}} + 2ND_{\text{inference}}$ místo toho a zjistili, že kdokoli očekává miliardu požadavků, by měl trénovat „smaller and longer than Chinchilla-optimal“.¹¹ §9.1 Llama 3 souhlasí: její malé modely se trénují „far beyond the point of compute optimal training, effectively trading training compute for inference efficiency“.⁵ Poměr není zastaralý; odpovídá na otázku, která už není tou, kterou se ptáme.

Loss klesá plynule. Benchmark skóre někdy ne. Wei et al. shromáždili případy, kdy úloha zůstává na náhodě přes řády trénovacího compute a pak vyskočí — tříciferná aritmetika se v GPT-3 objeví kolem $2 \times 10^{22}$ FLOPs, MMLU roste nad hádání mezi $3$ a $5 \times 10^{23}$ — a vzor pojmenovali: „an ability is emergent if it is not present in smaller models but is present in larger models“.¹² Pokud je to skutečná vlastnost, extrapolovat z levných experimentů není bezpečné, protože schopnost, kterou kupujete, nemusí existovat v žádném měřítku, které si můžete dovolit otestovat.

Schaeffer, Miranda a Koyejo tvrdili, že většina toho je artefakt měření, a mechanismus je aritmetický.¹³ Per-token loss klesá plynule, takže pravděpodobnost, že jeden token bude správně, $\exp(-\mathcal{L})$, se zlepšuje pozvolna. Skórujte model pomocí exact string match přes odpověď dlouhou $L$ tokenů a zvednete tuto pravděpodobnost na mocninu $L$ — plynulá křivka umocněná velkou mocninou vypadá jako útes. Vyměňte ji za metriku, která počítá tokeny místo vyžadování všech najednou, na stejných výstupech, a „the family's performance smoothly, continuously and predictably improves with increasing scale“.

Jejich audit je číslo, které stojí za zapamatování — „of the 39 preferred metrics in BIG-Bench, at most 5 display emergence“, přičemž dvě nespojité metriky tvoří přes 92 % tvrzených případů — stejně jako jejich opatrnost: „nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities“. Skok v grafu je důkaz o metrice, dokud se neprokáže něco jiného. Kapitola 29 je místo, kde se to stane vaším problémem, protože volba metriky s tvrdým prahem je rozhodnutí, které učiníte, aniž byste si toho všimli.

Korpus je část pretraining běhu, ke které není připojená žádná rovnice, a místo, kde leží většina důsledných rozhodnutí. Surovinou je web crawl: archiv Common Crawl ze srpna 2026 obsahuje „2.14 billion web pages or 360 TiB of uncompressed content“, jeden měsíc, zdarma ke stažení.¹⁴ Téměř nic z toho není použitelné v původní podobě. Článek T5 říká, že crawl „largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text“, a pipeline C4, kterou zavedl, je seznam hrubých heuristik — ponechat jen řádky končící koncovou interpunkcí, zahodit stránky s méně než třemi větami, zahodit každou stránku obsahující složenou závorku nebo slovo z veřejného seznamu vulgarit — a tím proměnit dvacet terabytů měsíčního textu na asi 750 GB.¹⁵

Hrubé je to správné slovo. Dodge et al. auditovali, co tyto filtry odstraňují, a zjistili, že bloklist vulgarit maže 42 % dokumentů v afroamerické angličtině a 32 % v hispánsky zarovnané angličtině oproti 6,2 % v bělošsky zarovnané angličtině, čímž zanechává korpus z 97,8 % v poslední kategorii.¹⁶ Pravidlo bez názoru na dialekt jeden mělo.

Pak deduplication, což není úklid: Lee et al. našli v C4 větu o 61 slovech opakovanou 61 036krát a ukázali, že deduplication snižuje míru, s jakou modely „emit memorized text“, desetkrát, z 1,9 % generovaných tokenů na 0,19 %.¹⁷ Více ale neznamená lépe — tým FineWeb deduplikoval globálně přes 96 crawlů, získal 4 biliony tokenů a žádný měřitelný zisk, pak deduplikoval každý crawl zvlášť, získal 20 bilionů a dorovnal nejlepší existující korpus.¹⁸

Pak kontaminace. Llama 3 změřila vlastní a zveřejnila ji: 98 % AGIEval, 95 % BIG-Bench Hard a 85 % HellaSwag se překrývalo s trénovací sadou podle 8-gramů, a u MMLU byl překryv tak vysoký, že „it is impossible to get a good performance gain estimate“.⁵ §4 GPT-3 hlásí chybu filtrování, která ponechala benchmarky v datech bez cesty zpět: „because of cost considerations it was infeasible to retrain the model“.⁷

Provenience je nevyřešená část. The Pile dodal komponentu o velikosti 100,96 GiB nazvanou Books3 — 12 % korpusu a podle vlastní tabulky souhlasů v článku knihy ze soukromého torrent trackeru;¹⁹ v srpnu 2023 byla po stížnosti na copyright stažena offline. Právní stav k září 2026 není vyřešený a tři americká rozhodnutí citovaná jako trend si navzájem odporují. Alsup shledal trénování na zákonně získaných knihách „exceedingly transformative“, zatímco rozhodl, že knihovna postavená z pirátských kopií taková nebyla, a Anthropic tuto polovinu urovnal za $1.5 billion pokrývajících 482 460 děl, zhruba $3 000 za každé, schváleno 20. července 2026.²⁰ Chhabria udělil Meta summary judgment, přičemž napsal, že jeho rozhodnutí „does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful“, pouze že „these plaintiffs made the wrong arguments“.²¹ Bibas, rozhodující proti Ross Intelligence, poznamenal, že „only non-generative AI is before me today“.²² Žádný americký odvolací soud o této otázce nerozhodl.

Lidé dělají části, které loss neumí. TIME v lednu 2023 uvedl, že pracovníci označující toxický text pro OpenAI přes firmu Sama si odnášeli „between around $1.32 and $2 per hour“ za čtení pasáží popisujících sexuální zneužívání dětí, mučení a sebepoškozování, zatímco OpenAI platila Sama za práci $12.50 za hodinu; Sama zpochybňuje jak rozsah odměn, tak kvótu.²³ To je filtrování kolem pretraining, ne pretraining sám — ale je na stejné faktuře a je to místo, kde sedí člověk.

Elektřina je skutečná a obvykle špatně citovaná. Nejpečlivější publikovaná hodnota je BLOOM: 1 082 990 GPU-hodin, 433 MWh a 24,7 tuny ekvivalentu CO₂ za běh, 50,5 při započtení výroby a idle uzlů;²⁴ Patterson et al. odhadují GPT-3 na 1 287 MWh a 552 tun.²⁵ Dvě upozornění. Výhodou BLOOM je francouzská jaderná síť při 57 g CO₂ na kWh, ne efektivita — spotřeboval více energie než OPT-175B. A nejcitovanější emisní číslo oboru, 626 155 lb ze Strubell et al. pro neural architecture search, bylo později ukázáno jako 88krát příliš vysoké, protože předpokládalo, že search běžel v plné velikosti modelu, když běžel na proxy.²⁶ Rámování LBNL je obhajitelné: americká datacentra použila v roce 2024 192 TWh, 4,7 % národní elektřiny — číslo připojené k odvětví, ne k jednomu běhu.²⁷

Spojnicí je to, co Bender et al. nazvali documentation debt: „putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc“.²⁸ Každý fakt výše existuje, protože se někdo podíval. U korpusů za modely, které většina lidí používá, nemůže nikdo.

Teď aritmetika, kterou chce každý, ze čtyř citovaných vstupů, aby bylo zřejmé, co vyměnit, až zestárnou.

Čtěte poslední dva sloupce společně. Za $10,000 dostanete model s 5 miliardami parametrů na jednom pronajatém uzlu za čtrnáct dní. Při $100,000,000 aritmetika říká 546 miliard parametrů — a dvanáct tisíc H100 propojených na tři měsíce, což není něco, co si pronajmete kreditní kartou. Nad zhruba $100,000 přestává být vázajícím omezením peněz a stává se jím cluster.

Než takové tabulce uvěříte, otestujte ji proti běhům, jejichž skutečné náklady jsou publikované — llm.c reprodukuje GPT-2 124M za „~90 minutes“ na uzlu 8×A100 „for about $20“ a GPT-2 1.6B za 24 hodin na uzlu 8×H100 za $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Oba do zhruba 15 %, což je přibližně přesnost, kterou si takový odhad zaslouží, a výrazně lepší než přesnost, s níž se obvykle cituje.

Nejopakovanější číslo v tomto tématu je, že model třídy GPT-2, který v roce 2019 stál asi $43,000, lze dnes reprodukovat za pár desítek dolarů. Moderní polovina je dobře zdokumentovaná; historická polovina ne.

Dnes. README Karpathyho nanochat: „you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.“³² „GPT-2 capability“ je zde přesné a publikované — překonání CORE skóre GPT-2 ve výši 0.256525 — na leaderboardu, jehož nejlepší záznam k 14. březnu 2026 je 1,65 hodiny. $48 předpokládá $3 za GPU-hodinu, pod ceníkovými $3.99 Lambda; podle ceníku je to blíže $64.

V roce 2019. Neexistuje primární zdroj: OpenAI nikdy nepublikovala dobu ani cenu. Řetězec vede přes The Register, únor 2019, který uvádí „256 Google TPU3 cores“ bez ceny a bez doby; pak Synced, červen 2019, který poznamenává, že hardware stál na Google Cloud $256 za hodinu, a explicitně uvádí, že „OpenAI didn't specify the training duration“. $43,008 je $256 za hodinu krát předpokládaných 168 hodin, které nikdo nikdy neozdrojoval.

Poctivý titulek tedy zní: model odpovídající publikovanému benchmark skóre GPT-2 lze dnes natrénovat za výrazně méně než $100 na pronajatém hardwaru, proti nákladům z roku 2019, které nikdy nebyly publikovány a jejichž slavný odhad stojí na neozdrojovaném odhadu délky běhu. Propad je skutečný a moderní polovinu může reprodukovat kdokoli s kreditní kartou; poměr je aritmetika na čísle, které neexistuje. To je stav publikovaných nákladů na trénování obecně. Článek GPT-3 neobsahuje žádnou částku v dolarech, jen $3.14 \times 10^{23}$ FLOPs v Tabulce D.1;⁷ článek Llama 3 také žádnou neobsahuje.⁵ Každé náklady na trénování, které jste četli, jsou odhad z počtu FLOP, hardwarového předpokladu a cenového předpokladu — vždy stojí za to ptát se, čího.

To, co vyjde, vidělo pevný korpus sestavený v pevném okamžiku, a z toho plynou dvě vlastnosti.

První je knowledge cutoff. Po datu sběru model neví nic — ne „není si jistý“, nic — a bude plynule konfabulovat, místo aby to řekl, protože říkat to nikdy nebylo chování, na kterém byl trénován. Model card Llama 3.1 uvádí prosinec 2023;³³ každý model nějaký má a je to vlastnost trénovacích dat, ne deploymentu. Obejít to je problém retrieval, což je Kapitola 19.

Druhá je, že base model doplňuje, ne odpovídá. Dejte mu „Jaké je hlavní město Francie?“ a věrohodné pokračování je další otázka, protože v korpusu se tento řetězec nejčastěji objevuje v seznamu cvičení.

Doplňovač textu není asistent. Neřídí se instrukcemi, protože mu nic v korpusu neřeklo, že požadavek se má poslechnout, a ne v něm pokračovat. Nemá pojem konverzace se dvěma účastníky. Klidně vytvoří nejpravděpodobnější pokračování škodlivého prompt, protože pravděpodobné je jediné, na co kdy byl optimalizován.

Přeměnit ho v něco, co odpovídá, vyžaduje druhou fázi stojící zlomek procenta té první a spočívající téměř celá v ukazování příkladů chování, které chcete, a následném porovnávání dvojic jeho vlastních výstupů. Z této fáze pochází instruction following, chat templates, odmítání a — to lidi překvapuje — schopnost zavolat nástroj. Kapitola 11 je tato fáze: supervised fine-tuning, RLHF, DPO a GRPO, a otázka, co znamená „aligned“ a kdo o tom rozhoduje.

Vedle této kapitoly stojí za přečtení také Karpathyho build-nanogpt a doprovodné video, které projdou úplnou reprodukci GPT-2 od začátku do konce tempem, které tato kapitola nemůže nabídnout; a Stanford CS324, Large Language Models, jehož přednášky o datech a dopadech na životní prostředí jdou hlouběji do materiálu, který tento kurz probírá jednou a deleguje.