Pretraining LLM-a: dane, obliczenia, prawa skalowania i koszt

Cel się nie zmienia. Model nadal przewiduje następny token, strata nadal jest cross-entropy z Rozdziału 4 zastosowaną do faktoryzacji z Rozdziału 8, optymalizator nadal jest AdamW z Rozdziału 6. Pretraining nie jest nowym algorytmem; to ten sam algorytm uruchomiony na korpusie tak dużym, że przebieg trzeba zabudżetować. Umożliwiają to dwie rzeczy: etykiety są darmowe, bo celem dla pozycji $t$ jest token w $t+1$ i już znajduje się w tekście; a ostatnia sekcja Rozdziału 6 usunęła zastrzeżenie, ponieważ model z dużo większą liczbą parametrów, niż pozwalałyby klasyczne reguły, nie rozpada się, tylko się poprawia. Wynikiem jest model bazowy — coś, co kontynuuje tekst, zamiast odpowiadać.

Zanim cokolwiek z tego da się zabudżetować, trzeba to policzyć, a dziedzina liczy to jednym wzorem:

gdzie $N$ to liczba parametrów, $D$ to tokeny treningowe, a $C$ to całkowita liczba operacji zmiennoprzecinkowych. Kaplan i in. wyprowadzają to w dwóch krokach.¹ Forward: 2 FLOP-y na parametr na token, ponieważ każdy parametr w mnożeniu macierzy jest używany raz na token, w jednym mnożeniu i jednym dodawaniu. Backward: dwa razy forward, ponieważ przebieg wsteczny z Rozdziału 5 oblicza dwa gradienty w każdej warstwie — względem wejść warstwy, żeby sygnał mógł iść dalej, oraz względem jej wag — każdy jako mnożenie macierzy rozmiaru forward, więc $4N$.

To całe wyprowadzenie i warto je sprawdzić, zamiast przyjmować na wiarę. PyTorch dostarcza prawdziwy licznik FLOP, torch.utils.flop_counter.FlopCounterMode, który przechwytuje każdą operację wysyłaną przez model i sumuje faktyczną pracę. Uruchom go przez cztery rzędy wielkości, największy na urządzeniu meta, które przydziela kształty, ale nie pamięć:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Stosunek forward+backward do forward wynosi 3.000, dokładnie, w każdej skali: to nie przybliżenie, które akurat jest dobre, lecz powyższa tożsamość arytmetyczna zwrócona jako okrągła liczba przez licznik, który nic nie wie o wyprowadzeniu.

Zmierzone sumy leżą potem od 3% do 17% powyżej $6ND$, gdy $N$ liczy macierze embedding — i ta klauzula ma znaczenie, bo dwa założycielskie artykuły liczą $N$ inaczej. Kaplan wyklucza „all vocabulary and positional embeddings”, ponieważ to „produces significantly cleaner scaling laws” (§1.3); Appendix F Chinchilli mówi „we also count embeddings matrices in the total parameter count”.² Przy szerokim słowniku i wąskim wymiarze ukrytym różnica wynosi czynnik dziewięć, jak pokazuje pierwszy wiersz.

Pozostała luka jest tym, co $6ND$ celowo pomija: wyniki attention. Równanie (2.2) Kaplana zapisuje koszt forward jako $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ i odrzuca drugi składnik, ponieważ $d_{\text{model}} \gg n_{\text{ctx}}/12$ — bezpieczne w 2020 roku, mniej bezpieczne dziś, i powód, dla którego stosunek dryfuje w górę, gdy rośnie $T/d$ — dlatego dwa wiersze tutaj mają wspólne $T$ równe 1 024, a stosunek spada, z 1.145 do 1.100, gdy $d$ rośnie z 768 do 1 600. To koszt $O(T^2)$, który wprowadził Rozdział 9, a Rozdział 16 zamienia w cenę.

Compute decyduje, jak długo trwa przebieg; pamięć decyduje, czy może się zacząć. Trenuj zwykłym fp32 AdamW, a każdy parametr niesie cztery liczby: wagę, jej gradient oraz bieżącą średnią $m$ i wariancję $v$ Adama — dwie średnie zbudowane ręcznie w Rozdziale 6. Cztery liczby po cztery bajty każda to 16 bajtów na parametr, zanim pojawi się choć jedna activation. Pomiar na GPU laptopa 8 GB, z użyciem rezydentnej alokacji w punkcie kroku, w którym żaden graf nie jest żywy:

Przewidywanie i pomiar zgadzają się w granicach 3%. Zaskoczeniem jest ostatnia kolumna: activations przytłaczają model. Ten sam model 5,8 miliona parametrów, który potrzebuje 89 MB stanu trwałego, potrzebuje 4 681 MB activations przy batch 128 — pięćdziesiąt dwa razy więcej niż model — i duża część tego wcale nie jest transformerem. To logits, jeden wektor rozmiaru słownictwa na token, po cztery bajty na wpis: 512 MB w ostatnim wierszu, 393 MB w pierwszym. Rozmiar słownictwa został wybrany w Rozdziale 7 i nadal decyduje, co mieści się na karcie.

To, który składnik dominuje, zależy od kształtu przebiegu, dlatego Micikevicius i in. mówią, że pamięć „is dominated by activations”³, podczas gdy ZeRO mówi, że model 1,5 miliarda parametrów potrzebuje „at least 24 GB” samych stanów modelu.⁴ ZeRO dochodzi do tych samych 16 bajtów inną drogą — $2\Psi$ dla wag fp16, $2\Psi$ dla gradientów fp16, po $4\Psi$ dla głównych wag fp32 i dwóch momentów Adama — co dla 70 miliardów parametrów daje 1,12 terabajta, równowartość czternastu GPU 80 GB, zanim pojawi się choć jedna activation.

Nic z tego nie mieści się na jednym urządzeniu w skali frontier, więc przebieg dzieli się naraz na cztery sposoby. Data parallelism umieszcza kopię modelu na każdym GPU i uśrednia gradienty — to domyślne podejście, które ZeRO ulepsza, odmawiając trzymania redundantnych kopii stanu optymalizatora. Tensor parallelism dzieli pojedyncze macierze między urządzenia. Pipeline parallelism daje każdemu urządzeniu ciągłą grupę warstw. Context parallelism dzieli samą sekwencję, potrzebne dopiero wtedy, gdy $T$ jest dość długie, by składnik attention dominował. Tabela 4 Llama 3 wymienia wszystkie cztery naraz: tensor 8, context do 16, pipeline 16, data do 128, na 16 384 GPU H100.⁵ To wszystko, co ten kurs o tym powie; inżynieria treningu rozproszonego to osobny semestr, a Stanford CS336 jest tym semestrem, wykłady 5 do 8, z kodem.⁶ Po delegacji zostaje jedna liczba, model FLOPs utilisation — ułamek szczytowej arytmetyki GPU, jaki osiąga rzeczywisty przebieg — która zamienia schludne $6ND$ w czas zegarowy, a więc w pieniądze.

W styczniu 2020 roku Kaplan i in. wytrenowali siatkę transformerów i odkryli, że strata testowa podąża za prawem potęgowym względem każdego z trzech zasobów przez ponad sześć rzędów wielkości.¹ Ich §1.2 podaje trzy dopasowane prawa:

z towarzyszącymi $\alpha_D \approx 0.095$ dla danych i $\alpha_C^{\min} \approx 0.050$ dla optymalnie przydzielonego compute. Stałe nie są uniwersalne i artykuł mówi to wprost: „the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.”

Wykładniki są maleńkie: dziesięć razy więcej parametrów kupuje czynnik $10^{0.076} \approx 1.19$ z pozostałej straty. Brzmi jak nic, i to jest tutaj najważniejszy fakt — zwroty są fatalne i nigdy się nie kończą. Prawo potęgowe z małym wykładnikiem obiecuje, że następny rząd wielkości pomoże, mniej niż poprzedni, zawsze. Kupowanie compute przestaje być hazardem i staje się zakupem z opublikowanym kursem wymiany, co jest dokładnie argumentem, który odblokował kapitał.

Potem przyszła recepta i tu artykuł mylił się w sposób, który kosztował branżę bardzo dużo pieniędzy. Tabela 6 Kaplana podaje $N_{\text{opt}} \propto C^{0.73}$ i $D_{\text{opt}} \propto C^{0.27}$: dziesięć razy więcej compute oznacza model 5,4 raza większy, karmiony tylko 1,9 raza większą ilością tekstu. Abstrakt mówi wprost — „optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.” Dziedzina zrobiła dokładnie to: GPT-3 to 175 miliardów parametrów na 300 miliardach tokenów,⁷ Gopher 280 miliardów na 300 miliardach, Megatron-Turing NLG 530 miliardów na 270 miliardach.² Od połowy tokena do dwóch tokenów na parametr, wszędzie.

W marcu 2022 roku Hoffmann i in. wytrenowali ponad 400 modeli od 70 milionów do 16 miliardów parametrów i doszli do przeciwnego wniosku trzema niezależnymi drogami.² Ich Tabela 2 raportuje wykładnik $a$ w $N_{\text{opt}} \propto C^{a}$ jako 0.50, 0.49 i 0.46, wobec 0.73 Kaplana. Mówiąc prosto: rozmiar modelu i dane treningowe powinny rosnąć w tej samej proporcji.

Ich drugie podejście jest tym, co reprodukuje sweep z początku tego rozdziału, w milionowej części skali: ustal budżet, trenuj wiele rozmiarów dokładnie w tym budżecie, narysuj końcową stratę względem rozmiaru modelu.

Strata held-out w natach na token, tokeny na parametr w nawiasach, pogrubienie dla najlepszego modelu w każdym budżecie; kreska to punkt nieuruchomiony, ponieważ budżet wymagał więcej tekstu, niż mieści korpus, albo rozmiar wypadał poza badany tam zakres.

Czytaj w dół kolumny: strata spada, osiąga minimum i znowu rośnie. Model może być zbyt duży na swój budżet równie łatwo, jak zbyt mały — przy $10^{14}$ kara za wybór 665 280 parametrów zamiast 295 808 wynosi 0,08 nata, co na obwiedni dopasowanej powyżej jest stratą, jaką poprawnie dobrany model osiąga przy 18% mniejszym compute. Wybranie złego kształtu wyrzuca jedną piątą budżetu. To Rysunek 3 Chinchilli w jedno popołudnie na jednym GPU, zamiast z czterystoma modelami.

Teraz czytaj w poprzek. Przy $10^{13}$ najlepszy model jest najmniejszym z badanych; przy $10^{14}$ ma 295 808 parametrów, ograniczony z obu stron. Optimum przesuwa się w prawo wraz ze wzrostem budżetu, i to jest cała treść korekty. Dopasuj trzecie podejście z artykułu — powierzchnię $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ po wszystkich przebiegach — i zminimalizuj przy warunku $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, z laptopa, wobec 0.73 Kaplana. Zgodność do trzech cyfr z dopasowania trzech budżetów to szczęście; zgodność do pierwszej nie. Wykładnik podróżuje — stała nie, bo stosunek tokenów do parametrów w tych optimach wynosi 170 do 540, nie 20. Trzy powody, wszystkie pouczające. $E$ dopasowuje się do zera, bo przy stracie powyżej 4 natów przebieg nie jest nawet blisko podłogi entropii, która dominuje dopasowanie Chinchilli. Batch size i learning rate były stałe, zamiast strojone dla każdego punktu, co krzywdzi te przebiegi, które dostają najmniej kroków — a są to duże modele: przy $10^{13}$ FLOP-ach model 1,28 miliona parametrów dostaje łącznie 159 kroków optymalizatora, daleko poniżej kilku tysięcy, które składnik $S_{\min}$ Kaplana mówi, że potrzebuje każdy model. Prawo skalowania jest dopasowywane wewnątrz reżimu, a to siedzi sześć rzędów wielkości poniżej Chinchilli.

Stąd abstrakt artykułu: „current large language models are significantly undertrained”. Chinchilla jest demonstracją — 70 miliardów parametrów na 1,4 biliona tokenów, ten sam łączny compute co Gopher 280 miliardów na 300 miliardach, i wygrywa z nim w 51 z 57 zadań MMLU, 67,5% wobec 60%.² Cztery razy mniejszy, cztery i pół raza więcej tekstu, te same pieniądze, lepszy model.

Dwa zastrzeżenia do tego słynnego stosunku. „Dwadzieścia tokenów na parametr” nie jest zdaniem z artykułu, który mówi tylko, że „for every doubling of model size the number of training tokens should also be doubled”; 20 to wniosek z Tabeli 3 i z własnych 70 B na 1,4 T Chinchilli. A jego precyzja jest gorsza niż opublikowana: Besiroglu i in. ponownie dopasowali dane z digitalizacji Rysunku 4, odkryli, że oryginalne parametry „fit the reconstructed data poorly” z przedziałami „implausibly tight given the number of data points”, i uczciwy zakres umieścili na „between 4 and 40” tokenów na parametr.⁸

Jeden szczegół metody Chinchilli spłaca obietnicę, którą Rozdział 1 złożył w sprawie harmonogramów learning rate. Harmonogram cosinusowy musi być dopasowany do budżetu tokenów. Model, który zobaczy 10 milionów tokenów, musi wygasić learning rate do zera przy 10 milionach tokenów; daj mu harmonogram przygotowany na 100 milionów, zatrzymaj go wcześnie, a będziesz odczytywać stratę w połowie zejścia, przy zdecydowanie zbyt wysokiej wartości. Chinchilla trenuje każdy model przy czterech długościach cyklu, by dokładnie to kontrolować; sweep powyżej z tego samego powodu ustawia harmonogram z budżetu.

Są najbardziej użytecznym wynikiem empirycznym w tej dziedzinie i rutynowo sprzedaje się je za drogo. Cztery ograniczenia.

Przewidują stratę, nie capability. Lewą stroną jest cross-entropy na tekście held-out. Nic w tych artykułach nie upoważnia do twierdzenia, czy model napisze poprawny SQL, odmówi szkodliwego żądania albo użyje narzędzia. To znowu lekcja z Rozdziału 5: predykcja straty nie jest predykcją zachowania, za które płacisz.

Są dopasowane, nie wyprowadzone. Żadna teoria nie produkuje $\alpha_N = 0.076$. Stałe zmieniają się wraz z tokenizatorem — dlatego porównanie perplexity między dwoma tokenizerami jest bez sensu, jak wyjaśniał Rozdział 8 — oraz z mieszanką danych, architekturą i optymalizatorem. Każde opublikowane prawo jest prawem setupu, który je wytworzył, dlatego Meta dopasowała własne przed Llama 3.⁵

Zakładają świeży token w każdym kroku, co po cichu zakłada nieskończony korpus. Muennighoff i in. zmierzyli, co się dzieje, gdy go zabraknie: do czterech epok powtarzanych danych kosztuje prawie nic — model 8,7 miliarda parametrów na 44 miliardach unikalnych tokenów widzianych cztery razy skończył z „only 0.5 % higher validation loss” niż ten sam model na 178 miliardach unikalnych — podczas gdy po około szesnastu epokach dodatkowy compute nie kupuje nic.⁹

I nikt już nie trenuje compute-optimal. Chinchilla minimalizuje koszt treningu; wdrożony model płaci potem około $2N$ FLOP-ów na wygenerowany token, w nieskończoność. LLaMA 1 powiedziała to wprost: „given a target level of performance, the preferred model is not the fastest to train but the fastest at inference”.¹⁰ Sardana i in. sformalizowali to, minimalizując zamiast tego $6ND_{\text{train}} + 2ND_{\text{inference}}$, i odkryli, że każdy, kto oczekuje miliarda zapytań, powinien trenować „smaller and longer than Chinchilla-optimal”.¹¹ §9.1 Llama 3 się zgadza: jej małe modele trenują „far beyond the point of compute optimal training, effectively trading training compute for inference efficiency”.⁵ Stosunek nie jest przestarzały; odpowiada na pytanie, które nie jest już tym zadawanym.

Strata spada gładko. Wyniki benchmarków czasem nie. Wei i in. zebrali przypadki, w których zadanie pozostaje na poziomie losowym przez rzędy wielkości treningowego compute, a potem skacze — arytmetyka trzycyfrowa pojawiająca się w GPT-3 przy około $2 \times 10^{22}$ FLOP-ach, MMLU rosnące powyżej zgadywania między $3$ a $5 \times 10^{23}$ — i nazwali wzorzec: „an ability is emergent if it is not present in smaller models but is present in larger models”.¹² Jeśli to realna własność, ekstrapolacja z tanich eksperymentów jest niebezpieczna, bo capability, którą kupujesz, może nie istnieć w żadnej skali, którą stać cię przetestować.

Schaeffer, Miranda i Koyejo argumentowali, że większość tego to artefakt pomiaru, a mechanizm jest arytmetyczny.¹³ Strata per-token spada gładko, więc prawdopodobieństwo, że jeden token będzie poprawny, $\exp(-\mathcal{L})$, poprawia się stopniowo. Oceń model przez exact string match dla odpowiedzi o $L$ tokenach, a podnosisz to prawdopodobieństwo do potęgi $L$ — gładka krzywa podniesiona do dużej potęgi wygląda jak urwisko. Zamień metrykę na taką, która liczy tokeny, zamiast wymagać wszystkich naraz, na tych samych wyjściach, a „the family's performance smoothly, continuously and predictably improves with increasing scale”.

Ich audyt jest liczbą do zapamiętania — „of the 39 preferred metrics in BIG-Bench, at most 5 display emergence”, z dwiema nieciągłymi metrykami odpowiadającymi za ponad 92% zgłaszanych przypadków — podobnie jak ich ostrożność: „nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities”. Skok na wykresie jest dowodem dotyczącym metryki, dopóki nie pokazano inaczej. Rozdział 29 to miejsce, w którym staje się to twoim problemem, bo wybór metryki z twardym progiem jest decyzją, którą podejmiesz, nie zauważając tego.

Korpus jest częścią przebiegu pretraining, do której nie jest przypisane żadne równanie, i miejscem, gdzie żyje większość decyzji o konsekwencjach. Surowcem jest web crawl: archiwum Common Crawl z sierpnia 2026 zawiera „2.14 billion web pages or 360 TiB of uncompressed content”, jeden miesiąc, za darmo do pobrania.¹⁴ Prawie nic z tego nie nadaje się do użycia w takim stanie. Artykuł T5 mówi, że crawl „largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text”, a pipeline C4, który wprowadził, jest listą tępych heurystyk — zachowuj tylko linie kończące się interpunkcją końcową, odrzucaj strony z mniej niż trzema zdaniami, odrzucaj każdą stronę zawierającą nawias klamrowy albo słowo z publicznej listy obsceniczności — zamieniając dwadzieścia terabajtów miesięcznego tekstu w około 750 GB.¹⁵

„Tępe” to właściwe słowo. Dodge i in. przeaudytowali, co te filtry usuwają, i odkryli, że bloklista obsceniczności kasuje 42% dokumentów w African-American English i 32% w Hispanic-aligned English, wobec 6,2% w White-aligned English, zostawiając korpus w 97,8% z ostatniej kategorii.¹⁶ Reguła bez opinii o dialekcie miała opinię.

Potem deduplikacja, która nie jest sprzątaniem: Lee i in. znaleźli 61-wyrazowe zdanie powtórzone 61 036 razy w C4 i pokazali, że deduplikacja dziesięciokrotnie obcina tempo, w jakim modele „emit memorized text”, z 1,9% wygenerowanych tokenów do 0,19%.¹⁷ Więcej nie znaczy jednak lepiej — zespół FineWeb zdeduplikował globalnie przez 96 crawli, dostał 4 biliony tokenów i brak mierzalnej poprawy, potem zdeduplikował każdy crawl osobno, dostał 20 bilionów i dorównał najlepszemu istniejącemu korpusowi.¹⁸

Potem kontaminacja. Llama 3 zmierzyła własną i ją opublikowała: 98% AGIEval, 95% BIG-Bench Hard i 85% HellaSwag pokrywało się ze zbiorem treningowym po 8-gramach, a dla MMLU overlap był tak wysoki, że „it is impossible to get a good performance gain estimate”.⁵ §4 GPT-3 raportuje błąd filtrowania, który zostawił benchmarki w danych bez drogi powrotu: „because of cost considerations it was infeasible to retrain the model”.⁷

Proweniencja jest nierozwiązaną częścią. The Pile zawierał komponent 100,96 GiB o nazwie Books3 — 12% korpusu i, według własnej tabeli zgód artykułu, książki z prywatnego trackera torrentów;¹⁹ został zdjęty z sieci w sierpniu 2023 po skardze dotyczącej praw autorskich. Stan prawny na wrzesień 2026 pozostaje nierozstrzygnięty, a trzy amerykańskie orzeczenia cytowane jako trend nie zgadzają się ze sobą. Alsup uznał trening na legalnie pozyskanych książkach za „exceedingly transformative”, jednocześnie stwierdzając, że biblioteka zbudowana z pirackich kopii taka nie była, a Anthropic ugodził tę połowę za $1,5 miliarda, obejmując 482 460 utworów, około $3 000 za każdy, zatwierdzone 20 lipca 2026.²⁰ Chhabria przyznał Meta summary judgment, pisząc jednocześnie, że jego orzeczenie „does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful”, tylko że „these plaintiffs made the wrong arguments”.²¹ Bibas, orzekając przeciw Ross Intelligence, zauważył, że „only non-generative AI is before me today”.²² Żaden amerykański sąd apelacyjny nie orzekł w tej sprawie.

Ludzie robią części, których strata nie potrafi. TIME raportował w styczniu 2023, że pracownicy oznaczający toksyczny tekst dla OpenAI przez firmę Sama dostawali do ręki „between around $1.32 and $2 per hour” za czytanie fragmentów opisujących seksualne wykorzystywanie dzieci, tortury i samookaleczenia, podczas gdy OpenAI płaciło Sama $12,50 za godzinę tej pracy; Sama kwestionuje zarówno zakres płac, jak i normę.²³ To filtrowanie wokół pretraining, a nie sam pretraining — ale jest na tej samej fakturze i tam siedzi człowiek.

Elektryczność jest realna i zwykle źle cytowana. Najstaranniejsza opublikowana liczba to BLOOM: 1 082 990 GPU-godzin, 433 MWh i 24,7 tony ekwiwalentu CO₂ za przebieg, 50,5 po doliczeniu produkcji i bezczynnych węzłów;²⁴ Patterson i in. podają GPT-3 jako 1 287 MWh i 552 tony.²⁵ Dwa zastrzeżenia. Przewaga BLOOM wynika z francuskiej sieci jądrowej na poziomie 57 g CO₂ na kWh, nie z efektywności — zużył więcej energii niż OPT-175B. A najczęściej cytowana liczba emisji w tej dziedzinie, 626 155 lb Strubell i in. dla neural architecture search, okazała się później 88 razy za wysoka, bo zakładała, że search działał w pełnym rozmiarze modelu, gdy działał na proxy.²⁶ Ujęcie LBNL jest tym defensywnym: amerykańskie centra danych zużyły 192 TWh w 2024 roku, 4,7% krajowej elektryczności — liczba przypisana do branży, nie do żadnego pojedynczego przebiegu.²⁷

Myśl przewodnia jest tym, co Bender i in. nazwali długiem dokumentacyjnym: „putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc”. Każdy powyższy fakt istnieje, bo ktoś spojrzał. Dla korpusów stojących za modelami, których używa większość ludzi, nikt nie może.

Teraz arytmetyka, której wszyscy chcą, z czterech cytowanych wejść, żeby gdy się zestarzeją, było oczywiste, co wymienić.

Czytaj dwie ostatnie kolumny razem. Za $10 000 dostajesz model 5 miliardów parametrów na jednym wynajętym węźle w dwa tygodnie. Przy $100 000 000 arytmetyka mówi 546 miliardów parametrów — i dwanaście tysięcy H100 połączonych razem na trzy miesiące, czego nie wynajmuje się kartą kredytową. Powyżej około $100 000 ograniczeniem przestają być pieniądze, a staje się nim klaster.

Zanim zaufasz takiej tabeli, przetestuj ją na przebiegach, których realny koszt jest opublikowany — llm.c reprodukuje GPT-2 124M w „~90 minutes” na węźle 8×A100 „for about $20”, oraz GPT-2 1.6B w 24 godziny na węźle 8×H100 za $672.³⁰

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Oba mieszczą się w około 15%, co jest mniej więcej dokładnością, na jaką zasługuje tego rodzaju estymacja, i znacznie lepszą niż dokładność, z jaką zwykle się ją cytuje.

Najczęściej powtarzana liczba w tym temacie mówi, że model klasy GPT-2 kosztujący około $43 000 w 2019 roku można dziś odtworzyć za kilkadziesiąt dolarów. Współczesna połowa jest dobrze udokumentowana; historyczna nie.

Dziś. README Karpathy'ego nanochat: „you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.”³¹ „GPT-2 capability” ma tu precyzyjne, opublikowane znaczenie — pobicie wyniku CORE GPT-2 na poziomie 0.256525 — na leaderboardzie, którego najlepszy wpis na 14 marca 2026 wynosi 1,65 godziny. $48 zakłada $3 za GPU-godzinę, poniżej cennikowego $3.99 Lambda; według cennika to bliżej $64.

W 2019. Nie ma źródła pierwotnego: OpenAI nigdy nie opublikowało czasu trwania ani kosztu. Łańcuch wygląda tak: The Register, luty 2019, raportuje „256 Google TPU3 cores” bez ceny i bez czasu trwania; potem Synced, czerwiec 2019, zauważa, że sprzęt kosztował $256 za godzinę w Google Cloud, i wyraźnie stwierdza, że „OpenAI didn't specify the training duration”. $43 008 to $256 za godzinę razy założone 168 godzin, których nikt nigdy nie uźródłowił.

Uczciwy nagłówek brzmi więc: model dorównujący opublikowanemu wynikowi benchmarkowemu GPT-2 można dziś wytrenować za znacznie poniżej $100 na wynajętym sprzęcie, wobec kosztu z 2019 roku, który nigdy nie został opublikowany i którego słynna estymacja opiera się na nieuźródłowionym zgadywaniu czasu trwania. Załamanie kosztów jest realne, a współczesną połowę może odtworzyć każdy z kartą kredytową; stosunek to arytmetyka na liczbie, która nie istnieje. Taki jest ogólny stan opublikowanych kosztów treningu. Artykuł GPT-3 nie zawiera żadnej kwoty w dolarach, tylko $3.14 \times 10^{23}$ FLOP-ów w Tabeli D.1;⁷ artykuł Llama 3 również żadnej nie zawiera.⁵ Każdy koszt treningu, jaki czytałeś, jest estymacją z liczby FLOP, założenia sprzętowego i założenia cenowego — zawsze warto pytać, czyich.

To, co wychodzi, widziało stały korpus złożony w stałym momencie, i wynikają z tego dwie własności.

Pierwsza to knowledge cutoff. Po dacie zbioru model nie wie nic — nie „jest niepewny”, tylko nic — i będzie płynnie konfabulował, zamiast tak powiedzieć, ponieważ mówienie tego nigdy nie było zachowaniem, na którym go trenowano. Model card Llama 3.1 podaje grudzień 2023;³² każdy model ma taką datę i jest to własność danych treningowych, nie wdrożenia. Obejście tego jest problemem retrieval, którym zajmuje się Rozdział 19.

Druga jest taka, że model bazowy uzupełnia, a nie odpowiada. Daj mu „Jaka jest stolica Francji?”, a wiarygodną kontynuacją będzie kolejne pytanie, bo w korpusie taki ciąg najczęściej pojawia się na liście ćwiczeń.

Uzupełniacz tekstu nie jest asystentem. Nie wykonuje instrukcji, bo nic w korpusie nie powiedziało mu, że prośbę należy spełnić, zamiast kontynuować. Nie ma pojęcia o rozmowie z dwiema stronami. Chętnie wygeneruje najbardziej prawdopodobną kontynuację szkodliwego prompt, bo prawdopodobieństwo było jedyną rzeczą, pod którą kiedykolwiek go optymalizowano.

Zamiana go w coś, co odpowiada, wymaga drugiego etapu kosztującego ułamek procenta pierwszego i składającego się niemal w całości z pokazywania mu przykładów zachowania, którego chcesz, a potem porównywania par jego własnych wyjść. To etap, z którego biorą się instruction following, chat templates, odmowy i — co zaskakuje ludzi — zdolność do wywołania narzędzia. Rozdział 11 jest tym etapem: supervised fine-tuning, RLHF, DPO i GRPO, oraz pytanie, co znaczy „aligned” i kto o tym decyduje.

Warto czytać obok tego rozdziału także build-nanogpt Karpathy'ego i towarzyszące mu wideo, które przeprowadzają pełną reprodukcję GPT-2 od końca do końca w tempie, na które ten rozdział nie może sobie pozwolić; oraz Stanford CS324, Large Language Models, którego wykłady o danych i wpływie środowiskowym wchodzą głębiej w materiał, który ten kurs omawia raz i deleguje.