Pretraining eines LLM: Daten, Compute, Scaling Laws und Kosten

Am Ziel ändert sich nichts. Das Modell sagt weiterhin den nächsten token voraus, der Loss ist weiterhin die Cross-Entropy aus Kapitel 4, angewandt auf die Faktorisierung aus Kapitel 8, der Optimierer ist weiterhin AdamW aus Kapitel 6. Pretraining ist kein neuer Algorithmus; es ist derselbe Algorithmus, ausgeführt auf einem Korpus, der groß genug ist, dass der Lauf budgetiert werden muss. Zwei Dinge machen das möglich: Die Labels sind kostenlos, weil das Ziel für Position $t$ der token bei $t+1$ ist und bereits im Text steht; und der letzte Abschnitt von Kapitel 6 hat den Einwand beseitigt, denn ein Modell mit weit mehr Parametern, als die klassischen Regeln erlauben, fällt nicht auseinander, sondern wird besser. Heraus kommt ein Basismodell — etwas, das Text fortsetzt, statt zu antworten.

Bevor irgendetwas budgetiert werden kann, muss es gezählt werden, und das Feld zählt es mit einer Formel:

wobei $N$ die Parameterzahl ist, $D$ die Training-token und $C$ die gesamten Floating-Point-Operationen. Kaplan et al. leiten sie in zwei Schritten her.¹ Forward: 2 FLOPs pro Parameter pro token, weil jeder Parameter in einer Matrixmultiplikation einmal pro token verwendet wird, in einer Multiplikation und einer Addition. Backward: doppelt so viel wie Forward, weil der Backward-Pass aus Kapitel 5 in jeder Schicht zwei Gradienten berechnet — in Bezug auf die Eingaben der Schicht, damit das Signal weiterläuft, und in Bezug auf ihre Gewichte — jeweils eine Matrixmultiplikation in der Größe der Forward-Multiplikation, also $4N$.

Das ist die ganze Herleitung, und es lohnt sich, sie zu prüfen, statt sie zu glauben. PyTorch bringt einen echten FLOP-Zähler mit, torch.utils.flop_counter.FlopCounterMode, der jede Operation abfängt, die ein Modell ausführt, und die tatsächliche Arbeit aufsummiert. Führt man ihn über vier Größenordnungen aus, die größte auf dem meta-Device, das Shapes, aber keinen Speicher alloziert:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Das Verhältnis von Forward+Backward zu Forward ist 3.000, exakt, in jeder Größenordnung: keine Näherung, die zufällig gut ist, sondern die arithmetische Identität oben, als runde Zahl von einem Zähler zurückgegeben, der nichts über die Herleitung weiß.

Die gemessene Gesamtsumme liegt dann zwischen 3 % und 17 % über $6ND$, sobald $N$ die embedding-Matrizen mitzählt — und dieser Nebensatz ist wichtig, weil die beiden Gründungspapiere $N$ unterschiedlich zählen. Kaplan schließt „all vocabulary and positional embeddings“ aus, weil das „produces significantly cleaner scaling laws“ (§1.3); Chinchillas Appendix F sagt: „we also count embeddings matrices in the total parameter count“.² Bei einem breiten Vokabular und einer schmalen Hidden-Dimension unterscheiden sich die beiden um den Faktor neun, wie die erste Zeile zeigt.

Die verbleibende Lücke ist das, was $6ND$ absichtlich auslässt: die attention-Scores. Kaplans Gl. (2.2) schreibt die Forward-Kosten als $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ und lässt den zweiten Term fallen, weil $d_{\text{model}} \gg n_{\text{ctx}}/12$ — 2020 sicher, heute weniger sicher, und der Grund, warum das Verhältnis nach oben driftet, wenn $T/d$ wächst — weshalb zwei Zeilen hier ein $T$ von 1.024 teilen und das Verhältnis fällt, von 1.145 auf 1.100, wenn $d$ von 768 auf 1.600 steigt. Es sind die $O(T^2)$-Kosten, die Kapitel 9 eingeführt hat und die Kapitel 16 in einen Preis verwandelt.

Compute entscheidet, wie lange ein Lauf dauert; Speicher entscheidet, ob er starten kann. Trainiert man mit schlichtem fp32 AdamW, trägt jeder Parameter vier Zahlen: das Gewicht, seinen Gradienten und Adams laufenden Mittelwert $m$ und Varianz $v$ — die zwei Mittelwerte, die Kapitel 6 von Hand aufgebaut hat. Vier Zahlen zu je vier Bytes sind 16 Bytes pro Parameter, noch vor einer einzigen Aktivierung. Gemessen auf einer 8-GB-Laptop-GPU, mit der residenten Allokation an dem Punkt im Schritt, an dem kein Graph mehr lebt:

Vorhersage und Messung stimmen auf 3 % genau überein. Die Überraschung ist die letzte Spalte: Die Aktivierungen stellen das Modell in den Schatten. Dasselbe Modell mit 5,8 Millionen Parametern, das 89 MB persistenten Zustand braucht, benötigt bei einem batch von 128 ganze 4.681 MB Aktivierungen — zweiundfünfzigmal so viel wie das Modell — und vieles davon ist gar nicht der transformer. Es sind die logits, ein Vektor in Vokabulargröße pro token zu vier Bytes je Eintrag: 512 MB in der letzten Zeile, 393 MB in der ersten. Die Vokabulargröße wurde in Kapitel 7 gewählt, und sie entscheidet immer noch, was auf die Karte passt.

Welcher Term dominiert, hängt von der Form des Laufs ab; deshalb sagen Micikevicius et al., Speicher werde „is dominated by activations“³, während ZeRO sagt, ein Modell mit 1,5 Milliarden Parametern brauche „at least 24 GB“ allein für Modellzustände.⁴ ZeRO kommt auf anderem Weg zu denselben 16 Bytes — $2\Psi$ für fp16-Gewichte, $2\Psi$ für fp16-Gradienten, jeweils $4\Psi$ für die fp32-Master-Gewichte und Adams zwei Momente — was bei 70 Milliarden Parametern 1,12 Terabyte ergibt, vierzehn 80-GB-GPUs wert, noch vor einer einzigen Aktivierung.

Nichts davon passt auf Frontier-Skala auf ein einzelnes Device, also wird der Lauf gleichzeitig auf vier Arten aufgeteilt. Data parallelism legt eine Kopie des Modells auf jede GPU und mittelt die Gradienten — der Standardfall und der, den ZeRO verbessert, indem es sich weigert, redundante Kopien des Optimiererzustands zu halten. Tensor parallelism teilt einzelne Matrizen auf Devices auf. Pipeline parallelism gibt jedem Device eine zusammenhängende Gruppe von Schichten. Context parallelism teilt die Sequenz selbst auf, nötig erst dann, wenn $T$ lang genug ist, dass der attention-Term dominiert. Tabelle 4 von Llama 3 listet alle vier gleichzeitig: tensor 8, context bis 16, pipeline 16, data bis 128, über 16.384 H100-GPUs.⁵ Mehr wird dieser Kurs dazu nicht sagen; Engineering für verteiltes Training ist ein eigenes Semester, und Stanfords CS336 ist dieses Semester, Vorlesungen 5 bis 8, samt Code.⁶ Was nach der Delegation übrig bleibt, ist eine einzige Zahl, model FLOPs utilisation — der Anteil der Peak-Arithmetik einer GPU, den ein echter Lauf erreicht — und sie verwandelt das ordentliche $6ND$ in Wanduhrzeit und damit in Geld.

Im Januar 2020 trainierten Kaplan et al. ein Raster von transformers und fanden, dass der Test-Loss über mehr als sechs Größenordnungen einem Potenzgesetz in jeder der drei Ressourcen folgt.¹ Ihr §1.2 gibt drei gefittete Gesetze:

mit Begleitern $\alpha_D \approx 0.095$ für Daten und $\alpha_C^{\min} \approx 0.050$ für optimal zugeteilten Compute. Die Konstanten sind nicht universell, und das Paper sagt das auch: „the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.“

Die Exponenten sind winzig: Zehnmal so viele Parameter kaufen einen Faktor $10^{0.076} \approx 1.19$ vom verbleibenden Loss herunter. Das klingt nach nichts, und genau das ist hier die wichtigste Tatsache — die Erträge sind miserabel, und sie hören nie auf. Ein Potenzgesetz mit kleinem Exponenten verspricht, dass die nächste Größenordnung hilft, weniger als die letzte, aber für immer. Compute zu kaufen hört auf, ein Glücksspiel zu sein, und wird zu einem Kauf mit veröffentlichtem Wechselkurs; genau dieses Argument hat das Kapital freigesetzt.

Dann kam die Vorschrift, und hier lag das Paper auf eine Weise falsch, die die Branche sehr viel Geld kostete. Kaplans Tabelle 6 gibt $N_{\text{opt}} \propto C^{0.73}$ und $D_{\text{opt}} \propto C^{0.27}$: Zehnmal so viel Compute bedeutet ein 5,4-mal größeres Modell, gefüttert mit nur 1,9-mal so viel Text. Das Abstract ist ausdrücklich — „optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.“ Das Feld tat genau das: GPT-3 hat 175 Milliarden Parameter auf 300 Milliarden token,⁷ Gopher 280 Milliarden auf 300 Milliarden, Megatron-Turing NLG 530 Milliarden auf 270 Milliarden.² Ein halber token bis zwei token pro Parameter, überall.

Im März 2022 trainierten Hoffmann et al. über 400 Modelle von 70 Millionen bis 16 Milliarden Parametern und kamen auf drei unabhängigen Wegen zum gegenteiligen Schluss.² Ihre Tabelle 2 berichtet den Exponenten $a$ in $N_{\text{opt}} \propto C^{a}$ als 0,50, 0,49 und 0,46, gegenüber Kaplans 0,73. Klar gesagt: Modellgröße und Trainingsdaten sollten im gleichen Verhältnis wachsen.

Ihr zweiter Ansatz ist der, den der Sweep am Anfang dieses Kapitels in einem Millionstel der Größenordnung reproduziert: ein Budget fixieren, viele Größen exakt mit diesem Budget trainieren, den finalen Loss gegen die Modellgröße plotten.

Held-out-Loss in nats pro token, token pro Parameter in Klammern, fett für das beste Modell bei jedem Budget; ein Strich ist ein nicht ausgeführter Punkt, weil das Budget mehr Text verlangte, als der Korpus enthält, oder die Größe außerhalb der dort gesweepten lag.

Lies eine Spalte hinunter: Der Loss fällt, erreicht ein Minimum und steigt wieder. Ein Modell kann für sein Budget genauso leicht zu groß sein wie zu klein — bei $10^{14}$ beträgt die Strafe dafür, 665.280 Parameter statt 295.808 zu wählen, 0,08 nats; auf der oben gefitteten Hüllkurve ist das der Loss, den ein korrekt dimensioniertes Modell mit 18 % weniger Compute erreicht. Die falsche Form zu wählen wirft ein Fünftel des Budgets weg. Das ist Chinchillas Abbildung 3 an einem Nachmittag auf einer GPU statt mit vierhundert Modellen.

Jetzt lies quer. Bei $10^{13}$ ist das beste Modell das kleinste im Sweep; bei $10^{14}$ hat es 295.808 Parameter, auf beiden Seiten eingerahmt. Das Optimum wandert nach rechts, wenn das Budget wächst, und das ist der gesamte Inhalt der Korrektur. Fitte den dritten Ansatz des Papers — die Fläche $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ über alle Läufe — und minimiere unter der Nebenbedingung $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, von einem Laptop, gegenüber Kaplans 0,73. Übereinstimmung auf drei Stellen aus einem Drei-Budget-Fit ist Glück; Übereinstimmung auf die erste ist es nicht. Der Exponent reist — die Konstante nicht, denn das token-zu-Parameter-Verhältnis an diesen Optima liegt bei 170 bis 540, nicht 20. Drei Gründe, alle lehrreich. $E$ fittet auf null, weil der Lauf bei einem Loss über 4 nats nirgendwo in der Nähe des Entropiebodens liegt, der Chinchillas Fit dominiert. Batchgröße und Lernrate wurden fixiert, statt pro Punkt getunt, was die Läufe benachteiligt, die die wenigsten Schritte bekommen — und das sind die großen Modelle: Bei $10^{13}$ FLOPs bekommt ein Modell mit 1,28 Millionen Parametern insgesamt 159 Optimierer-Schritte, weit unter den paar tausend, die Kaplans $S_{\min}$-Term jedem Modell zuschreibt. Eine scaling law wird innerhalb eines Regimes gefittet, und diese hier liegt sechs Größenordnungen unter Chinchilla.

Daher das Abstract des Papers: „current large language models are significantly undertrained“. Chinchilla ist die Demonstration — 70 Milliarden Parameter auf 1,4 Billionen token, derselbe Gesamt-Compute wie Gophers 280 Milliarden auf 300 Milliarden, und besser in 51 von 57 MMLU-Aufgaben, 67,5 % gegen 60 %.² Viermal kleiner, viereinhalbmal mehr Text, gleiches Geld, besseres Modell.

Zwei Vorbehalte zu diesem berühmten Verhältnis. „Zwanzig token pro Parameter“ ist kein Satz im Paper, das nur sagt, dass „for every doubling of model size the number of training tokens should also be doubled“; die 20 ist eine Schlussfolgerung aus Tabelle 3 und aus Chinchillas eigenen 70 B auf 1,4 T. Und ihre Präzision ist schlechter als veröffentlicht: Besiroglu et al. refitteten anhand einer Digitalisierung von Abbildung 4, fanden, dass die ursprünglichen Parameter „fit the reconstructed data poorly“ mit Intervallen, die „implausibly tight given the number of data points“ seien, und setzten den ehrlichen Bereich auf „between 4 and 40“ token pro Parameter.⁸

Ein Detail von Chinchillas Methode löst ein Versprechen ein, das Kapitel 1 zu Lernraten-Schedules gegeben hat. Der Cosine-Schedule muss zum token-Budget passen. Ein Modell, das 10 Millionen token sehen wird, muss seine Lernrate bei 10 Millionen token auf null absenken; gib ihm einen Schedule für 100 Millionen, stoppe ihn früh, und du liest einen Loss mitten im Abstieg bei einer viel zu hohen Rate. Chinchilla trainiert jedes Modell mit vier Zykluslängen, um genau das zu kontrollieren; der Sweep oben setzt seinen Schedule aus demselben Grund aus dem Budget.

Sie sind das nützlichste empirische Ergebnis im Feld und werden regelmäßig überverkauft. Vier Grenzen.

Sie sagen Loss voraus, nicht Fähigkeit. Die linke Seite ist Cross-Entropy auf Held-out-Text. Nichts in diesen Papers legitimiert eine Behauptung darüber, ob ein Modell korrektes SQL schreibt, eine schädliche Anfrage ablehnt oder ein Tool benutzt. Das ist wieder die Lektion aus Kapitel 5: Eine Vorhersage des Loss ist keine Vorhersage des Verhaltens, für das du bezahlst.

Sie sind gefittet, nicht hergeleitet. Keine Theorie erzeugt $\alpha_N = 0.076$. Die Konstanten bewegen sich mit dem tokenizer — weshalb ein Perplexity-Vergleich über zwei tokenizer hinweg bedeutungslos ist, wie Kapitel 8 erklärt hat — und mit Datenmischung, Architektur und Optimierer. Jedes veröffentlichte Gesetz ist ein Gesetz des Setups, das es erzeugt hat, weshalb Meta vor Llama 3 sein eigenes neu gefittet hat.⁵

Sie nehmen für jeden Schritt einen frischen token an, was stillschweigend einen unendlichen Korpus voraussetzt. Muennighoff et al. maßen, was passiert, wenn er ausgeht: Bis zu vier Epochen wiederholter Daten kosten fast nichts — ein Modell mit 8,7 Milliarden Parametern auf 44 Milliarden einzigartigen token, viermal gesehen, endete mit „only 0.5 % higher validation loss“ als dasselbe Modell auf 178 Milliarden einzigartigen token — während nach etwa sechzehn Epochen zusätzlicher Compute nichts mehr kauft.⁹

Und niemand trainiert mehr compute-optimal. Chinchilla minimiert die Kosten des Trainings; ein deploytes Modell zahlt danach ungefähr $2N$ FLOPs pro generiertem token, für immer. LLaMA 1 sagte es klar: „given a target level of performance, the preferred model is not the fastest to train but the fastest at inference“.¹⁰ Sardana et al. formalisierten es, indem sie stattdessen $6ND_{\text{train}} + 2ND_{\text{inference}}$ minimierten, und fanden, dass jeder, der eine Milliarde Anfragen erwartet, „smaller and longer than Chinchilla-optimal“ trainieren sollte.¹¹ Llama 3s §9.1 stimmt zu: Seine kleinen Modelle trainieren „far beyond the point of compute optimal training, effectively trading training compute for inference efficiency“.⁵ Das Verhältnis ist nicht obsolet; es beantwortet eine Frage, die nicht mehr die gestellte ist.

Loss fällt glatt. Benchmark-Scores tun das manchmal nicht. Wei et al. sammelten Fälle, in denen eine Aufgabe über Größenordnungen von Trainings-Compute hinweg auf Zufallsniveau bleibt und dann springt — dreistellige Arithmetik, die in GPT-3 bei etwa $2 \times 10^{22}$ FLOPs erscheint, MMLU, das zwischen $3$ und $5 \times 10^{23}$ über Rateniveau steigt — und gaben dem Muster einen Namen: „an ability is emergent if it is not present in smaller models but is present in larger models“.¹² Wenn das eine reale Eigenschaft ist, ist Extrapolation aus billigen Experimenten unsicher, denn die Fähigkeit, die du kaufst, existiert vielleicht in keiner Größenordnung, die du dir zu testen leisten kannst.

Schaeffer, Miranda und Koyejo argumentierten, dass das meiste davon ein Messartefakt ist, und der Mechanismus ist Arithmetik.¹³ Per-token-Loss fällt glatt, also verbessert sich die Wahrscheinlichkeit, dass ein token richtig ist, $\exp(-\mathcal{L})$, graduell. Bewertet man das Modell mit exact string match über eine Antwort mit $L$ token und erhebt diese Wahrscheinlichkeit zur Potenz $L$ — eine glatte Kurve, auf eine große Potenz gehoben, sieht aus wie eine Klippe. Ersetzt man sie auf denselben Ausgaben durch eine Metrik, die token zählt, statt alle zu verlangen, dann „the family's performance smoothly, continuously and predictably improves with increasing scale“.

Ihr Audit ist die Zahl, die man behalten sollte — „of the 39 preferred metrics in BIG-Bench, at most 5 display emergence“, wobei zwei diskontinuierliche Metriken über 92 % der behaupteten Fälle ausmachen — und ebenso ihre Warnung: „nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities“. Ein Sprung in einem Diagramm ist zunächst Evidenz über die Metrik, bis anderes gezeigt wird. Kapitel 29 ist der Ort, an dem das zu deinem Problem wird, weil die Wahl einer Hard-Cutoff-Metrik eine Entscheidung ist, die du treffen wirst, ohne es zu merken.

Der Korpus ist der Teil eines pretraining-Laufs, an dem keine Gleichung hängt, und der Ort, an dem die meisten folgenreichen Entscheidungen liegen. Das Rohmaterial ist ein Web-Crawl: Common Crawls Archiv vom August 2026 enthält „2.14 billion web pages or 360 TiB of uncompressed content“, einen Monat davon, kostenlos herunterladbar.¹⁴ Fast nichts davon ist in diesem Zustand brauchbar. Das T5-Paper sagt, der Crawl „largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text“, und die darin eingeführte C4-Pipeline ist eine Liste grober Heuristiken — nur Zeilen behalten, die mit Satzschlusszeichen enden, Seiten mit weniger als drei Sätzen verwerfen, jede Seite mit einer geschweiften Klammer oder einem Wort aus einer öffentlichen Obszönitätenliste verwerfen — wodurch aus zwanzig Terabyte monatlichem Text etwa 750 GB werden.¹⁵

Grob ist das Wort. Dodge et al. auditierten, was diese Filter entfernen, und fanden, dass die Obszönitäten-Blockliste 42 % der Dokumente in African-American English und 32 % in Hispanic-aligned English löscht, gegenüber 6,2 % von White-aligned English, wodurch ein Korpus zurückbleibt, der zu 97,8 % aus der letzten Kategorie besteht.¹⁶ Eine Regel ohne Meinung über Dialekt hatte eine.

Dann Deduplication, die keine Haushaltsführung ist: Lee et al. fanden einen Satz mit 61 Wörtern, der in C4 61.036-mal wiederholt wurde, und zeigten, dass deduplication die Rate, mit der Modelle „emit memorized text“, um den Faktor zehn senkt, von 1,9 % der generierten token auf 0,19 %.¹⁷ Mehr ist jedoch nicht besser — das FineWeb-Team deduplizierte global über 96 Crawls, erhielt 4 Billionen token und keinen messbaren Gewinn; dann deduplizierte es jeden Crawl separat, erhielt 20 Billionen und erreichte den besten bestehenden Korpus.¹⁸

Dann Kontamination. Llama 3 maß seine eigene und veröffentlichte sie: 98 % von AGIEval, 95 % von BIG-Bench Hard und 85 % von HellaSwag überlappten per 8-Gramme mit dem Trainingsset, und bei MMLU war die Überlappung so hoch, dass „it is impossible to get a good performance gain estimate“.⁵ GPT-3s §4 berichtet von einem Filterbug, der Benchmarks in den Daten ließ, ohne Weg zurück: „because of cost considerations it was infeasible to retrain the model“.⁷

Provenienz ist der ungelöste Teil. The Pile enthielt eine 100,96-GiB-Komponente namens Books3 — 12 % des Korpus und, laut Einwilligungstabelle des Papers selbst, Bücher aus einem privaten Torrent-Tracker;¹⁹ sie wurde im August 2023 nach einer Urheberrechtsbeschwerde offline genommen. Die Rechtslage im September 2026 ist ungeklärt, und die drei als Trend zitierten US-Entscheidungen widersprechen einander. Alsup befand, Training auf rechtmäßig erworbenen Büchern sei „exceedingly transformative“, hielt aber eine aus raubkopierten Kopien gebaute Bibliothek für nicht rechtmäßig, und Anthropic verglich diesen Teil für $1,5 Milliarden für 482.460 Werke, ungefähr $3.000 je Werk, genehmigt am 20. Juli 2026.²⁰ Chhabria gewährte Meta summary judgment, schrieb aber, seine Entscheidung „does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful“, sondern nur, dass „these plaintiffs made the wrong arguments“.²¹ Bibas, der gegen Ross Intelligence entschied, merkte an, dass „only non-generative AI is before me today“.²² Kein US-Berufungsgericht hat über die Frage entschieden.

Menschen erledigen die Teile, die der Loss nicht kann. TIME berichtete im Januar 2023, dass Arbeiter, die toxischen Text für OpenAI über die Firma Sama labelten, „between around $1.32 and $2 per hour“ mit nach Hause nahmen, während sie Passagen über sexuellen Kindesmissbrauch, Folter und Selbstverletzung lasen, während OpenAI Sama $12,50 pro Stunde für die Arbeit zahlte; Sama bestreitet sowohl die Lohnspanne als auch die Quote.²³ Das ist die Filterung rund um pretraining, nicht pretraining selbst — aber sie steht auf derselben Rechnung, und dort sitzt ein Mensch.

Der Strom ist real und wird meist falsch zitiert. Die sorgfältigste veröffentlichte Zahl ist BLOOMs: 1.082.990 GPU-Stunden, 433 MWh und 24,7 Tonnen CO₂-Äquivalent für den Lauf, 50,5 inklusive Herstellung und idle Nodes;²⁴ Patterson et al. setzen GPT-3 auf 1.287 MWh und 552 Tonnen.²⁵ Zwei Warnungen. BLOOMs Vorteil ist das französische Atomstromnetz mit 57 g CO₂ pro kWh, nicht Effizienz — es verbrauchte mehr Energie als OPT-175B. Und die meistzitierte Emissionszahl des Feldes, Strubell et al.s 626.155 lb für eine Neural Architecture Search, wurde später als 88-mal zu hoch gezeigt, weil angenommen worden war, die Suche sei mit voller Modellgröße gelaufen, obwohl sie auf einem Proxy lief.²⁶ LBNLs Rahmung ist die vertretbare: US-Rechenzentren verbrauchten 2024 192 TWh, 4,7 % des nationalen Stroms — eine Zahl, die an einer Branche hängt, nicht an irgendeinem einzelnen Lauf.²⁷

Der rote Faden ist das, was Bender et al. documentation debt nannten: „putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc“.²⁸ Jede Tatsache oben existiert, weil jemand hingesehen hat. Bei den Korpora hinter den Modellen, die die meisten Menschen verwenden, kann niemand das tun.

Jetzt die Arithmetik, die alle wollen, aus vier zitierten Eingaben, damit klar ist, welche ersetzt werden müssen, wenn sie veralten.

Lies die letzten beiden Spalten zusammen. Für $10.000 bekommst du ein Modell mit 5 Milliarden Parametern auf einem gemieteten Node in zwei Wochen. Bei $100.000.000 sagt die Arithmetik 546 Milliarden Parameter — und zwölftausend H100s, drei Monate lang zusammengeschaltet, was man nicht mit Kreditkarte mietet. Ab etwa $100.000 hört die bindende Nebenbedingung auf, Geld zu sein, und wird zum Cluster.

Bevor du einer solchen Tabelle vertraust, teste sie gegen Läufe, deren reale Kosten veröffentlicht sind — llm.c reproduziert GPT-2 124M in „~90 minutes“ auf einem 8×A100-Node „for about $20“ und GPT-2 1.6B in 24 Stunden auf einem 8×H100-Node für $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Beide liegen innerhalb von etwa 15 %, was ungefähr die Genauigkeit ist, die diese Art von Schätzung verdient, und erheblich besser als die Genauigkeit, mit der sie üblicherweise zitiert wird.

Die am häufigsten wiederholte Zahl in diesem Thema ist, dass ein GPT-2-Klasse-Modell, das 2019 etwa $43.000 kostete, heute für ein paar Dutzend Dollar reproduziert werden kann. Die moderne Hälfte ist gut dokumentiert; die historische Hälfte nicht.

Heute. Karpathys nanochat-README: „you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.“³² „GPT-2 capability“ ist hier präzise und veröffentlicht — besser als GPT-2s CORE-Score von 0.256525 — auf einem Leaderboard, dessen bester Eintrag am 14. März 2026 bei 1,65 Stunden liegt. Die $48 setzen $3 pro GPU-Stunde voraus, unter Lambdas Listenpreis von $3,99; zum Listenpreis sind es eher $64.

2019. Es gibt keine Primärquelle: OpenAI hat nie eine Dauer oder Kosten veröffentlicht. Die Kette läuft über The Register, Februar 2019, mit „256 Google TPU3 cores“ ohne Preis und ohne Dauer; dann Synced, Juni 2019, mit dem Hinweis, dass die Hardware $256 pro Stunde auf Google Cloud kostete, und der ausdrücklichen Aussage, dass „OpenAI didn't specify the training duration“. $43.008 sind $256 pro Stunde mal angenommene 168 Stunden, für die noch nie eine Quelle genannt wurde.

Die ehrliche Headline lautet also: Ein Modell, das GPT-2s veröffentlichten Benchmark-Score erreicht, kann heute für deutlich unter $100 auf gemieteter Hardware trainiert werden, gegenüber einem Kostenpunkt von 2019, der nie veröffentlicht wurde und dessen berühmte Schätzung auf einer unbelegten Annahme über die Dauer beruht. Der Kollaps ist real, und die moderne Hälfte ist für jeden mit Kreditkarte reproduzierbar; das Verhältnis ist Arithmetik auf einer Zahl, die nicht existiert. Das ist generell der Stand veröffentlichter Trainingskosten. Das GPT-3-Paper enthält überhaupt keinen Dollarbetrag, nur $3.14 \times 10^{23}$ FLOPs in Tabelle D.1;⁷ das Llama-3-Paper ebenfalls nicht.⁵ Jeder Trainingspreis, den du gelesen hast, ist eine Schätzung aus FLOP-Zahl, Hardware-Annahme und Preisannahme — immer wert zu fragen, von wem.

Was herauskommt, hat einen festen Korpus gesehen, der zu einem festen Zeitpunkt zusammengestellt wurde, und daraus folgen zwei Eigenschaften.

Die erste ist der knowledge cutoff. Nach dem Sammeldatum weiß das Modell nichts — nicht „ist unsicher“, sondern nichts — und es wird flüssig konfabulieren, statt das zu sagen, weil dieses Verhalten nie trainiert wurde. Llama 3.1s Model Card nennt Dezember 2023;³³ jedes Modell hat so etwas, und es ist eine Eigenschaft der Trainingsdaten, nicht des Deployments. Der Workaround dafür ist ein Retrieval-Problem, und das ist Kapitel 19.

Die zweite ist, dass ein Basismodell vervollständigt, statt zu antworten. Gib ihm „Was ist die Hauptstadt von Frankreich?“ und eine plausible Fortsetzung ist eine weitere Frage, weil diese Zeichenkette im Korpus meistens in Aufgabenlisten vorkommt.

Ein Textvervollständiger ist kein Assistent. Er folgt keinen Anweisungen, weil nichts im Korpus ihm gesagt hat, dass eine Anfrage befolgt statt fortgesetzt werden soll. Er hat keinen Begriff von einem Gespräch mit zwei Beteiligten. Er wird bereitwillig die wahrscheinlichste Fortsetzung eines schädlichen prompt produzieren, weil wahrscheinlich das Einzige ist, worauf er jemals optimiert wurde.

Ihn in etwas zu verwandeln, das antwortet, braucht eine zweite Stufe, die einen Bruchteil eines Prozents der ersten kostet und fast vollständig daraus besteht, ihm Beispiele für das gewünschte Verhalten zu zeigen und dann Paare seiner eigenen Ausgaben zu vergleichen. Aus dieser Stufe kommen Instruction Following, Chat-Templates, Ablehnungen und — das überrascht viele — die Fähigkeit, ein Tool aufzurufen. Kapitel 11 ist diese Stufe: supervised fine-tuning, RLHF, DPO und GRPO sowie die Frage, was „aligned“ bedeutet und wer das entscheidet.

Ebenfalls lesenswert neben diesem Kapitel: Karpathys build-nanogpt und das begleitende Video, die eine vollständige GPT-2-Reproduktion von Anfang bis Ende in einem Tempo durchgehen, das dieses Kapitel nicht leisten kann; und Stanford CS324, Large Language Models, dessen Vorlesungen zu Daten und Umweltwirkungen tiefer in Material einsteigen, das dieser Kurs einmal behandelt und dann delegiert.