Pré-entraîner un LLM : données, calcul, scaling laws et coût

Rien ne change dans l’objectif. Le modèle prédit toujours le prochain token, la perte reste la cross-entropy du chapitre 4 appliquée à la factorisation du chapitre 8, l’optimiseur reste l’AdamW du chapitre 6. Le pretraining n’est pas un nouvel algorithme ; c’est le même algorithme exécuté sur un corpus assez grand pour que l’exécution doive être budgétée. Deux choses le rendent possible : les labels sont gratuits, puisque la cible pour la position $t$ est le token en $t+1$ et se trouve déjà dans le texte ; et la dernière section du chapitre 6 a levé l’objection, parce qu’un modèle avec bien plus de paramètres que ne l’autorisent les règles classiques ne s’effondre pas, il s’améliore. Ce qui en sort est un modèle de base — quelque chose qui continue du texte plutôt que de répondre.

Avant de pouvoir budgéter tout cela, il faut le compter, et le domaine le compte avec une seule formule :

où $N$ est le nombre de paramètres, $D$ les tokens d’entraînement et $C$ le total d’opérations en virgule flottante. Kaplan et al. la dérivent en deux étapes.¹ Forward : 2 FLOPs par paramètre et par token, puisque chaque paramètre d’une multiplication matricielle est utilisé une fois par token, dans une multiplication et une addition. Backward : deux fois le forward, puisque le backward pass du chapitre 5 calcule deux gradients à chaque couche — par rapport aux entrées de la couche, pour que le signal continue de se propager, et par rapport à ses poids — chacun étant une multiplication matricielle de la taille du forward, donc $4N$.

C’est toute la dérivation, et elle mérite d’être vérifiée plutôt que crue. PyTorch fournit un vrai compteur de FLOP, torch.utils.flop_counter.FlopCounterMode, qui intercepte chaque opération envoyée par un modèle et totalise le travail réel. Exécutez-le sur quatre ordres de grandeur, le plus grand sur le device meta, qui alloue les formes et non la mémoire :

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Le ratio forward+backward sur forward vaut 3.000, exactement, à toutes les échelles : pas une approximation qui se trouve être bonne, mais l’identité arithmétique ci-dessus renvoyée comme nombre rond par un compteur qui ne sait rien de la dérivation.

Le total mesuré se situe ensuite entre 3 % et 17 % au-dessus de $6ND$, une fois que $N$ compte les matrices d’embedding — et cette clause importe, parce que les deux articles fondateurs comptent $N$ différemment. Kaplan exclut « all vocabulary and positional embeddings » parce que cela « produces significantly cleaner scaling laws » (§1.3) ; l’annexe F de Chinchilla indique « we also count embeddings matrices in the total parameter count ».² Pour un vocabulaire large et une dimension cachée étroite, les deux diffèrent d’un facteur neuf, comme le montre la première ligne.

L’écart résiduel est ce que $6ND$ omet délibérément : les scores d’attention. L’équation (2.2) de Kaplan écrit le coût forward comme $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ et supprime le second terme parce que $d_{\text{model}} \gg n_{\text{ctx}}/12$ — sûr en 2020, moins sûr aujourd’hui, et la raison pour laquelle le ratio dérive vers le haut quand $T/d$ grandit — ce qui explique que deux lignes ici partagent un $T$ de 1 024 et que le ratio baisse, de 1.145 à 1.100, quand $d$ passe de 768 à 1 600. C’est le coût $O(T^2)$ introduit au chapitre 9 et transformé en prix au chapitre 16.

Le calcul décide de la durée d’une exécution ; la mémoire décide si elle peut démarrer. Entraînez avec AdamW fp32 simple et chaque paramètre transporte quatre nombres : le poids, son gradient, et la moyenne courante $m$ et la variance $v$ d’Adam — les deux moyennes construites à la main au chapitre 6. Quatre nombres à quatre octets chacun font 16 octets par paramètre, avant la moindre activation. Mesuré sur un GPU de portable de 8 Go, en prenant l’allocation résidente au point de l’étape où aucun graphe n’est vivant :

Prédiction et mesure concordent à moins de 3 %. La surprise est la dernière colonne : les activations écrasent le modèle. Le même modèle de 5,8 millions de paramètres qui nécessite 89 MB d’état persistant a besoin de 4 681 MB d’activations avec un batch de 128 — cinquante-deux fois le modèle — et une grande partie de cela n’est pas du transformer du tout. Ce sont les logits, un vecteur de taille vocabulaire par token à quatre octets l’entrée : 512 MB dans la dernière ligne, 393 MB dans la première. La taille du vocabulaire a été choisie au chapitre 7, et elle décide encore de ce qui tient sur la carte.

Le terme dominant dépend de la forme de l’exécution, d’où l’affirmation de Micikevicius et al. selon laquelle la mémoire « is dominated by activations »³, tandis que ZeRO dit qu’un modèle de 1,5 milliard de paramètres exige « at least 24 GB » pour les seuls états du modèle.⁴ ZeRO atteint les mêmes 16 octets par un autre chemin — $2\Psi$ pour les poids fp16, $2\Psi$ pour les gradients fp16, $4\Psi$ chacun pour les poids maîtres fp32 et les deux moments d’Adam — ce qui, pour 70 milliards de paramètres, représente 1,12 téraoctet, soit quatorze GPUs de 80 GB avant la moindre activation.

Rien de tout cela ne tient sur un seul device à l’échelle frontière, donc l’exécution est divisée de quatre façons à la fois. Le parallélisme de données met une copie du modèle sur chaque GPU et moyenne les gradients — le défaut, et celui que ZeRO améliore en refusant de conserver des copies redondantes de l’état de l’optimiseur. Le parallélisme tensoriel divise les matrices individuelles entre devices. Le parallélisme pipeline donne à chaque device un groupe contigu de couches. Le parallélisme de context divise la séquence elle-même, nécessaire seulement quand $T$ est assez long pour que le terme d’attention domine. Le tableau 4 de Llama 3 les liste tous les quatre à la fois : tensor 8, context jusqu’à 16, pipeline 16, data jusqu’à 128, sur 16 384 GPUs H100.⁵ C’est tout ce que ce cours en dira ; l’ingénierie de l’entraînement distribué est un semestre à elle seule, et le CS336 de Stanford est ce semestre, cours 5 à 8, avec le code.⁶ Ce qui survit à la délégation est un seul nombre, l’utilisation des FLOPs du modèle — la fraction du pic arithmétique d’un GPU qu’une exécution réelle atteint — qui transforme le propre $6ND$ en temps réel, et donc en argent.

En janvier 2020, Kaplan et al. ont entraîné une grille de transformers et constaté que la perte de test suit une loi de puissance pour chacune des trois ressources sur plus de six ordres de grandeur.¹ Leur §1.2 donne trois lois ajustées :

avec comme compagnes $\alpha_D \approx 0.095$ pour les données et $\alpha_C^{\min} \approx 0.050$ pour le calcul alloué de façon optimale. Les constantes ne sont pas universelles, et l’article le dit : « the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning. »

Les exposants sont minuscules : dix fois plus de paramètres achètent un facteur $10^{0.076} \approx 1.19$ sur la perte restante. Cela semble négligeable, et c’est le fait le plus important ici — les rendements sont mauvais et ils ne s’arrêtent jamais. Une loi de puissance avec un petit exposant promet que l’ordre de grandeur suivant aidera, moins que le précédent, pour toujours. Acheter du calcul cesse d’être un pari et devient un achat avec un taux de change publié, ce qui est exactement l’argument qui a débloqué le capital.

Puis est venue la prescription, et c’est là que l’article s’est trompé d’une manière qui a coûté très cher à l’industrie. Le tableau 6 de Kaplan donne $N_{\text{opt}} \propto C^{0.73}$ et $D_{\text{opt}} \propto C^{0.27}$ : dix fois le calcul signifie un modèle 5,4 fois plus grand nourri avec seulement 1,9 fois plus de texte. L’abstract est explicite — « optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence. » Le domaine a fait exactement cela : GPT-3 compte 175 milliards de paramètres sur 300 milliards de tokens,⁷ Gopher 280 milliards sur 300 milliards, Megatron-Turing NLG 530 milliards sur 270 milliards.² Un demi-token à deux tokens par paramètre, partout.

En mars 2022, Hoffmann et al. ont entraîné plus de 400 modèles de 70 millions à 16 milliards de paramètres et sont arrivés à la conclusion opposée par trois voies indépendantes.² Leur tableau 2 rapporte l’exposant $a$ dans $N_{\text{opt}} \propto C^{a}$ comme 0,50, 0,49 et 0,46, contre 0,73 chez Kaplan. En clair : la taille du modèle et les données d’entraînement doivent croître dans la même proportion.

Leur deuxième approche est celle reproduite par le balayage en haut de ce chapitre, à un millionième de l’échelle : fixer un budget, entraîner de nombreuses tailles exactement à ce budget, tracer la perte finale en fonction de la taille du modèle.

Perte de validation en nats par token, tokens par paramètre entre parenthèses, gras pour le meilleur modèle à chaque budget ; un tiret indique un point non exécuté, parce que le budget demandait plus de texte que le corpus n’en contient ou que la taille sortait de celles balayées là.

Lisez une colonne vers le bas : la perte baisse, touche un minimum, puis remonte. Un modèle peut être trop grand pour son budget exactement aussi facilement qu’il peut être trop petit — à $10^{14}$, la pénalité pour choisir 665 280 paramètres au lieu de 295 808 est de 0,08 nat, ce qui, sur l’enveloppe ajustée ci-dessus, correspond à la perte qu’un modèle correctement dimensionné atteint avec 18 % de calcul en moins. Choisir la mauvaise forme jette un cinquième du budget. C’est la figure 3 de Chinchilla en un après-midi sur un GPU plutôt qu’avec quatre cents modèles.

Maintenant, lisez horizontalement. À $10^{13}$, le meilleur modèle est le plus petit du balayage ; à $10^{14}$, il compte 295 808 paramètres, encadré des deux côtés. L’optimum se déplace vers la droite quand le budget augmente, ce qui est tout le contenu de la correction. Ajustez la troisième approche de l’article — la surface $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ sur chaque exécution — et minimisez sous la contrainte $C = 6ND$ :

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, depuis un portable, contre 0,73 pour Kaplan. L’accord à trois chiffres d’un ajustement sur trois budgets tient à la chance ; l’accord au premier chiffre, non. L’exposant voyage — la constante, non, puisque le ratio tokens-paramètres à ces optima est de 170 à 540, pas 20. Trois raisons, toutes instructives. $E$ s’ajuste à zéro parce qu’à une perte au-dessus de 4 nats, l’exécution est loin du plancher d’entropie qui domine l’ajustement de Chinchilla. La taille de batch et le learning rate ont été fixés plutôt qu’ajustés par point, ce qui handicape les exécutions qui reçoivent le moins d’étapes — et ce sont les grands modèles : à $10^{13}$ FLOPs, un modèle de 1,28 million de paramètres reçoit 159 étapes d’optimiseur au total, bien en dessous des quelques milliers que le terme $S_{\min}$ de Kaplan dit nécessaires à n’importe quel modèle. Une scaling law est ajustée à l’intérieur d’un régime, et celle-ci se situe six ordres de grandeur sous Chinchilla.

D’où l’abstract de l’article : « current large language models are significantly undertrained ». Chinchilla est la démonstration — 70 milliards de paramètres sur 1,4 trillion de tokens, le même calcul total que Gopher avec 280 milliards sur 300 milliards, le battant sur 51 des 57 tâches MMLU, 67,5 % contre 60 %.² Quatre fois plus petit, quatre fois et demie plus de texte, même argent, meilleur modèle.

Deux mises en garde sur ce fameux ratio. « Vingt tokens par paramètre » n’est pas une phrase dans l’article, qui dit seulement que « for every doubling of model size the number of training tokens should also be doubled » ; le 20 est une inférence tirée du tableau 3 et du propre Chinchilla, 70 B sur 1,4 T. Et sa précision est pire que publiée : Besiroglu et al. ont réajusté à partir d’une numérisation de la figure 4, ont constaté que les paramètres originaux « fit the reconstructed data poorly » avec des intervalles « implausibly tight given the number of data points », et placent la plage honnête « between 4 and 40 » tokens par paramètre.⁸

Un détail de la méthode de Chinchilla tient une promesse faite par le chapitre 1 au sujet des calendriers de learning rate. Le calendrier cosinus doit être adapté au budget de tokens. Un modèle qui verra 10 millions de tokens doit faire décroître son learning rate jusqu’à zéro à 10 millions de tokens ; donnez-lui un calendrier dimensionné pour 100 millions, arrêtez-le tôt, et vous lisez une perte en pleine descente à un taux beaucoup trop élevé. Chinchilla entraîne chaque modèle avec quatre longueurs de cycle pour contrôler exactement cela ; le balayage ci-dessus définit son calendrier à partir du budget pour la même raison.

Elles sont le résultat empirique le plus utile du domaine et sont couramment survendues. Quatre limites.

Elles prédisent la perte, pas les capacités. Le membre de gauche est la cross-entropy sur du texte de validation. Rien dans ces articles n’autorise une affirmation sur le fait qu’un modèle écrira du SQL correct, refusera une demande dangereuse ou utilisera un tool. C’est encore la leçon du chapitre 5 : une prédiction de la perte n’est pas une prédiction du comportement pour lequel vous payez.

Elles sont ajustées, pas dérivées. Aucune théorie ne produit $\alpha_N = 0.076$. Les constantes bougent avec le tokenizer — c’est pourquoi une comparaison de perplexité entre deux tokenizers n’a aucun sens, comme l’expliquait le chapitre 8 — et avec le mélange de données, l’architecture et l’optimiseur. Toute loi publiée est une loi du dispositif qui l’a produite, raison pour laquelle Meta a réajusté la sienne avant Llama 3.⁵

Elles supposent un token neuf à chaque étape, ce qui suppose discrètement un corpus infini. Muennighoff et al. ont mesuré ce qui se passe quand il s’épuise : jusqu’à quatre époques de données répétées coûtent presque rien — un modèle de 8,7 milliards de paramètres sur 44 milliards de tokens uniques vus quatre fois a terminé avec une « only 0.5 % higher validation loss » que le même modèle sur 178 milliards de tokens uniques — tandis qu’au-delà d’environ seize époques, le calcul supplémentaire n’achète plus rien.⁹

Et plus personne n’entraîne compute-optimal. Chinchilla minimise le coût de l’entraînement ; un modèle déployé paie ensuite environ $2N$ FLOPs par token généré, pour toujours. LLaMA 1 le disait clairement : « given a target level of performance, the preferred model is not the fastest to train but the fastest at inference ».¹⁰ Sardana et al. l’ont formalisé en minimisant plutôt $6ND_{\text{train}} + 2ND_{\text{inference}}$, et ont constaté que toute personne prévoyant un milliard de requêtes devrait entraîner « smaller and longer than Chinchilla-optimal ».¹¹ Le §9.1 de Llama 3 confirme : ses petits modèles s’entraînent « far beyond the point of compute optimal training, effectively trading training compute for inference efficiency ».⁵ Le ratio n’est pas obsolète ; il répond à une question qui n’est plus celle qu’on pose.

La perte baisse en douceur. Les scores de benchmark, parfois non. Wei et al. ont rassemblé des cas où une tâche reste au niveau du hasard sur des ordres de grandeur de calcul d’entraînement puis saute — l’arithmétique à trois chiffres apparaissant dans GPT-3 vers $2 \times 10^{22}$ FLOPs, MMLU dépassant le hasard entre $3$ et $5 \times 10^{23}$ — et ont nommé le motif : « an ability is emergent if it is not present in smaller models but is present in larger models ».¹² Si c’est une propriété réelle, extrapoler à partir d’expériences bon marché est dangereux, parce que la capacité que vous achetez peut ne pas exister à une échelle que vous pouvez vous permettre de tester.

Schaeffer, Miranda et Koyejo ont soutenu que la plupart du phénomène est un artefact de mesure, et le mécanisme est arithmétique.¹³ La perte par token baisse en douceur, donc la probabilité qu’un token soit juste, $\exp(-\mathcal{L})$, s’améliore graduellement. Évaluez le modèle avec une correspondance exacte de chaîne sur une réponse de $L$ tokens et vous élevez cette probabilité à la puissance $L$ — une courbe lisse élevée à une grande puissance ressemble à une falaise. Remplacez par une métrique qui compte les tokens au lieu d’exiger qu’ils soient tous corrects, sur les mêmes sorties, et « the family's performance smoothly, continuously and predictably improves with increasing scale ».

Leur audit est le nombre à retenir — « of the 39 preferred metrics in BIG-Bench, at most 5 display emergence », avec deux métriques discontinues représentant plus de 92 % des cas revendiqués — et leur prudence l’est aussi : « nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities ». Un saut dans un graphique est une preuve sur la métrique jusqu’à démonstration du contraire. Le chapitre 29 est l’endroit où cela devient votre problème, parce que choisir une métrique à seuil dur est une décision que vous prendrez sans vous en apercevoir.

Le corpus est la partie d’une exécution de pretraining à laquelle aucune équation n’est attachée, et où résident la plupart des décisions lourdes de conséquences. La matière première est un crawl du web : l’archive d’août 2026 de Common Crawl contient « 2.14 billion web pages or 360 TiB of uncompressed content », un mois, gratuit à télécharger.¹⁴ Presque rien n’est utilisable tel quel. L’article T5 dit que le crawl « largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text », et le pipeline C4 qu’il a introduit est une liste d’heuristiques brutales — ne garder que les lignes se terminant par une ponctuation terminale, supprimer les pages de moins de trois phrases, supprimer toute page contenant une accolade ou un mot d’une liste publique d’obscénités — transformant vingt téraoctets de texte mensuel en environ 750 GB.¹⁵

Brutal est le mot. Dodge et al. ont audité ce que ces filtres retirent et ont découvert que la blocklist d’obscénités supprime 42 % des documents en anglais afro-américain et 32 % en anglais aligné hispanique, contre 6,2 % de l’anglais aligné blanc, laissant un corpus composé à 97,8 % de cette dernière catégorie.¹⁶ Une règle sans opinion sur le dialecte en avait une.

Vient ensuite la déduplication, qui n’est pas du rangement : Lee et al. ont trouvé une phrase de 61 mots répétée 61 036 fois dans C4, et montré que dédupliquer réduit par dix le taux auquel les modèles « emit memorized text », de 1,9 % des tokens générés à 0,19 %.¹⁷ Plus n’est pourtant pas mieux — l’équipe de FineWeb a dédupliqué globalement sur 96 crawls, obtenu 4 trillions de tokens sans gain mesurable, puis dédupliqué chaque crawl séparément, obtenu 20 trillions, et égalé le meilleur corpus existant.¹⁸

Puis la contamination. Llama 3 a mesuré la sienne et l’a publiée : 98 % d’AGIEval, 95 % de BIG-Bench Hard et 85 % de HellaSwag chevauchant l’ensemble d’entraînement par 8-grams, et pour MMLU un chevauchement si élevé qu’« it is impossible to get a good performance gain estimate ».⁵ Le §4 de GPT-3 signale un bug de filtrage ayant laissé des benchmarks dans les données sans retour possible : « because of cost considerations it was infeasible to retrain the model ».⁷

La provenance est la partie non résolue. The Pile contenait un composant de 100,96 GiB appelé Books3 — 12 % du corpus et, selon le propre tableau de consentement de l’article, des livres issus d’un tracker torrent privé ;¹⁹ il a été mis hors ligne en août 2023 après une plainte pour droit d’auteur. La situation juridique en septembre 2026 n’est pas tranchée, et les trois décisions américaines citées comme tendance se contredisent. Alsup a jugé l’entraînement sur des livres légalement acquis « exceedingly transformative » tout en considérant qu’une bibliothèque bâtie à partir de copies piratées ne l’était pas, et Anthropic a réglé cette moitié pour $1.5 billion couvrant 482 460 œuvres, environ $3,000 chacune, approuvé le 20 juillet 2026.²⁰ Chhabria a accordé un jugement sommaire à Meta tout en écrivant que sa décision « does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful », seulement que « these plaintiffs made the wrong arguments ».²¹ Bibas, statuant contre Ross Intelligence, a noté que « only non-generative AI is before me today ».²² Aucune cour d’appel américaine ne s’est prononcée sur la question.

Des personnes font les parties que la perte ne peut pas faire. TIME a rapporté en janvier 2023 que des travailleurs labellisant du texte toxique pour OpenAI via l’entreprise Sama touchaient « between around $1.32 and $2 per hour » pour lire des passages décrivant des abus sexuels sur enfants, de la torture et de l’automutilation, tandis qu’OpenAI payait Sama $12.50 de l’heure pour le travail ; Sama conteste à la fois la fourchette de rémunération et le quota.²³ C’est le filtrage autour du pretraining plutôt que le pretraining lui-même — mais c’est sur la même facture, et c’est là qu’une personne se trouve.

L’électricité est réelle et généralement mal citée. Le chiffre publié le plus soigneux est celui de BLOOM : 1 082 990 GPU-heures, 433 MWh et 24,7 tonnes de CO₂ équivalent pour l’exécution, 50,5 en comptant la fabrication et les nœuds idle ;²⁴ Patterson et al. placent GPT-3 à 1 287 MWh et 552 tonnes.²⁵ Deux avertissements. L’avantage de BLOOM est le réseau nucléaire français à 57 g CO₂ par kWh plutôt que l’efficacité — il a consommé plus d’énergie qu’OPT-175B. Et le chiffre d’émissions le plus cité du domaine, les 626 155 lb de Strubell et al. pour une recherche d’architecture neuronale, s’est révélé ensuite 88 fois trop élevé, parce qu’il supposait que la recherche avait été lancée à la taille complète du modèle alors qu’elle utilisait un proxy.²⁶ Le cadrage du LBNL est celui qu’on peut défendre : les data centres américains ont consommé 192 TWh en 2024, 4,7 % de l’électricité nationale — un chiffre attaché à une industrie, pas à une exécution particulière.²⁷

Le fil conducteur est ce que Bender et al. ont appelé la documentation debt : « putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc ».²⁸ Tous les faits ci-dessus existent parce que quelqu’un a regardé. Pour les corpus derrière les modèles que la plupart des gens utilisent, personne ne le peut.

Voici maintenant l’arithmétique que tout le monde veut, à partir de quatre entrées citées, de sorte que lorsqu’elles deviendront périmées il soit évident lesquelles remplacer.

Lisez les deux dernières colonnes ensemble. À $10,000, vous obtenez un modèle de 5 milliards de paramètres sur un nœud loué en quinze jours. À $100,000,000, l’arithmétique dit 546 milliards de paramètres — et douze mille H100 câblées ensemble pendant trois mois, ce qui ne se loue pas avec une carte bancaire. Au-delà d’environ $100,000, la contrainte bloquante cesse d’être l’argent et devient le cluster.

Avant de faire confiance à un tableau comme celui-là, testez-le contre des exécutions dont le coût réel est publié — llm.c reproduit GPT-2 124M en « ~90 minutes » sur un nœud 8×A100 « for about $20 », et GPT-2 1.6B en 24 heures sur un nœud 8×H100 pour $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Les deux sont à environ 15 %, ce qui correspond grosso modo à la précision que mérite ce type d’estimation et est nettement meilleur que la précision avec laquelle elle est généralement citée.

Le chiffre le plus répété sur ce sujet est qu’un modèle de classe GPT-2 coûtant environ $43,000 en 2019 peut aujourd’hui être reproduit pour quelques dizaines de dollars. La moitié moderne est bien documentée ; la moitié historique ne l’est pas.

Aujourd’hui. Le README de nanochat par Karpathy : « you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15. »³² « GPT-2 capability » est ici précis et publié — battre le score CORE de GPT-2, 0.256525 — sur un leaderboard dont la meilleure entrée au 14 mars 2026 est 1,65 heure. Les $48 supposent $3 par GPU-heure, sous le prix catalogue de Lambda à $3.99 ; au catalogue, on est plus près de $64.

En 2019. Il n’existe pas de source primaire : OpenAI n’a jamais publié de durée ni de coût. La chaîne passe par The Register, février 2019, rapportant « 256 Google TPU3 cores » sans prix ni durée ; puis Synced, juin 2019, notant que le matériel coûtait $256 de l’heure sur Google Cloud et indiquant explicitement que « OpenAI didn't specify the training duration ». $43,008 correspond à $256 de l’heure multipliés par 168 heures supposées, qu’aucune source n’a jamais étayées.

Le headline honnête est donc : un modèle égalant le score de benchmark publié de GPT-2 peut aujourd’hui être entraîné pour largement moins de $100 sur du matériel loué, contre un coût de 2019 qui n’a jamais été publié et dont la célèbre estimation repose sur une hypothèse non sourcée sur la durée. L’effondrement est réel et la moitié moderne est reproductible par toute personne avec une carte bancaire ; le ratio est de l’arithmétique appliquée à un nombre qui n’existe pas. C’est l’état général des coûts d’entraînement publiés. L’article GPT-3 ne contient aucun montant en dollars, seulement $3.14 \times 10^{23}$ FLOPs dans le tableau D.1 ;⁷ l’article Llama 3 n’en contient pas non plus.⁵ Tout coût d’entraînement que vous avez lu est une estimation à partir d’un compte de FLOP, d’une hypothèse matériel et d’une hypothèse de prix — il vaut toujours la peine de demander de qui elles viennent.

Ce qui sort a vu un corpus fixe assemblé à un moment fixe, et deux propriétés en découlent.

La première est le knowledge cutoff. Après la date de collecte, le modèle ne sait rien — pas « il est incertain », rien — et il confabulera avec aisance plutôt que de le dire, parce que le dire n’a jamais été un comportement sur lequel il a été entraîné. La model card de Llama 3.1 indique décembre 2023 ;³³ chaque modèle en a une, et c’est une propriété des données d’entraînement, pas du déploiement. Le contournement relève de la récupération d’information, ce qui est le chapitre 19.

La seconde est qu’un modèle de base complète plutôt qu’il ne répond. Donnez-lui « Quelle est la capitale de la France ? » et une continuation plausible est une autre question, parce que dans le corpus cette chaîne apparaît le plus souvent dans une liste d’exercices.

Un compléteur de texte n’est pas un assistant. Il ne suit pas les instructions, parce que rien dans le corpus ne lui a dit qu’une demande devait être exécutée plutôt que continuée. Il n’a aucune notion d’une conversation à deux participants. Il produira volontiers la continuation la plus probable d’un prompt dangereux, parce que probable est la seule chose pour laquelle il ait jamais été optimisé.

Le transformer en quelque chose qui répond demande une seconde étape coûtant une fraction de pour cent de la première, et consistant presque entièrement à lui montrer des exemples du comportement voulu puis à comparer des paires de ses propres sorties. C’est à cette étape que naissent le suivi d’instructions, les templates de chat, les refus et — cela surprend — la capacité à appeler un tool. Le chapitre 11 est cette étape : supervised fine-tuning, RLHF, DPO et GRPO, et la question de ce que signifie « aligned » et de qui en décide.

À lire aussi avec ce chapitre : le build-nanogpt de Karpathy et sa vidéo d’accompagnement, qui parcourent une reproduction complète de GPT-2 de bout en bout à un rythme que ce chapitre ne peut pas tenir ; et Stanford CS324, Large Language Models, dont les cours sur les données et sur l’impact environnemental approfondissent davantage que la section ci-dessus une matière que ce cours traite une fois puis délègue.