Preentrenar un LLM: dades, còmput, lleis d’escala i cost

No canvia res en l’objectiu. El model continua predient el token següent, la pèrdua continua sent la cross-entropy del capítol 4 aplicada a la factorització del capítol 8, l’optimitzador continua sent l’AdamW del capítol 6. El preentrenament no és un algorisme nou; és el mateix algorisme executat sobre un corpus prou gran perquè l’execució s’hagi de pressupostar. Dues coses ho fan possible: les etiquetes són de franc, perquè l’objectiu per a la posició $t$ és el token a $t+1$ i ja és dins del text; i l’última secció del capítol 6 va eliminar l’objecció, perquè un model amb molts més paràmetres del que permeten les regles clàssiques no s’ensorra, millora. El que en surt és un model base: una cosa que continua text més que no pas respon.

Abans que res d’això es pugui pressupostar, s’ha de comptar, i el camp ho compta amb una fórmula:

on $N$ és el nombre de paràmetres, $D$ els tokens d’entrenament i $C$ el total d’operacions de coma flotant. Kaplan et al. la deriven en dos passos.¹ Forward: 2 FLOPs per paràmetre per token, perquè cada paràmetre d’una multiplicació de matrius s’utilitza una vegada per token, en una multiplicació i una suma. Backward: el doble del forward, perquè el backward pass del capítol 5 calcula dos gradients a cada capa — respecte dels inputs de la capa, perquè el senyal continuï viatjant, i respecte dels seus weights — cadascun una multiplicació de matrius de la mida del forward, de manera que $4N$.

Aquesta és tota la derivació, i val la pena comprovar-la en lloc de creure-se-la. PyTorch inclou un comptador FLOP real, torch.utils.flop_counter.FlopCounterMode, que intercepta cada operació que un model envia i suma la feina real. Executa’l al llarg de quatre ordres de magnitud, el més gran al dispositiu meta, que assigna formes i no memòria:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

La ràtio de forward+backward sobre forward és 3.000, exactament, a cada escala: no és una aproximació que casualment sigui bona, sinó la identitat aritmètica anterior retornada com a nombre rodó per un comptador que no sap res de la derivació.

El total mesurat queda llavors entre un 3 % i un 17 % per sobre de $6ND$, un cop $N$ compta les matrius d’embedding — i aquesta clàusula importa, perquè els dos articles fundacionals compten $N$ de manera diferent. Kaplan exclou «all vocabulary and positional embeddings» perquè fer-ho «produces significantly cleaner scaling laws» (§1.3); l’apèndix F de Chinchilla diu «we also count embeddings matrices in the total parameter count».² Per a un vocabulari ample i una dimensió oculta estreta, les dues opcions difereixen per un factor de nou, com mostra la primera fila.

La bretxa residual és el que $6ND$ omet deliberadament: les puntuacions d’attention. L’Eq. (2.2) de Kaplan escriu el cost forward com $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ i descarta el segon terme perquè $d_{\text{model}} \gg n_{\text{ctx}}/12$ — segur el 2020, menys segur ara, i el motiu pel qual la ràtio deriva cap amunt a mesura que $T/d$ creix — i per això dues files aquí comparteixen una $T$ de 1.024 i la ràtio cau, de 1.145 a 1.100, quan $d$ passa de 768 a 1.600. És el cost $O(T^2)$ que el capítol 9 va introduir i que el capítol 16 converteix en preu.

El còmput decideix quant dura una execució; la memòria decideix si pot començar. Entrena amb AdamW fp32 senzill i cada paràmetre porta quatre nombres: el weight, el seu gradient, i la mitjana mòbil $m$ i la variància $v$ d’Adam — les dues mitjanes construïdes a mà al capítol 6. Quatre nombres a quatre bytes cadascun són 16 bytes per paràmetre, abans d’una sola activació. Mesurat en una GPU de portàtil de 8 GB, prenent l’assignació resident en el punt del pas on no hi ha cap graf viu:

La predicció i la mesura concorden dins d’un 3 %. La sorpresa és l’última columna: les activacions empetiteixen el model. El mateix model de 5,8 milions de paràmetres que necessita 89 MB d’estat persistent necessita 4.681 MB d’activacions amb un batch de 128 — cinquanta-dues vegades el model — i bona part d’això ni tan sols és el transformer. Són els logits, un vector de mida vocabulari per token a quatre bytes per entrada: 512 MB a l’última fila, 393 MB a la primera. La mida del vocabulari es va triar al capítol 7, i encara decideix què cap a la targeta.

Quin terme domina depèn de la forma de l’execució, i per això Micikevicius et al. diuen que la memòria «is dominated by activations»³ mentre ZeRO diu que un model de 1,5 mil milions de paràmetres necessita «at least 24 GB» només d’estats del model.⁴ ZeRO arriba als mateixos 16 bytes per una altra ruta — $2\Psi$ per als weights fp16, $2\Psi$ per als gradients fp16, $4\Psi$ cadascun per als master weights fp32 i els dos moments d’Adam — cosa que per a 70 mil milions de paràmetres són 1,12 terabytes, l’equivalent de catorze GPUs de 80 GB abans d’una sola activació.

Res d’això cap en un sol dispositiu a escala frontier, de manera que l’execució es divideix de quatre maneres alhora. Paral·lelisme de dades posa una còpia del model a cada GPU i fa la mitjana dels gradients — el predeterminat, i el que ZeRO millora negant-se a mantenir còpies redundants de l’estat de l’optimitzador. Paral·lelisme tensorial divideix matrius individuals entre dispositius. Paral·lelisme de pipeline dona a cada dispositiu un grup contigu de capes. Paral·lelisme de context divideix la seqüència mateixa, necessari només quan $T$ és prou llarg perquè el terme d’attention domini. La taula 4 de Llama 3 enumera tots quatre alhora: tensor 8, context fins a 16, pipeline 16, dades fins a 128, sobre 16.384 GPUs H100.⁵ Això és tot el que aquest curs en dirà; l’enginyeria d’entrenament distribuït és un semestre propi, i Stanford CS336 és aquest semestre, classes 5 a 8, amb el codi.⁶ El que sobreviu a la delegació és un sol nombre, utilització de FLOPs del model: la fracció del pic aritmètic d’una GPU que una execució real aconsegueix, que és el que converteix el $6ND$ endreçat en temps de rellotge i, per tant, en diners.

El gener de 2020, Kaplan et al. van entrenar una graella de transformers i van trobar que la pèrdua de test segueix una llei potencial en cadascun dels tres recursos al llarg de més de sis ordres de magnitud.¹ La seva §1.2 dona tres lleis ajustades:

amb companyes $\alpha_D \approx 0.095$ per a les dades i $\alpha_C^{\min} \approx 0.050$ per al còmput assignat òptimament. Les constants no són universals, i l’article ho diu: «the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.»

Els exponents són diminuts: deu vegades més paràmetres compra un factor $10^{0.076} \approx 1.19$ de reducció de la pèrdua restant. Sembla poca cosa, i és el fet més important aquí: els retorns són terribles i no s’aturen mai. Una llei potencial amb un exponent petit promet que el següent ordre de magnitud ajudarà, menys que l’anterior, per sempre. Comprar còmput deixa de ser una aposta i passa a ser una compra amb un tipus de canvi publicat, que és exactament l’argument que va desbloquejar el capital.

Després va venir la prescripció, i aquí és on l’article es va equivocar d’una manera que va costar molts diners a la indústria. La taula 6 de Kaplan dona $N_{\text{opt}} \propto C^{0.73}$ i $D_{\text{opt}} \propto C^{0.27}$: deu vegades el còmput vol dir un model 5,4 vegades més gran alimentat amb només 1,9 vegades més text. L’abstract és explícit: «optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.» El camp va fer exactament això: GPT-3 són 175 mil milions de paràmetres amb 300 mil milions de tokens,⁷ Gopher 280 mil milions amb 300 mil milions, Megatron-Turing NLG 530 mil milions amb 270 mil milions.² De mig token a dos tokens per paràmetre, a tot arreu.

El març de 2022, Hoffmann et al. van entrenar més de 400 models de 70 milions a 16 mil milions de paràmetres i van arribar a la conclusió contrària per tres rutes independents.² La seva taula 2 informa que l’exponent $a$ en $N_{\text{opt}} \propto C^{a}$ és 0.50, 0.49 i 0.46, contra el 0.73 de Kaplan. En termes planers: la mida del model i les dades d’entrenament haurien de créixer en la mateixa proporció.

El seu segon enfocament és el que reprodueix l’escombratge de l’inici d’aquest capítol, a una milionèsima part de l’escala: fixa un pressupost, entrena moltes mides exactament amb aquest pressupost, dibuixa la pèrdua final contra la mida del model.

Pèrdua en dades reservades en nats per token, tokens per paràmetre entre parèntesis, negreta per al millor model a cada pressupost; un guió és un punt no executat, perquè el pressupost exigia més text del que conté el corpus o la mida quedava fora de les explorades allà.

Llegeix una columna cap avall: la pèrdua baixa, toca fons i torna a pujar. Un model pot ser massa gran per al seu pressupost exactament amb la mateixa facilitat que pot ser massa petit — a $10^{14}$, la penalització per triar 665.280 paràmetres en lloc de 295.808 és 0,08 nats, que a l’envolupant ajustada més amunt és la pèrdua que un model amb la mida correcta assoleix amb un 18 % menys de còmput. Triar la forma equivocada llença una cinquena part del pressupost. Això és la figura 3 de Chinchilla en una tarda amb una GPU en lloc de quatre-cents models.

Ara llegeix en horitzontal. A $10^{13}$ el millor model és el més petit dels explorats; a $10^{14}$ és de 295.808 paràmetres, emmarcat pels dos costats. L’òptim es mou cap a la dreta a mesura que el pressupost creix, que és tot el contingut de la correcció. Ajusta el tercer enfocament de l’article — la superfície $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ sobre cada execució — i minimitza subjecte a $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, des d’un portàtil, contra el 0.73 de Kaplan. La concordança a tres dígits d’un ajust amb tres pressupostos és sort; la concordança al primer no ho és. L’exponent viatja — la constant no, perquè la ràtio token-paràmetre en aquests òptims és de 170 a 540, no 20. Tres motius, tots instructius. $E$ s’ajusta a zero perquè, amb una pèrdua per sobre de 4 nats, l’execució no és enlloc prop del sòl d’entropia que domina l’ajust de Chinchilla. El batch size i el learning rate es van fixar en lloc d’ajustar-se per punt, cosa que perjudica les execucions que reben menys passos — i aquestes són els models grans: a $10^{13}$ FLOPs, un model d’1,28 milions de paràmetres rep 159 passos d’optimitzador en total, molt per sota dels pocs milers que el terme $S_{\min}$ de Kaplan diu que qualsevol model necessita. Una llei d’escala s’ajusta dins d’un règim, i aquesta és sis ordres de magnitud per sota de Chinchilla.

D’aquí l’abstract de l’article: «current large language models are significantly undertrained». Chinchilla és la demostració: 70 mil milions de paràmetres amb 1,4 bilions de tokens, el mateix còmput total que Gopher amb 280 mil milions sobre 300 mil milions, superant-lo en 51 de 57 tasques MMLU, 67,5 % contra 60 %.² Quatre vegades més petit, quatre vegades i mitja més text, mateixos diners, millor model.

Dos matisos sobre aquella ràtio famosa. «Vint tokens per paràmetre» no és una frase de l’article, que només diu que «for every doubling of model size the number of training tokens should also be doubled»; el 20 és una inferència de la taula 3 i del mateix Chinchilla de 70 B sobre 1,4 T. I la seva precisió és pitjor que la publicada: Besiroglu et al. van reajustar a partir d’una digitalització de la figura 4, van trobar que els paràmetres originals «fit the reconstructed data poorly» amb intervals «implausibly tight given the number of data points», i van situar el rang honest entre «between 4 and 40» tokens per paràmetre.⁸

Un detall del mètode de Chinchilla compleix una promesa que el capítol 1 va fer sobre els horaris de learning rate. El cosine schedule s’ha de casar amb el pressupost de tokens. Un model que veurà 10 milions de tokens ha de fer decaure el seu learning rate fins a zero als 10 milions de tokens; dona-li un schedule dimensionat per a 100 milions, atura’l aviat, i estàs llegint una pèrdua a mig descens amb una taxa massa alta. Chinchilla entrena cada model amb quatre longituds de cicle per controlar exactament això; l’escombratge de dalt estableix el seu schedule a partir del pressupost pel mateix motiu.

Són el resultat empíric més útil del camp i s’exageren rutinàriament. Quatre límits.

Prediuen pèrdua, no capacitat. El costat esquerre és cross-entropy sobre text reservat. Res d’aquests articles autoritza una afirmació sobre si un model escriurà SQL correcte, rebutjarà una petició perjudicial o farà servir una eina. És la lliçó del capítol 5 una altra vegada: una predicció de la pèrdua no és una predicció del comportament pel qual pagues.

S’ajusten, no es deriven. Cap teoria produeix $\alpha_N = 0.076$. Les constants es mouen amb el tokenizer — i per això una comparació de perplexitat entre dos tokenizers no té sentit, com explicava el capítol 8 — i amb la barreja de dades, l’arquitectura i l’optimitzador. Cada llei publicada és una llei de la configuració que la va produir, i per això Meta va reajustar la seva abans de Llama 3.⁵

Assumeixen un token fresc a cada pas, cosa que pressuposa en silenci un corpus infinit. Muennighoff et al. van mesurar què passa quan s’acaba: fins a quatre èpoques de dades repetides costen gairebé res — un model de 8,7 mil milions de paràmetres sobre 44 mil milions de tokens únics vistos quatre vegades va acabar amb una «only 0.5 % higher validation loss» que el mateix model sobre 178 mil milions d’únics — mentre que més enllà d’unes setze èpoques el còmput addicional no compra res.⁹

I ja ningú no entrena compute-optimal. Chinchilla minimitza el cost d’entrenar; un model desplegat després paga aproximadament $2N$ FLOPs per token generat, per sempre. LLaMA 1 ho deia clarament: «given a target level of performance, the preferred model is not the fastest to train but the fastest at inference».¹⁰ Sardana et al. ho van formalitzar minimitzant $6ND_{\text{train}} + 2ND_{\text{inference}}$ en lloc d’això, i van trobar que qualsevol que esperi mil milions de peticions hauria d’entrenar «smaller and longer than Chinchilla-optimal».¹¹ La §9.1 de Llama 3 hi està d’acord: els seus models petits entrenen «far beyond the point of compute optimal training, effectively trading training compute for inference efficiency».⁵ La ràtio no és obsoleta; respon una pregunta que ja no és la que s’està fent.

La pèrdua baixa de manera suau. Les puntuacions de benchmarks de vegades no. Wei et al. van recopilar casos en què una tasca es queda a l’atzar al llarg d’ordres de magnitud de còmput d’entrenament i després salta — aritmètica de tres dígits que apareix a GPT-3 cap a $2 \times 10^{22}$ FLOPs, MMLU pujant per sobre de l’endevinalla entre $3$ i $5 \times 10^{23}$ — i van posar nom al patró: «an ability is emergent if it is not present in smaller models but is present in larger models».¹² Si això és una propietat real, extrapolar a partir d’experiments barats és insegur, perquè la capacitat que compres potser no existeix a cap escala que et puguis permetre provar.

Schaeffer, Miranda i Koyejo van argumentar que la major part és un artefacte de mesura, i el mecanisme és aritmètic.¹³ La pèrdua per token baixa suaument, de manera que la probabilitat que un token sigui correcte, $\exp(-\mathcal{L})$, millora gradualment. Avalua el model amb coincidència exacta de cadena sobre una resposta de $L$ tokens i eleves aquella probabilitat a la potència $L$ — una corba suau elevada a una potència gran sembla un precipici. Canvia a una mètrica que compta tokens en lloc d’exigir-los tots, sobre les mateixes sortides, i «the family's performance smoothly, continuously and predictably improves with increasing scale».

La seva auditoria és el nombre que cal recordar — «of the 39 preferred metrics in BIG-Bench, at most 5 display emergence», amb dues mètriques discontínues que expliquen més del 92 % dels casos afirmats — i també ho és la seva cautela: «nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities». Un salt en un gràfic és evidència sobre la mètrica fins que es demostri el contrari. El capítol 29 és on això es converteix en el teu problema, perquè triar una mètrica amb tall dur és una decisió que prendràs sense adonar-te’n.

El corpus és la part d’una execució de preentrenament sense cap equació associada, i on viuen la majoria de decisions amb conseqüències. El material brut és un rastreig web: l’arxiu d’agost de 2026 de Common Crawl conté «2.14 billion web pages or 360 TiB of uncompressed content», un mes, gratis per descarregar.¹⁴ Gairebé res no és usable tal com ve. L’article de T5 diu que el rastreig «largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text», i el pipeline C4 que va introduir és una llista d’heurístiques contundents — conservar només línies acabades en puntuació terminal, descartar pàgines amb menys de tres frases, descartar qualsevol pàgina que contingui una clau o una paraula d’una llista pública d’obscenitats — que converteix vint terabytes de text mensual en uns 750 GB.¹⁵

Contundent és la paraula. Dodge et al. van auditar què eliminen aquests filtres i van trobar que la blocklist d’obscenitats elimina el 42 % dels documents en anglès afroamericà i el 32 % en anglès alineat amb hispans, contra el 6,2 % de l’anglès alineat amb blancs, deixant un corpus amb un 97,8 % de l’última categoria.¹⁶ Una regla sense opinió sobre el dialecte en tenia una.

Després deduplicació, que no és endreça: Lee et al. van trobar una frase de 61 paraules repetida 61.036 vegades a C4, i van mostrar que deduplicar retalla per deu la taxa amb què els models «emit memorized text», de l’1,9 % dels tokens generats al 0,19 %.¹⁷ Més no és millor, però: l’equip de FineWeb va deduplicar globalment al llarg de 96 rastrejos, va obtenir 4 bilions de tokens i cap guany mesurable, després va deduplicar cada rastreig per separat, en va obtenir 20 bilions i va igualar el millor corpus existent.¹⁸

Després contaminació. Llama 3 va mesurar la seva i la va publicar: el 98 % d’AGIEval, el 95 % de BIG-Bench Hard i el 85 % de HellaSwag se solapaven amb el conjunt d’entrenament per 8-grams, i per a MMLU un solapament tan alt que «it is impossible to get a good performance gain estimate».⁵ La §4 de GPT-3 informa d’un error de filtratge que va deixar benchmarks dins de les dades sense camí de tornada: «because of cost considerations it was infeasible to retrain the model».⁷

La procedència és la part no resolta. The Pile va enviar un component de 100,96 GiB anomenat Books3 — el 12 % del corpus i, segons la pròpia taula de consentiment de l’article, llibres d’un tracker torrent privat;¹⁹ es va retirar l’agost de 2023 després d’una queixa per copyright. La posició legal a setembre de 2026 no està resolta, i les tres sentències dels EUA citades com a tendència discrepen entre si. Alsup va considerar que entrenar amb llibres adquirits legalment era «exceedingly transformative» mentre sostenia que una biblioteca construïda amb còpies pirates no ho era, i Anthropic va tancar aquella meitat amb un acord de $1.5 billion que cobria 482.460 obres, uns $3.000 cadascuna, aprovat el 20 de juliol de 2026.²⁰ Chhabria va concedir judici sumari a Meta mentre escrivia que la seva decisió «does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful», només que «these plaintiffs made the wrong arguments».²¹ Bibas, resolent contra Ross Intelligence, va assenyalar que «only non-generative AI is before me today».²² Cap tribunal d’apel·lació dels EUA no s’ha pronunciat sobre la qüestió.

Les persones fan les parts que la pèrdua no pot fer. TIME va informar el gener de 2023 que treballadors que etiquetaven text tòxic per a OpenAI a través de l’empresa Sama s’enduien a casa «between around $1.32 and $2 per hour» llegint passatges que descrivien abús sexual infantil, tortura i autolesions, mentre OpenAI pagava a Sama $12.50 l’hora per la feina; Sama disputa tant el rang salarial com la quota.²³ Això és el filtratge al voltant del preentrenament més que el preentrenament mateix — però és a la mateixa factura, i és on hi seu una persona.

L’electricitat és real i sovint se cita malament. La xifra publicada més acurada és la de BLOOM: 1.082.990 GPU-hores, 433 MWh i 24,7 tones de CO₂ equivalent per a l’execució, 50,5 comptant fabricació i nodes ociosos;²⁴ Patterson et al. situen GPT-3 en 1.287 MWh i 552 tones.²⁵ Dos avisos. L’avantatge de BLOOM és la xarxa nuclear francesa a 57 g CO₂ per kWh, no l’eficiència: va consumir més energia que OPT-175B. I la xifra d’emissions més citada del camp, les 626.155 lb de Strubell et al. per a una cerca d’arquitectura neural, després es va demostrar que era 88 vegades massa alta, perquè assumia que la cerca s’executava a mida completa de model quan s’executava sobre un proxy.²⁶ L’enquadrament de LBNL és el defensable: els centres de dades dels EUA van consumir 192 TWh el 2024, el 4,7 % de l’electricitat nacional — una xifra associada a una indústria, no a cap execució concreta.²⁷

El fil conductor és el que Bender et al. van anomenar deute de documentació: «putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc».²⁸ Cada fet de dalt existeix perquè algú va mirar. En els corpus darrere dels models que fa servir la majoria, ningú no pot.

Ara l’aritmètica que tothom vol, a partir de quatre inputs citats, perquè quan quedin obsolets sigui evident quin cal substituir.

Llegeix les dues últimes columnes juntes. Amb $10.000 obtens un model de 5 mil milions de paràmetres en un node llogat en quinze dies. Amb $100.000.000, l’aritmètica diu 546 mil milions de paràmetres — i dotze mil H100 cablejades durant tres mesos, que no és una cosa que es llogui amb una targeta de crèdit. Passat aproximadament $100.000, la restricció vinculant deixa de ser els diners i passa a ser el clúster.

Abans de confiar en una taula així, prova-la contra execucions amb cost real publicat: llm.c reprodueix GPT-2 124M en «~90 minutes» en un node 8×A100 «for about $20», i GPT-2 1.6B en 24 hores en un node 8×H100 per $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Totes dues dins d’aproximadament un 15 %, que és més o menys la precisió que mereix aquest tipus d’estimació i força millor que la precisió amb què se sol citar.

La xifra més repetida en aquest tema és que un model de classe GPT-2 que costava uns $43.000 el 2019 es pot reproduir avui per unes desenes de dòlars. La meitat moderna està ben documentada; la meitat històrica, no.

Avui. El README de nanochat de Karpathy: «you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.»³² «GPT-2 capability» aquí és precís i publicat — superar la puntuació CORE de GPT-2 de 0.256525 — en un leaderboard l’entrada millor del qual, a 14 de març de 2026, és 1,65 hores. Els $48 assumeixen $3 per GPU-hora, per sota dels $3.99 de llista de Lambda; a preu de llista s’acosta a $64.

El 2019. No hi ha cap font primària: OpenAI no va publicar mai ni durada ni cost. La cadena passa per The Register, febrer de 2019, que informa de «256 Google TPU3 cores» sense preu ni durada; després Synced, juny de 2019, assenyala que el maquinari costava $256 l’hora a Google Cloud i afirma explícitament que «OpenAI didn't specify the training duration». $43.008 són $256 l’hora multiplicats per unes 168 hores assumides que ningú no ha documentat mai.

Així que el titular honest és: un model que iguala la puntuació publicada de benchmark de GPT-2 es pot entrenar avui per molt menys de $100 en maquinari llogat, contra un cost de 2019 que no es va publicar mai i l’estimació famosa del qual descansa sobre una conjectura sense font sobre la durada. L’enfonsament és real i la meitat moderna és reproduïble per qualsevol persona amb targeta de crèdit; la ràtio és aritmètica sobre un nombre que no existeix. Aquest és l’estat dels costos d’entrenament publicats en general. L’article de GPT-3 no conté cap quantitat en dòlars, només $3.14 \times 10^{23}$ FLOPs a la taula D.1;⁷ l’article de Llama 3 tampoc no en conté cap.⁵ Cada cost d’entrenament que has llegit és una estimació a partir d’un recompte de FLOPs, una hipòtesi de maquinari i una hipòtesi de preu — sempre val la pena preguntar de qui.

El que en surt ha vist un corpus fix muntat en un moment fix, i d’això se’n deriven dues propietats.

La primera és el knowledge cutoff. Després de la data de recopilació el model no sap res — no «n’està incert», res — i confabularà amb fluïdesa en lloc de dir-ho, perquè dir-ho mai va ser un comportament en què se l’entrenés. La targeta de model de Llama 3.1 dona desembre de 2023;³³ cada model en té una, i és una propietat de les dades d’entrenament, no del deployment. Esquivar-ho és un problema de retrieval, que és el capítol 19.

La segona és que un model base completa més que no pas respon. Dona-li «Quina és la capital de França?» i una continuació plausible és una altra pregunta, perquè en el corpus aquesta cadena apareix més sovint en una llista d’exercicis.

Un completador de text no és un assistent. No segueix instruccions, perquè res del corpus li deia que una petició s’hagués d’obeir en lloc de continuar. No té cap noció d’una conversa amb dos participants. Produirà encantat la continuació més probable d’un prompt perjudicial, perquè probable és l’única cosa per a la qual es va optimitzar mai.

Convertir-lo en una cosa que respon requereix una segona etapa que costa una fracció d’un u per cent de la primera, i que consisteix gairebé del tot a mostrar-li exemples del comportament que vols i després comparar parelles de les seves pròpies sortides. Aquesta etapa és d’on surten el seguiment d’instruccions, les chat templates, els refusos i — això sorprèn la gent — la capacitat de cridar una eina. El capítol 11 és aquesta etapa: supervised fine-tuning, RLHF, DPO i GRPO, i la pregunta de què vol dir «aligned» i qui ho decideix.

També val la pena llegir al costat d’aquest capítol: build-nanogpt de Karpathy i el vídeo que l’acompanya, que recorren una reproducció completa de GPT-2 de cap a cap a un ritme que aquest capítol no pot; i Stanford CS324, Large Language Models, les classes del qual sobre dades i impacte ambiental aprofundeixen més que la secció anterior en material que aquest curs tracta una vegada i delega.