Preadestrar un LLM: datos, cómputo, leis de escala e custo

Nada cambia no obxectivo. O modelo segue predicindo o seguinte token, a perda segue sendo a entropía cruzada do capítulo 4 aplicada á factorización do capítulo 8, o optimizador segue sendo o AdamW do capítulo 6. O pretraining non é un algoritmo novo; é o mesmo algoritmo executado sobre un corpus o bastante grande como para que a execución teña que orzarse. Dúas cousas fan iso posible: as etiquetas son gratis, xa que o obxectivo para a posición $t$ é o token en $t+1$ e xa está no texto; e a última sección do capítulo 6 eliminou a obxección, porque un modelo con moitos máis parámetros dos que permiten as regras clásicas non se desmorona, mellora. O que sae é un modelo base: algo que continúa texto, non que responde.

Antes de poder orzar nada disto hai que contalo, e o campo cóntao cunha fórmula:

onde $N$ é o número de parámetros, $D$ os training tokens e $C$ o total de operacións de coma flotante. Kaplan et al. derívaa en dous pasos.¹ Forward: 2 FLOPs por parámetro por token, xa que cada parámetro nunha multiplicación de matrices úsase unha vez por token, nunha multiplicación e unha suma. Backward: dúas veces o forward, xa que o backward pass do capítulo 5 calcula dous gradientes en cada capa — con respecto ás entradas da capa, para que o sinal siga viaxando, e con respecto aos seus pesos — cada un unha multiplicación de matrices do tamaño da forward, así que $4N$.

Esa é toda a derivación, e paga a pena comprobala en vez de crer nela. PyTorch trae un contador FLOP real, torch.utils.flop_counter.FlopCounterMode, que intercepta cada operación que despacha un modelo e suma o traballo real. Execútao ao longo de catro ordes de magnitude, a maior no dispositivo meta, que asigna formas e ningunha memoria:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

A razón forward+backward sobre forward é 3.000, exactamente, en todas as escalas: non unha aproximación que casualmente é boa, senón a identidade aritmética anterior devolta como un número redondo por un contador que non sabe nada da derivación.

O total medido queda entón entre un 3 % e un 17 % por riba de $6ND$, unha vez que $N$ conta as matrices de embedding — e esa cláusula importa, porque os dous artigos fundacionais contan $N$ de maneira distinta. Kaplan exclúe «todos os embeddings de vocabulario e posicionais» porque facelo «produce scaling laws significativamente máis limpas» (§1.3); o apéndice F de Chinchilla di «tamén contamos as matrices de embeddings no reconto total de parámetros».² Cun vocabulario amplo e unha dimensión oculta estreita, ambas cousas difiren por un factor de nove, como mostra a primeira fila.

A fenda residual é o que $6ND$ omite deliberadamente: as puntuacións de attention. A ecuación (2.2) de Kaplan escribe o custo forward como $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ e elimina o segundo termo porque $d_{\text{model}} \gg n_{\text{ctx}}/12$ — seguro en 2020, menos seguro agora, e a razón pola que a razón sobe a medida que medra $T/d$ — polo que dúas filas aquí comparten un $T$ de 1.024 e a razón baixa, de 1.145 a 1.100, cando $d$ pasa de 768 a 1.600. É o custo $O(T^2)$ que introduciu o capítulo 9 e que o capítulo 16 converte nun prezo.

O cómputo decide canto tarda unha execución; a memoria decide se pode empezar. Adestra con AdamW fp32 simple e cada parámetro leva catro números: o peso, o seu gradiente, e a media móbil $m$ e a varianza $v$ de Adam — as dúas medias construídas á man no capítulo 6. Catro números a catro bytes cada un son 16 bytes por parámetro, antes dunha soa activación. Medido nunha GPU de portátil de 8 GB, tomando a asignación residente no punto do paso onde non hai grafo vivo:

Predición e medición concordan dentro dun 3 %. A sorpresa está na última columna: as activacións empequenecen o modelo. O mesmo modelo de 5,8 millóns de parámetros que necesita 89 MB de estado persistente necesita 4.681 MB de activacións cun batch de 128 — cincuenta e dúas veces o modelo — e boa parte diso nin sequera é o transformer. Son os logits, un vector do tamaño do vocabulario por token, a catro bytes por entrada: 512 MB na última fila, 393 MB na primeira. O tamaño do vocabulario escolleuse no capítulo 7, e segue decidindo que cabe na tarxeta.

Que termo domina depende da forma da execución, por iso Micikevicius et al. din que a memoria «está dominada polas activacións»³ mentres que ZeRO di que un modelo de 1.500 millóns de parámetros precisa «polo menos 24 GB» só de estados do modelo.⁴ ZeRO chega aos mesmos 16 bytes por outra ruta — $2\Psi$ para pesos fp16, $2\Psi$ para gradientes fp16, $4\Psi$ cada un para os pesos mestres fp32 e os dous momentos de Adam — o que para 70.000 millóns de parámetros son 1,12 terabytes, o equivalente a catorce GPUs de 80 GB antes dunha soa activación.

Nada diso cabe nun só dispositivo a escala fronteira, así que a execución divídese de catro maneiras á vez. Data parallelism pon unha copia do modelo en cada GPU e media os gradientes — o estándar, e o que ZeRO mellora negándose a manter copias redundantes do estado do optimizador. Tensor parallelism divide matrices individuais entre dispositivos. Pipeline parallelism dálle a cada dispositivo un grupo contiguo de capas. Context parallelism divide a propia secuencia, necesario só cando $T$ é longo dabondo para que o termo de attention domine. A táboa 4 de Llama 3 lista os catro á vez: tensor 8, context ata 16, pipeline 16, data ata 128, sobre 16.384 GPUs H100.⁵ Isto é todo o que este curso dirá sobre iso; a enxeñaría de adestramento distribuído é un semestre enteiro por si soa, e Stanford CS336 é ese semestre, clases 5 a 8, con código.⁶ O que sobrevive á delegación é un único número, model FLOPs utilisation: a fracción da aritmética pico dunha GPU que unha execución real acada, que é o que converte o ordenado $6ND$ en tempo de reloxo e polo tanto en cartos.

En xaneiro de 2020, Kaplan et al. adestraron unha grella de transformers e descubriron que a perda de test segue unha lei de potencia en cada un dos tres recursos ao longo de máis de seis ordes de magnitude.¹ O seu §1.2 dá tres leis axustadas:

con compañeiras $\alpha_D \approx 0.095$ para datos e $\alpha_C^{\min} \approx 0.050$ para cómputo asignado de maneira óptima. As constantes non son universais, e o artigo dio: «os valores numéricos precisos de $N_c$, $C_c^{\min}$ e $D_c$ dependen do tamaño do vocabulario e da tokenization e polo tanto non teñen un significado fundamental».

Os expoñentes son diminutos: dez veces máis parámetros compran un factor $10^{0.076} \approx 1.19$ sobre a perda restante. Iso soa a nada, e é o feito máis importante aquí: os rendementos son terribles e nunca paran. Unha lei de potencia cun expoñente pequeno promete que a seguinte orde de magnitude axudará, menos do que axudou a anterior, para sempre. Mercar cómputo deixa de ser unha aposta e convértese nunha compra cun tipo de cambio publicado, que é exactamente o argumento que desbloqueou o capital.

Logo veu a prescrición, e aquí é onde o artigo se equivocou dun xeito que lle custou moitísimos cartos á industria. A táboa 6 de Kaplan dá $N_{\text{opt}} \propto C^{0.73}$ e $D_{\text{opt}} \propto C^{0.27}$: dez veces o cómputo implica un modelo 5,4 veces máis grande alimentado con só 1,9 veces máis texto. O resumo é explícito: «o adestramento óptimo en eficiencia de cómputo implica adestrar modelos moi grandes cunha cantidade relativamente modesta de datos e parar bastante antes da converxencia». O campo fixo exactamente iso: GPT-3 ten 175.000 millóns de parámetros sobre 300.000 millóns de tokens,⁷ Gopher 280.000 millóns sobre 300.000 millóns, Megatron-Turing NLG 530.000 millóns sobre 270.000 millóns.² De medio token a dous tokens por parámetro, en todos os casos.

En marzo de 2022, Hoffmann et al. adestraron máis de 400 modelos de 70 millóns a 16.000 millóns de parámetros e chegaron á conclusión oposta por tres rutas independentes.² A súa táboa 2 informa do expoñente $a$ en $N_{\text{opt}} \propto C^{a}$ como 0,50, 0,49 e 0,46, fronte ao 0,73 de Kaplan. En termos simples: o tamaño do modelo e os datos de adestramento deberían medrar na mesma proporción.

O seu segundo enfoque é o que reproduce o varrido do comezo deste capítulo, a unha millonésima da escala: fixa un orzamento, adestra moitos tamaños exactamente con ese orzamento, debuxa a perda final contra o tamaño do modelo.

Perda held-out en nats por token, tokens por parámetro entre parénteses, negra para o mellor modelo en cada orzamento; un guión é un punto non executado, porque o orzamento esixía máis texto do que contén o corpus ou o tamaño caía fóra dos varridos alí.

Le cara abaixo nunha columna: a perda cae, toca fondo e volve subir. Un modelo pode ser demasiado grande para o seu orzamento exactamente coa mesma facilidade que pode ser demasiado pequeno: en $10^{14}$ a penalización por escoller 665.280 parámetros fronte a 295.808 é de 0,08 nats, que na envolvente axustada enriba é a perda que un modelo co tamaño correcto acada cun 18 % menos de cómputo. Escoller a forma incorrecta tira pola borda unha quinta parte do orzamento. Iso é a figura 3 de Chinchilla nunha tarde nunha GPU en vez de con catrocentos modelos.

Agora le en horizontal. En $10^{13}$ o mellor modelo é o máis pequeno dos varridos; en $10^{14}$ son 295.808 parámetros, acoutados por ambos lados. O óptimo móvese á dereita cando medra o orzamento, que é todo o contido da corrección. Axusta o terceiro enfoque do artigo — a superficie $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ sobre cada execución — e minimiza suxeito a $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, desde un portátil, fronte ao 0,73 de Kaplan. Concordar a tres díxitos desde un axuste de tres orzamentos é sorte; concordar ao primeiro non o é. O expoñente viaxa; a constante non, xa que a razón token-parámetro nestes óptimos é de 170 a 540, non 20. Tres razóns, todas instrutivas. $E$ axústase a cero porque cunha perda por riba de 4 nats a execución non está nin preto do chan de entropía que domina o axuste de Chinchilla. O tamaño de batch e a learning rate fixáronse en vez de axustarse por punto, o que prexudica as execucións con menos pasos — e esas son as dos modelos grandes: en $10^{13}$ FLOPs, un modelo de 1,28 millóns de parámetros recibe 159 pasos de optimizador en total, moi por debaixo dos poucos milleiros que o termo $S_{\min}$ de Kaplan di que necesita calquera modelo. Unha lei de escala axústase dentro dun réxime, e esta está seis ordes de magnitude por debaixo da de Chinchilla.

De aí o resumo do artigo: «os large language models actuais están significativamente infraadestrados». Chinchilla é a demostración: 70.000 millóns de parámetros sobre 1,4 billóns de tokens, o mesmo cómputo total que Gopher con 280.000 millóns sobre 300.000 millóns, superándoo en 51 de 57 tarefas MMLU, 67,5 % contra 60 %.² Catro veces máis pequeno, catro veces e media máis texto, o mesmo diñeiro, mellor modelo.

Dúas advertencias sobre esa famosa razón. «Vinte tokens por parámetro» non é unha frase do artigo, que só di que «por cada duplicación do tamaño do modelo, o número de training tokens tamén debería duplicarse»; o 20 é unha inferencia da táboa 3 e do propio Chinchilla, 70 B sobre 1,4 T. E a súa precisión é peor do publicado: Besiroglu et al. reaxustaron a partir dunha dixitalización da figura 4, descubriron que os parámetros orixinais «axustan mal os datos reconstruídos» con intervalos «implausiblemente estreitos dado o número de puntos de datos», e puxeron o rango honesto en «entre 4 e 40» tokens por parámetro.⁸

Un detalle do método de Chinchilla cumpre unha promesa que fixo o capítulo 1 sobre os calendarios de learning rate. O calendario coseno ten que coincidir co orzamento de tokens. Un modelo que verá 10 millóns de tokens debe facer decaer a súa learning rate a cero en 10 millóns de tokens; dálle un calendario dimensionado para 100 millóns, páralo cedo, e estarás lendo unha perda a metade da baixada cunha taxa demasiado alta. Chinchilla adestra cada modelo con catro lonxitudes de ciclo para controlar exactamente isto; o varrido anterior fixa o seu calendario a partir do orzamento pola mesma razón.

Son o resultado empírico máis útil do campo e véndense por riba do que din con frecuencia. Catro límites.

Predín perda, non capacidade. O lado esquerdo é entropía cruzada sobre texto held-out. Nada nestes artigos autoriza unha afirmación sobre se un modelo escribirá SQL correcto, rexeitará unha petición daniña ou usará unha ferramenta. É de novo a lección do capítulo 5: unha predición da perda non é unha predición do comportamento polo que estás pagando.

Axústanse, non se derivan. Ningunha teoría produce $\alpha_N = 0.076$. As constantes móvense co tokenizer — por iso unha comparación de perplexidade entre dous tokenizers non significa nada, como explicou o capítulo 8 — e coa mestura de datos, a arquitectura e o optimizador. Toda lei publicada é unha lei da configuración que a produciu, por iso Meta reaxustou a súa antes de Llama 3.⁵

Asumen un token novo para cada paso, o que en silencio asume un corpus infinito. Muennighoff et al. mediron que pasa cando se esgota: ata catro épocas de datos repetidos case non custan nada — un modelo de 8.700 millóns de parámetros sobre 44.000 millóns de tokens únicos vistos catro veces rematou con «só un 0,5 % máis de perda de validación» ca o mesmo modelo sobre 178.000 millóns de tokens únicos — mentres que pasado arredor de dezaseis épocas o cómputo adicional non compra nada.⁹

E xa ninguén adestra en óptimo de cómputo. Chinchilla minimiza o custo de adestrar; un modelo despregado paga logo arredor de $2N$ FLOPs por token xerado, para sempre. LLaMA 1 díxoo claramente: «dado un nivel obxectivo de rendemento, o modelo preferido non é o máis rápido de adestrar senón o máis rápido en inferencia».¹⁰ Sardana et al. formalizárono minimizando $6ND_{\text{train}} + 2ND_{\text{inference}}$ no seu lugar, e descubriron que quen espere mil millóns de peticións debería adestrar «máis pequeno e máis tempo ca o óptimo de Chinchilla».¹¹ O §9.1 de Llama 3 concorda: os seus modelos pequenos adéstranse «moito máis alá do punto de adestramento óptimo en cómputo, intercambiando efectivamente cómputo de adestramento por eficiencia de inferencia».⁵ A razón non está obsoleta; responde unha pregunta que xa non é a que se está facendo.

A perda cae suavemente. As puntuacións en benchmarks ás veces non. Wei et al. recompilaron casos onde unha tarefa queda ao nivel do azar ao longo de ordes de magnitude de training compute e logo salta — a aritmética de tres díxitos aparecendo en GPT-3 arredor de $2 \times 10^{22}$ FLOPs, MMLU subindo por riba de adiviñar entre $3$ e $5 \times 10^{23}$ — e puxéronlle nome ao patrón: «unha capacidade é emerxente se non está presente en modelos máis pequenos pero si en modelos máis grandes».¹² Se iso é unha propiedade real, extrapolar desde experimentos baratos é inseguro, porque a capacidade que mercas pode non existir en ningunha escala que poidas permitirte probar.

Schaeffer, Miranda e Koyejo argumentaron que a maior parte é un artefacto da medición, e o mecanismo é aritmético.¹³ A perda por token cae suavemente, así que a probabilidade de que un token sexa correcto, $\exp(-\mathcal{L})$, mellora gradualmente. Puntúa o modelo con coincidencia exacta de cadea sobre unha resposta de $L$ tokens e elevas esa probabilidade á potencia $L$: unha curva suave elevada a unha potencia grande semella un cantil. Cambia a unha métrica que conte tokens en vez de esixilos todos, sobre as mesmas saídas, e «o rendemento da familia mellora de maneira suave, continua e predicible coa escala crecente».

A súa auditoría é o número que hai que lembrar: «das 39 métricas preferidas en BIG-Bench, como moito 5 amosan emerxencia», con dúas métricas descontinuas responsables de máis do 92 % dos casos alegados; e tamén o é a súa cautela: «nada neste artigo debería interpretarse como unha afirmación de que os large language models non poidan amosar capacidades emerxentes». Un salto nunha gráfica é evidencia sobre a métrica ata que se demostre o contrario. O capítulo 29 é onde iso se converte no teu problema, porque escoller unha métrica de corte duro é unha decisión que tomarás sen darte conta.

O corpus é a parte dunha execución de pretraining sen ecuación asociada, e onde viven a maioría das decisións importantes. A materia prima é un rastrexo web: o arquivo de agosto de 2026 de Common Crawl contén «2,14 mil millóns de páxinas web ou 360 TiB de contido sen comprimir», un mes del, gratis para descargar.¹⁴ Case nada é usable tal como vén. O artigo de T5 di que o rastrexo «consiste en gran medida en texto sen sentido ou boilerplate como menús, mensaxes de erro ou texto duplicado», e o pipeline C4 que introduciu é unha lista de heurísticas contundentes: manter só liñas que rematen en puntuación terminal, descartar páxinas con menos de tres frases, descartar calquera páxina que conteña unha chave ou unha palabra dunha lista pública de obscenidades; así, vinte terabytes de texto mensual convértense nuns 750 GB.¹⁵

Contundentes é a palabra. Dodge et al. auditaron o que eliminan eses filtros e descubriron que a lista de bloqueo de obscenidades borra o 42 % dos documentos en inglés afroamericano e o 32 % en inglés aliñado con persoas hispanas, fronte ao 6,2 % do inglés aliñado con persoas brancas, deixando un corpus cun 97,8 % da última categoría.¹⁶ Unha regra sen opinión sobre o dialecto tiña unha.

Logo deduplicación, que non é limpeza doméstica: Lee et al. atoparon unha frase de 61 palabras repetida 61.036 veces en C4, e demostraron que deduplicar reduce por dez a taxa á que os modelos «emiten texto memorizado», do 1,9 % dos tokens xerados ao 0,19 %.¹⁷ Máis non é mellor, porén: o equipo de FineWeb deduplicou globalmente ao longo de 96 rastrexos, obtivo 4 billóns de tokens e ningunha mellora medible; logo deduplicou cada rastrexo por separado, obtivo 20 billóns, e igualou o mellor corpus existente.¹⁸

Logo contaminación. Llama 3 mediu a súa e publicouna: 98 % de AGIEval, 95 % de BIG-Bench Hard e 85 % de HellaSwag solapándose co conxunto de adestramento por 8-grams, e para MMLU un solapamento tan alto que «é imposible obter unha boa estimación da ganancia de rendemento».⁵ O §4 de GPT-3 informa dun erro de filtrado que deixou benchmarks nos datos sen marcha atrás: «por consideracións de custo era inviable readestrar o modelo».⁷

A procedencia é a parte sen resolver. The Pile distribuíu un compoñente de 100,96 GiB chamado Books3 — o 12 % do corpus e, segundo a propia táboa de consentimento do artigo, libros dun tracker torrent privado;¹⁹ retirouse en agosto de 2023 tras unha reclamación de copyright. A posición legal a setembro de 2026 segue sen resolverse, e as tres decisións estadounidenses citadas como tendencia discrepan entre si. Alsup considerou que adestrar sobre libros adquiridos legalmente era «extraordinariamente transformativo» mentres sostiña que unha biblioteca construída a partir de copias pirateadas non o era, e Anthropic pactou esa metade por $1.500 millóns cubrindo 482.460 obras, arredor de $3.000 cada unha, aprobado o 20 de xullo de 2026.²⁰ Chhabria concedeu a Meta xuízo sumario mentres escribía que a súa decisión «non sostén a proposición de que o uso de materiais protexidos por copyright por parte de Meta para adestrar os seus modelos de linguaxe sexa lícito», senón só que «estes demandantes fixeron os argumentos incorrectos».²¹ Bibas, fallando contra Ross Intelligence, sinalou que «só a IA non xerativa está diante de min hoxe».²² Ningún tribunal federal de apelación dos EUA decidiu sobre a cuestión.

As persoas fan as partes que a perda non pode facer. TIME informou en xaneiro de 2023 de que traballadores que etiquetaban texto tóxico para OpenAI a través da firma Sama levaban para a casa «entre arredor de $1,32 e $2 por hora» lendo pasaxes que describían abuso sexual infantil, tortura e autolesión, mentres OpenAI pagaba a Sama $12,50 por hora polo traballo; Sama discute tanto o rango salarial como a cota.²³ Iso é o filtrado arredor do pretraining máis que o pretraining en si, pero está na mesma factura, e é onde se senta unha persoa.

A electricidade é real e adoita citarse mal. A cifra publicada máis coidadosa é a de BLOOM: 1.082.990 horas-GPU, 433 MWh e 24,7 toneladas de CO₂ equivalente para a execución, 50,5 contando fabricación e nodos inactivos;²⁴ Patterson et al. sitúan GPT-3 en 1.287 MWh e 552 toneladas.²⁵ Dúas cautelas. A vantaxe de BLOOM é a rede nuclear francesa a 57 g CO₂ por kWh, non a eficiencia: usou máis enerxía ca OPT-175B. E a cifra de emisións máis citada do campo, as 626.155 lb de Strubell et al. para unha procura de arquitectura neural, demostrouse máis tarde que era 88 veces demasiado alta, por asumir que a procura se executaba co tamaño completo do modelo cando se executaba sobre un proxy.²⁶ O marco de LBNL é o defendible: os centros de datos dos EUA usaron 192 TWh en 2024, o 4,7 % da electricidade nacional; un número asociado a unha industria, non a unha execución concreta.²⁷

O fío condutor é o que Bender et al. chamaron débeda de documentación: «poñernos nunha situación na que os datasets están á vez sen documentar e son demasiado grandes para documentalos post hoc».²⁸ Cada feito anterior existe porque alguén mirou. Para os corpus detrás dos modelos que usa a maioría da xente, ninguén pode facelo.

Agora a aritmética que todo o mundo quere, a partir de catro entradas citadas, para que cando caduquen sexa obvio cal substituír.

Le as dúas últimas columnas xuntas. Con $10.000 obtés un modelo de 5.000 millóns de parámetros nun nodo alugado nunha quincena. Con $100.000.000, a aritmética di 546.000 millóns de parámetros — e doce mil H100 conectadas durante tres meses, que non é algo que alugues cunha tarxeta de crédito. Pasados arredor de $100.000, a restrición vinculante deixa de ser o diñeiro e pasa a ser o clúster.

Antes de confiar nunha táboa así, próbaa contra execucións cuxo custo real está publicado: llm.c reproduce GPT-2 124M en «~90 minutos» nun nodo 8×A100 «por arredor de $20», e GPT-2 1.6B en 24 horas nun nodo 8×H100 por $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Ambos dentro de arredor dun 15 %, que é aproximadamente a precisión que merece este tipo de estimación e bastante mellor ca a precisión coa que adoita citarse.

A cifra máis repetida neste tema é que un modelo da clase GPT-2 que custaba arredor de $43.000 en 2019 pode reproducirse hoxe por unhas poucas decenas de dólares. A metade moderna está ben documentada; a histórica non.

Hoxe. README de nanochat de Karpathy: «podes adestrar o teu propio LLM con capacidade GPT-2 ... por só $48 (~2 horas de nodo GPU 8XH100) ... Nunha instancia spot, o custo total pode achegarse máis a ~$15».³² «Capacidade GPT-2» aquí é preciso e publicado: superar a puntuación CORE de GPT-2 de 0,256525, nun leaderboard cuxa mellor entrada a 14 de marzo de 2026 é 1,65 horas. Os $48 asumen $3 por hora-GPU, por debaixo dos $3,99 de lista de Lambda; a prezo de lista achégase máis a $64.

En 2019. Non hai fonte primaria: OpenAI nunca publicou unha duración nin un custo. A cadea pasa por The Register, febreiro de 2019, informando de «256 núcleos Google TPU3» sen prezo nin duración; logo Synced, xuño de 2019, sinalando que o hardware custaba $256 por hora en Google Cloud e afirmando explicitamente que «OpenAI non especificou a duración do adestramento». $43.008 son $256 por hora multiplicados por unhas 168 horas supostas que ninguén citou nunca.

Así que o titular honesto é: un modelo que iguala a puntuación de benchmark publicada de GPT-2 pode adestrarse hoxe por bastante menos de $100 en hardware alugado, fronte a un custo de 2019 que nunca se publicou e cuxa famosa estimación descansa nunha suposición sen fonte sobre a duración. O colapso é real e a metade moderna pode reproducila calquera cunha tarxeta de crédito; a razón é aritmética sobre un número que non existe. Ese é o estado dos custos de adestramento publicados en xeral. O artigo de GPT-3 non contén ningunha cantidade en dólares, só $3.14 \times 10^{23}$ FLOPs na táboa D.1;⁷ o artigo de Llama 3 tampouco contén ningunha.⁵ Todo custo de adestramento que liches é unha estimación a partir dun reconto FLOP, unha suposición de hardware e unha suposición de prezo; sempre paga a pena preguntar de quen.

O que sae viu un corpus fixo ensamblado nun momento fixo, e diso despréndense dúas propiedades.

A primeira é o knowledge cutoff. Despois da data de recollida, o modelo non sabe nada — non «está inseguro», nada — e confabulará con fluidez en vez de dicilo, porque dicilo nunca foi un comportamento no que se adestrase. A model card de Llama 3.1 dá decembro de 2023;³³ todo modelo ten unha, e é unha propiedade dos datos de adestramento, non do deployment. Rodealo é un problema de recuperación, que é o capítulo 19.

A segunda é que un modelo base completa máis ca responde. Dálle «Cal é a capital de Francia?» e unha continuación plausible é outra pregunta, porque no corpus esa cadea aparece máis a miúdo nunha lista de exercicios.

Un completador de texto non é un asistente. Non segue instrucións, porque nada no corpus lle dixo que unha petición debe obedecerse en vez de continuarse. Non ten noción dunha conversa con dous participantes. Producirá encantado a continuación máis probable dun prompt daniño, porque probable é o único para o que foi optimizado.

Convertelo en algo que responde require unha segunda etapa que custa unha fracción de punto porcentual da primeira, e que consiste case por completo en amosarlle exemplos do comportamento que queres e logo comparar pares das súas propias saídas. Esa etapa é de onde veñen seguir instrucións, chat templates, rexeitamentos e — isto sorprende a xente — a capacidade de chamar unha ferramenta. O capítulo 11 é esa etapa: supervised fine-tuning, RLHF, DPO e GRPO, e a pregunta de que significa «aliñado» e quen o decide.

Tamén paga a pena ler xunto a este capítulo o build-nanogpt de Karpathy e o seu vídeo acompañante, que percorren unha reprodución completa de GPT-2 de principio a fin a un ritmo que este capítulo non pode; e Stanford CS324, Large Language Models, cuxas clases sobre datos e impacto ambiental afondan máis ca a sección anterior nun material que este curso trata unha vez e delega.