Предобучение LLM: данные, compute, scaling laws и стоимость

Целевая функция не меняется. Модель всё ещё предсказывает следующий token, loss всё ещё является cross-entropy из главы 4, применённой к факторизации главы 8, optimiser всё ещё AdamW из главы 6. Pretraining — не новый алгоритм; это тот же алгоритм, запущенный на корпусе настолько большом, что запуск приходится бюджетировать. Это возможно по двум причинам: метки бесплатны, поскольку target для позиции $t$ — это token в $t+1$, уже присутствующий в тексте; а последний раздел главы 6 снял возражение, потому что модель с куда большим числом параметров, чем допускают классические правила, не разваливается, а улучшается. На выходе получается base model — то, что продолжает текст, а не отвечает.

Прежде чем что-либо бюджетировать, это нужно посчитать, и область считает это одной формулой:

где $N$ — число параметров, $D$ — training tokens, а $C$ — общее число операций с плавающей точкой. Kaplan et al. выводят её в два шага.¹ Forward: 2 FLOP на параметр на token, потому что каждый параметр в матричном умножении используется один раз на token — одно умножение и одно сложение. Backward: вдвое больше forward, потому что backward pass из главы 5 вычисляет два gradient на каждом слое — по входам слоя, чтобы сигнал продолжал идти, и по его весам; каждое — матричное умножение размера forward, так что $4N$.

Это весь вывод, и его стоит проверить, а не принимать на веру. В PyTorch есть реальный счётчик FLOP, torch.utils.flop_counter.FlopCounterMode: он перехватывает каждую операцию, которую запускает модель, и суммирует фактическую работу. Запустим его на четырёх порядках масштаба; крупнейший — на устройстве meta, которое выделяет формы, но не память:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Отношение forward+backward к forward равно 3.000 — точно, на каждом масштабе: это не приближение, которое случайно хорошо работает, а приведённое выше арифметическое тождество, возвращённое круглым числом счётчиком, который ничего не знает о выводе.

Измеренный итог оказывается на 3–17 % выше $6ND$, когда $N$ включает матрицы embedding — и эта оговорка важна, потому что две основополагающие статьи считают $N$ по-разному. Kaplan исключает «all vocabulary and positional embeddings», потому что это «produces significantly cleaner scaling laws» (§1.3); Appendix F Chinchilla говорит: «we also count embeddings matrices in the total parameter count».² Для широкого vocabulary и узкой hidden dimension разница — фактор девять, как показывает первая строка.

Оставшийся разрыв — то, что $6ND$ намеренно опускает: attention scores. Eq. (2.2) у Kaplan записывает forward cost как $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ и отбрасывает второй член, потому что $d_{\text{model}} \gg n_{\text{ctx}}/12$ — безопасно в 2020-м, менее безопасно сейчас, и именно поэтому отношение растёт вместе с $T/d$. Поэтому две строки здесь имеют общий $T$ 1 024, а отношение падает, с 1.145 до 1.100, когда $d$ растёт с 768 до 1 600. Это стоимость $O(T^2)$, которую ввела глава 9 и которую глава 16 превращает в цену.

Compute решает, сколько продлится запуск; память решает, сможет ли он начаться. При обучении с обычным fp32 AdamW каждый параметр несёт четыре числа: вес, его gradient, а также скользящее среднее Adam $m$ и дисперсию $v$ — две средние величины, собранные вручную в главе 6. Четыре числа по четыре байта — это 16 байт на параметр, ещё до единой activation. Измерено на 8 GB GPU ноутбука, по resident allocation в точке шага, где графа уже нет:

Прогноз и измерение сходятся в пределах 3 %. Сюрприз — последний столбец: activations затмевают модель. Та же модель с 5.8 млн параметров, которой нужно 89 MB постоянного состояния, требует 4 681 MB activations при batch 128 — в 52 раза больше модели, и значительная часть этого вовсе не transformer. Это logits: по одному вектору размера vocabulary на token, четыре байта на элемент — 512 MB в последней строке, 393 MB в первой. Размер vocabulary был выбран в главе 7, и он всё ещё решает, что поместится на карте.

Какой член доминирует, зависит от формы запуска; поэтому Micikevicius et al. говорят, что память «is dominated by activations»,³ а ZeRO говорит, что модель с 1.5 млрд параметров требует «at least 24 GB» только для model states.⁴ ZeRO приходит к тем же 16 байтам другим путём — $2\Psi$ для fp16 weights, $2\Psi$ для fp16 gradients, $4\Psi$ каждое для fp32 master weights и двух моментов Adam. Для 70 млрд параметров это 1.12 TB — четырнадцать GPU по 80 GB ещё до единой activation.

На frontier scale всё это не помещается на одном устройстве, поэтому запуск делят сразу четырьмя способами. Data parallelism кладёт копию модели на каждый GPU и усредняет gradients — это стандарт, а ZeRO улучшает его, отказываясь хранить лишние копии состояния optimiser. Tensor parallelism делит отдельные матрицы между устройствами. Pipeline parallelism отдаёт каждому устройству непрерывную группу слоёв. Context parallelism делит саму последовательность; это нужно только когда $T$ достаточно велико, чтобы член attention начал доминировать. Table 4 Llama 3 перечисляет все четыре сразу: tensor 8, context до 16, pipeline 16, data до 128, на 16 384 GPU H100.⁵ На этом курс остановится: инженерия distributed training — отдельный семестр, и Stanford CS336 как раз этот семестр, лекции 5–8, с кодом.⁶ После передачи дела остаётся одно число — model FLOPs utilisation, доля пиковой арифметики GPU, которой достигает реальный запуск; именно оно превращает аккуратное $6ND$ во wall-clock time и значит в деньги.

В январе 2020 года Kaplan et al. обучили сетку transformers и обнаружили, что test loss следует power law по каждому из трёх ресурсов на более чем шести порядках масштаба.¹ В §1.2 приведены три fitted laws:

с сопутствующими $\alpha_D \approx 0.095$ для данных и $\alpha_C^{\min} \approx 0.050$ для оптимально распределённого compute. Константы не универсальны, и статья прямо говорит об этом: «the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning».

Показатели крошечные: десятикратный рост параметров покупает фактор $10^{0.076} \approx 1.19$ от оставшегося loss. Звучит почти как ничто, и это самый важный факт здесь — отдача ужасна и никогда не прекращается. Power law с малым показателем обещает, что следующий порядок масштаба поможет — меньше, чем предыдущий, но всегда. Покупка compute перестаёт быть азартной ставкой и становится покупкой с опубликованным обменным курсом — именно этот аргумент и открыл капитал.

Затем появилась рекомендация, и именно здесь статья ошиблась так, что это стоило индустрии больших денег. Table 6 Kaplan даёт $N_{\text{opt}} \propto C^{0.73}$ и $D_{\text{opt}} \propto C^{0.27}$: в десять раз больше compute означает модель в 5.4 раза больше, которой дают лишь в 1.9 раза больше текста. Аннотация формулирует прямо: «optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence». Область так и сделала: GPT-3 — 175 млрд параметров на 300 млрд token,⁷ Gopher — 280 млрд на 300 млрд, Megatron-Turing NLG — 530 млрд на 270 млрд.² От половины token до двух token на параметр — повсеместно.

В марте 2022 года Hoffmann et al. обучили более 400 моделей от 70 млн до 16 млрд параметров и тремя независимыми путями пришли к противоположному выводу.² Их Table 2 сообщает показатель $a$ в $N_{\text{opt}} \propto C^{a}$ как 0.50, 0.49 и 0.46 против 0.73 у Kaplan. Простыми словами: размер модели и training data должны расти в равной пропорции.

Их второй подход — тот, который воспроизведён sweep в начале этой главы в масштабе одной миллионной: зафиксировать бюджет, обучить много размеров ровно на этом бюджете и построить final loss против размера модели.

Held-out loss в nats per token, token на параметр в скобках, жирным — лучшая модель на каждом бюджете; тире означает точку, которую не запускали, потому что бюджет требовал больше текста, чем есть в корпусе, или размер не входил в sweep.

Читайте столбец вниз: loss падает, достигает минимума и снова растёт. Модель может быть слишком большой для своего бюджета ровно так же легко, как слишком маленькой — при $10^{14}$ штраф за выбор 665 280 параметров вместо 295 808 равен 0.08 nats, что на fitted envelope выше соответствует loss, которого правильно выбранная модель достигает с 18 % меньшим compute. Неверная форма выбрасывает пятую часть бюджета. Это Figure 3 Chinchilla за один день на одном GPU вместо четырёхсот моделей.

Теперь читайте по строкам. При $10^{13}$ лучшая модель — самая маленькая в sweep; при $10^{14}$ это 295 808 параметров, окружённая точками с обеих сторон. Оптимум сдвигается вправо по мере роста бюджета — в этом всё содержание исправления. Подгоните третий подход статьи — поверхность $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ по всем запускам — и минимизируйте при условии $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, с ноутбука, против 0.73 у Kaplan. Совпадение до трёх знаков при fit по трём бюджетам — удача; совпадение до первого — нет. Показатель переносится, константа — нет: token-to-parameter ratio в этих optimum составляет 170–540, а не 20. Три причины, и все полезны. $E$ подгоняется к нулю, потому что при loss выше 4 nats запуск далёк от entropy floor, доминирующего в fit Chinchilla. Batch size и learning rate были фиксированы, а не настроены для каждой точки, что ухудшает те запуски, у которых меньше всего шагов, — крупные модели: при $10^{13}$ FLOPs модель на 1.28 млн параметров получает всего 159 шагов optimiser, намного меньше нескольких тысяч, которые член $S_{\min}$ у Kaplan считает необходимыми для любой модели. Scaling law подгоняется внутри режима, и этот режим на шесть порядков ниже Chinchilla.

Отсюда аннотация статьи: «current large language models are significantly undertrained». Chinchilla — демонстрация: 70 млрд параметров на 1.4 трлн token, тот же total compute, что у Gopher 280 млрд на 300 млрд, и лучше результат на 51 из 57 задач MMLU: 67.5 % против 60 %.² В четыре раза меньше, в четыре с половиной раза больше текста, те же деньги, лучшая модель.

Две оговорки о знаменитом ratio. «Двадцать token на параметр» — не фраза из статьи: там сказано только, что «for every doubling of model size the number of training tokens should also be doubled»; 20 — вывод из Table 3 и из собственной Chinchilla 70 B на 1.4 T. И точность хуже опубликованной: Besiroglu et al. заново fit по digitisation Figure 4, нашли, что исходные параметры «fit the reconstructed data poorly» с интервалами «implausibly tight given the number of data points», и честный диапазон — «between 4 and 40» token на параметр.⁸

Одна деталь метода Chinchilla выполняет обещание, данное главой 1 о learning-rate schedules. Cosine schedule должен соответствовать token-бюджету. Модель, которая увидит 10 млн token, должна свести learning rate к нулю на 10 млн token; дайте ей schedule на 100 млн, остановите рано — и вы читаете loss посреди спуска при слишком высокой ставке. Chinchilla обучает каждую модель на четырёх длинах цикла именно для контроля этого эффекта; sweep выше задаёт schedule из бюджета по той же причине.

Это самый полезный эмпирический результат в области, и его регулярно продают слишком широко. Четыре ограничения.

Они предсказывают loss, а не capability. Левая часть — cross-entropy на held-out text. Ничто в этих статьях не даёт права утверждать, будет ли модель писать корректный SQL, отказываться от вредного запроса или использовать tool. Это снова урок главы 5: prediction of the loss — не prediction поведения, за которое вы платите.

Они подогнаны, а не выведены. Никакая теория не производит $\alpha_N = 0.076$. Константы меняются вместе с tokenizer — поэтому сравнение perplexity между двумя tokenizers бессмысленно, как объясняла глава 8, — а также с data mixture, architecture и optimiser. Каждый опубликованный закон — закон той установки, которая его породила, поэтому Meta заново fit свой перед Llama 3.⁵

Они предполагают новый token на каждом шаге, то есть молча предполагают бесконечный корпус. Muennighoff et al. измерили, что происходит, когда он заканчивается: до четырёх epochs повторённых данных почти ничего не стоят — модель на 8.7 млрд параметров на 44 млрд unique token, увиденных четыре раза, закончила «only 0.5 % higher validation loss», чем та же модель на 178 млрд unique token, — а после примерно шестнадцати epochs дополнительный compute уже ничего не покупает.⁹

И никто больше не обучает compute-optimal. Chinchilla минимизирует стоимость training; deployed model затем платит примерно $2N$ FLOPs за generated token, всегда. LLaMA 1 сказала прямо: «given a target level of performance, the preferred model is not the fastest to train but the fastest at inference».¹⁰ Sardana et al. формализовали это, минимизируя вместо этого $6ND_{\text{train}} + 2ND_{\text{inference}}$, и нашли, что при ожидании миллиарда запросов нужно обучать «smaller and longer than Chinchilla-optimal».¹¹ §9.1 Llama 3 согласен: малые модели обучаются «far beyond the point of compute optimal training, effectively trading training compute for inference efficiency».⁵ Ratio не устарел; он отвечает на вопрос, который больше не является тем, что задают.

Loss падает гладко. Benchmark scores иногда нет. Wei et al. собрали случаи, где задача держится на уровне угадывания через порядки training compute, а затем прыгает: трёхзначная арифметика появляется в GPT-3 примерно при $2 \times 10^{22}$ FLOPs, MMLU поднимается выше угадывания между $3$ и $5 \times 10^{23}$ — и дали паттерну имя: «an ability is emergent if it is not present in smaller models but is present in larger models».¹² Если это реальное свойство, экстраполировать из дешёвых экспериментов опасно, потому что capability, которую вы покупаете, может не существовать ни на каком масштабе, который вы можете позволить себе протестировать.

Schaeffer, Miranda and Koyejo утверждали, что большая часть этого — артефакт измерения, и механизм арифметический.¹³ Per-token loss падает гладко, значит вероятность того, что один token верен, $\exp(-\mathcal{L})$, улучшается постепенно. Оцените модель через exact string match на ответе длиной $L$ token — и вы возводите эту вероятность в степень $L$: гладкая кривая в большой степени выглядит как обрыв. Замените метрику на ту, что считает token вместо требования совпасть целиком, на тех же outputs, и «the family's performance smoothly, continuously and predictably improves with increasing scale».

Их audit — число, которое стоит запомнить: «of the 39 preferred metrics in BIG-Bench, at most 5 display emergence», причём две discontinuous metrics объясняют более 92 % заявленных случаев. Стоит помнить и их осторожность: «nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities». Прыжок на графике — свидетельство о метрике, пока не доказано иное. Глава 29 — место, где это станет вашей проблемой, потому что выбор hard-cutoff metric — решение, которое вы примете, не заметив.

Корпус — часть pretraining run, к которой не прилагается уравнение, и именно там живёт большинство существенных решений. Сырьё — web crawl: архив Common Crawl за август 2026 года содержит «2.14 billion web pages or 360 TiB of uncompressed content», один месяц, бесплатно для скачивания.¹⁴ Почти ничто не пригодно как есть. В статье T5 говорится, что crawl «largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text», а предложенный там pipeline C4 — список грубых эвристик: оставить только строки, заканчивающиеся терминальной пунктуацией, выбросить страницы с менее чем тремя предложениями, выбросить любую страницу с фигурной скобкой или словом из публичного списка непристойностей; так двадцать терабайт ежемесячного текста превращаются примерно в 750 GB.¹⁵

«Грубые» — правильное слово. Dodge et al. проверили, что удаляют эти фильтры, и нашли: blocklist непристойностей удаляет 42 % документов на African-American English и 32 % на Hispanic-aligned English против 6.2 % White-aligned English, оставляя корпус на 97.8 % из последней категории.¹⁶ Правило без мнения о dialect получило его.

Затем deduplication, и это не уборка: Lee et al. нашли в C4 предложение из 61 слова, повторённое 61 036 раз, и показали, что deduplication снижает частоту, с которой модели «emit memorized text», в десять раз — с 1.9 % generated tokens до 0.19 %.¹⁷ Но больше не значит лучше: команда FineWeb провела global deduplication по 96 crawls, получила 4 трлн token и без измеримого выигрыша, затем deduplicate каждый crawl отдельно, получила 20 трлн и сравнялась с лучшим существующим корпусом.¹⁸

Затем contamination. Llama 3 измерила собственную и опубликовала: 98 % AGIEval, 95 % BIG-Bench Hard и 85 % HellaSwag пересекаются с training set по 8-grams, а для MMLU overlap настолько высок, что «it is impossible to get a good performance gain estimate».⁵ §4 GPT-3 сообщает о баге фильтрации, который оставил benchmarks в данных без возможности отката: «because of cost considerations it was infeasible to retrain the model».⁷

Provenance остаётся нерешённой частью. The Pile поставлял компонент 100.96 GiB под названием Books3 — 12 % корпуса и, по собственной таблице согласия статьи, книги из private torrent tracker;¹⁹ его сняли с доступа в августе 2023 года после copyright complaint. Правовая позиция на сентябрь 2026 года не урегулирована, и три судебных решения США, часто цитируемые как тренд, расходятся. Alsup признал training на законно приобретённых книгах «exceedingly transformative», но счёл библиотеку из пиратских копий недопустимой, и Anthropic урегулировала эту половину за $1.5 billion по 482 460 произведениям, примерно $3 000 за каждое, утверждено 20 июля 2026 года.²⁰ Chhabria удовлетворил summary judgment для Meta, одновременно написав, что его решение «does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful», а лишь что «these plaintiffs made the wrong arguments».²¹ Bibas, решая против Ross Intelligence, отметил, что «only non-generative AI is before me today».²² Ни один appellate court США не решил этот вопрос.

Люди делают те части, которые loss не может. TIME сообщила в январе 2023 года, что работники, размечавшие toxic text для OpenAI через фирму Sama, получали «between around $1.32 and $2 per hour», читая фрагменты о сексуальном насилии над детьми, пытках и самоповреждении, тогда как OpenAI платила Sama $12.50 в час за эту работу; Sama оспаривает и диапазон оплаты, и квоту.²³ Это фильтрация вокруг pretraining, а не сам pretraining — но она в том же счёте, и именно там сидит человек.

Электричество реально, и его обычно цитируют неверно. Самая аккуратная опубликованная цифра — BLOOM: 1 082 990 GPU-hours, 433 MWh и 24.7 tonnes CO₂ equivalent за запуск, 50.5 с учётом производства и простаивающих узлов;²⁴ Patterson et al. оценивают GPT-3 в 1 287 MWh и 552 tonnes.²⁵ Две оговорки. Преимущество BLOOM — французская атомная сеть с 57 g CO₂/kWh, а не эффективность: энергии он использовал больше, чем OPT-175B. И самая цитируемая в области цифра emissions, 626 155 lb у Strubell et al. для neural architecture search, позже оказалась в 88 раз завышенной, потому что предполагалось, что поиск шёл в полном размере модели, хотя он шёл на proxy.²⁶ Формулировка LBNL защищаемая: data centres США использовали 192 TWh в 2024 году, 4.7 % национального электричества — число, привязанное к индустрии, а не к одному запуску.²⁷

Сквозная линия — то, что Bender et al. назвали documentation debt: «putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc».²⁸ Каждый факт выше существует потому, что кто-то посмотрел. Для корпусов за моделями, которыми пользуется большинство людей, никто не может.

Теперь арифметика, которую все хотят, из четырёх цитируемых входов, чтобы, когда они устареют, было ясно, что заменить.

Читайте два последних столбца вместе. За $10 000 вы получаете модель на 5 млрд параметров на одном арендованном узле за две недели. При $100 000 000 арифметика говорит о 546 млрд параметров — и о двенадцати тысячах H100, соединённых на три месяца, что не арендуют кредитной картой. После примерно $100 000 ограничением становится уже не деньги, а cluster.

Прежде чем доверять такой таблице, проверьте её на запусках, реальная стоимость которых опубликована — llm.c воспроизводит GPT-2 124M за «~90 minutes» на узле 8×A100 «for about $20» и GPT-2 1.6B за 24 часа на узле 8×H100 за $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Оба в пределах примерно 15 %, а это приблизительно та точность, которой заслуживает оценка такого рода, и намного лучше точности, с которой её обычно цитируют.

Самая повторяемая цифра в этой теме: модель класса GPT-2, стоившая около $43 000 в 2019 году, сегодня воспроизводится за несколько десятков долларов. Современная половина хорошо документирована; историческая — нет.

Сегодня. README nanochat Karpathy: «you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15».³² «GPT-2 capability» здесь определено точно и опубликовано — обгон CORE score GPT-2 0.256525 — на leaderboard, лучшая запись которого на 14 марта 2026 года составляет 1.65 часа. $48 предполагают $3 per GPU-hour, ниже прайса Lambda $3.99; по прайсу ближе к $64.

В 2019 году. Первичного источника нет: OpenAI никогда не публиковала длительность или стоимость. Цепочка такая: The Register, февраль 2019, сообщает «256 Google TPU3 cores» без цены и длительности; затем Synced, июнь 2019, отмечает, что hardware cost составляет $256 в час в Google Cloud, и прямо говорит, что «OpenAI didn't specify the training duration». $43 008 — это $256 в час, умноженные на предполагаемые 168 часов, для которых никто никогда не привёл источник.

Так что честный headline таков: модель, совпадающая с опубликованным benchmark score GPT-2, сегодня можно обучить значительно дешевле $100 на арендованном hardware, против стоимости 2019 года, которая никогда не публиковалась и чья знаменитая оценка держится на неподтверждённой догадке о длительности. Обвал реален, и современную половину может воспроизвести любой с кредитной картой; ratio — арифметика на числе, которого не существует. Таково состояние опубликованных training costs в целом. Статья GPT-3 не содержит суммы в долларах вообще, только $3.14 \times 10^{23}$ FLOPs в Table D.1;⁷ статья Llama 3 тоже не содержит.⁵ Любая training cost, которую вы читали, — оценка из FLOP count, hardware assumption и price assumption; всегда стоит спрашивать — чьих.

На выходе модель, видевшая фиксированный корпус, собранный в фиксированный момент, и из этого следуют два свойства.

Первое — knowledge cutoff. После даты сбора модель не знает ничего — не «не уверена», а ничего — и будет бегло выдумывать вместо того, чтобы сказать об этом, потому что такое поведение её никогда не учили демонстрировать. Model card Llama 3.1 указывает декабрь 2023 года;³³ у каждой модели есть такой cutoff, и это свойство training data, а не deployment. Обход этого — retrieval problem, то есть глава 19.

Второе — base model дополняет, а не отвечает. Дайте ей «What is the capital of France?» — и правдоподобным продолжением будет ещё один вопрос, потому что в корпусе такая строка чаще всего встречается в списке упражнений.

Текстовый продолжатель — не assistant. Он не следует инструкциям, потому что ничто в корпусе не говорило ему, что просьбу нужно выполнять, а не продолжать. У него нет понятия разговора с двумя участниками. Он с радостью произведёт наиболее вероятное продолжение вредного prompt, потому что probable — единственное, под что его когда-либо оптимизировали.

Чтобы превратить его в то, что отвечает, нужна вторая стадия стоимостью доли процента первой; она почти целиком состоит из показа примеров нужного поведения и сравнения пар собственных outputs модели. Именно на этой стадии появляются instruction following, chat templates, refusals и — это удивляет людей — способность вызвать tool. Глава 11 — про эту стадию: supervised fine-tuning, RLHF, DPO и GRPO, а также вопрос о том, что значит «aligned» и кто решает.

Также стоит читать вместе с этой главой: build-nanogpt Karpathy и сопроводительное видео, где полное воспроизведение GPT-2 проходится от начала до конца в темпе, невозможном для этой главы; и Stanford CS324, Large Language Models, чьи лекции о data и environmental impact глубже разбирают материал, который этот курс рассматривает один раз и делегирует.