Pretraining LLM: дані, обчислення, scaling laws і вартість

В objective нічого не змінюється. Модель усе ще передбачає наступний token, loss усе ще є cross-entropy з розділу 4, застосованою до факторизації з розділу 8, optimiser усе ще AdamW з розділу 6. Pretraining — це не новий алгоритм; це той самий алгоритм, запущений на корпусі настільки великому, що запуск доводиться бюджетувати. Дві речі роблять це можливим: мітки безкоштовні, бо target для позиції $t$ — це token у $t+1$, і він уже є в тексті; а останній розділ глави 6 прибрав заперечення, бо модель із набагато більшою кількістю параметрів, ніж дозволяють класичні правила, не розвалюється — вона покращується. На виході маємо base model — щось, що продовжує текст, а не відповідає.

Перш ніж це можна бюджетувати, це треба порахувати, і галузь рахує це однією формулою:

де $N$ — кількість параметрів, $D$ — training tokens, а $C$ — загальна кількість операцій із рухомою комою. Kaplan et al. виводять її у два кроки.¹ Forward: 2 FLOPs на параметр на token, бо кожен параметр у множенні матриць використовується один раз на token — в одному множенні й одному додаванні. Backward: удвічі більше за forward, бо backward pass із розділу 5 обчислює два градієнти на кожному шарі — щодо inputs шару, щоб сигнал продовжував рухатися, і щодо його weights — кожен є множенням матриць розміру forward, тож $4N$.

Це весь вивід, і його варто перевірити, а не приймати на віру. PyTorch постачає справжній лічильник FLOP, torch.utils.flop_counter.FlopCounterMode, який перехоплює кожну операцію, що її dispatch-ить модель, і підсумовує реальну роботу. Запустіть його на чотирьох порядках величини, найбільший — на пристрої meta, який виділяє shapes і не виділяє пам’ять:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Відношення forward+backward до forward дорівнює 3.000, точно, на кожному масштабі: це не наближення, яке випадково добре працює, а наведена вище арифметична тотожність, повернена круглим числом лічильником, який нічого не знає про вивід.

Виміряна сума далі лежить на 3–17 % вище за $6ND$, щойно $N$ враховує матриці embedding — і це уточнення важливе, бо дві засадничі статті рахують $N$ по-різному. Kaplan виключає «all vocabulary and positional embeddings», бо це «produces significantly cleaner scaling laws» (§1.3); у додатку F Chinchilla сказано: «we also count embeddings matrices in the total parameter count».² Для широкого словника й вузького hidden dimension вони відрізняються у дев’ять разів, як показує перший рядок.

Залишковий розрив — це те, що $6ND$ навмисно пропускає: attention scores. Kaplan у рівнянні (2.2) записує forward cost як $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ і відкидає другий член, бо $d_{\text{model}} \gg n_{\text{ctx}}/12$ — безпечно у 2020 році, менш безпечно тепер, і саме тому відношення повзе вгору, коли зростає $T/d$; ось чому два рядки тут мають спільне $T$ 1 024, а відношення падає, з 1.145 до 1.100, коли $d$ зростає з 768 до 1 600. Це вартість $O(T^2)$, яку ввів розділ 9 і яку розділ 16 перетворює на ціну.

Compute вирішує, скільки триватиме запуск; пам’ять вирішує, чи він узагалі стартує. Тренуйте звичайним fp32 AdamW — і кожен параметр несе чотири числа: weight, його gradient, а також Adam-ові running mean $m$ і variance $v$ — дві середні, зібрані вручну в розділі 6. Чотири числа по чотири байти кожне — це 16 байтів на параметр, ще до першої activation. Виміряно на 8 GB GPU ноутбука, за resident allocation у точці кроку, де жоден graph не живий:

Прогноз і вимірювання збігаються в межах 3 %. Несподіванка — останній стовпець: activations затьмарюють модель. Та сама модель із 5,8 мільйона параметрів, якій потрібно 89 MB постійного стану, потребує 4 681 MB activations за batch 128 — у п’ятдесят два рази більше за модель — і значна частина цього взагалі не transformer. Це logits, один вектор розміру словника на token по чотири байти на елемент: 512 MB в останньому рядку, 393 MB у першому. Розмір словника був обраний у розділі 7, і він досі вирішує, що поміститься на карті.

Який член домінує, залежить від форми запуску, тому Micikevicius et al. кажуть, що пам’ять «is dominated by activations»³, тоді як ZeRO каже, що моделі з 1,5 мільярда параметрів потрібно «at least 24 GB» лише model states.⁴ ZeRO приходить до тих самих 16 байтів іншим шляхом — $2\Psi$ для fp16 weights, $2\Psi$ для fp16 gradients, $4\Psi$ кожен для fp32 master weights і двох моментів Adam — що для 70 мільярдів параметрів становить 1,12 терабайта, тобто чотирнадцять GPU по 80 GB ще до першої activation.

На frontier scale усе це не поміщається на одному пристрої, тож запуск розділяють одразу чотирма способами. Data parallelism кладе копію моделі на кожен GPU й усереднює gradients — це стандарт, і саме його покращує ZeRO, відмовляючись тримати надлишкові копії стану optimiser. Tensor parallelism розділяє окремі матриці між пристроями. Pipeline parallelism віддає кожному пристрою суцільну групу шарів. Context parallelism розділяє саму послідовність, що потрібно лише тоді, коли $T$ стає достатньо довгим, аби член attention домінував. Таблиця 4 Llama 3 перелічує всі чотири одночасно: tensor 8, context до 16, pipeline 16, data до 128, на 16 384 GPU H100.⁵ Це все, що цей курс скаже про це; інженерія distributed training — окремий семестр, і Stanford CS336 є цим семестром, лекції 5–8, із кодом.⁶ Після делегування лишається одне число — model FLOPs utilisation: частка пікової арифметики GPU, якої досягає реальний запуск. Саме воно перетворює охайне $6ND$ на wall-clock time, а отже — на гроші.

У січні 2020 року Kaplan et al. навчили сітку transformers і виявили, що test loss підкоряється power law для кожного з трьох ресурсів на понад шести порядках величини.¹ Їхній §1.2 дає три підігнані закони:

із супутніми $\alpha_D \approx 0.095$ для даних і $\alpha_C^{\min} \approx 0.050$ для оптимально розподіленого compute. Константи не універсальні, і стаття це каже: «the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.»

Показники крихітні: удесятеро більше параметрів купує множник $10^{0.076} \approx 1.19$ від залишкового loss. Це звучить як ніщо, і це найважливіший факт тут — віддача жахлива, і вона ніколи не припиняється. Power law із малим показником обіцяє, що наступний порядок величини допоможе — менше, ніж попередній, але завжди. Купівля compute перестає бути азартом і стає покупкою з опублікованим курсом обміну; саме цей аргумент і розблокував капітал.

Потім з’явився рецепт, і саме тут стаття помилилася так, що це коштувало індустрії дуже багато грошей. Таблиця 6 Kaplan дає $N_{\text{opt}} \propto C^{0.73}$ і $D_{\text{opt}} \propto C^{0.27}$: удесятеро більше compute означає модель у 5,4 раза більшу, нагодовану лише в 1,9 раза більшим текстом. Анотація говорить прямо — «optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.» Галузь саме так і зробила: GPT-3 — 175 мільярдів параметрів на 300 мільярдах token,⁷ Gopher — 280 мільярдів на 300 мільярдах, Megatron-Turing NLG — 530 мільярдів на 270 мільярдах.² Від половини token до двох token на параметр, повсюдно.

У березні 2022 року Hoffmann et al. навчили понад 400 моделей від 70 мільйонів до 16 мільярдів параметрів і трьома незалежними шляхами дійшли протилежного висновку.² Їхня таблиця 2 повідомляє показник $a$ у $N_{\text{opt}} \propto C^{a}$ як 0.50, 0.49 і 0.46 проти 0.73 у Kaplan. Простими словами: розмір моделі й training data мають зростати в однаковій пропорції.

Їхній другий підхід — це те, що відтворює sweep на початку цього розділу, у мільйон разів меншому масштабі: зафіксувати бюджет, навчити багато розмірів точно на цьому бюджеті, побудувати final loss проти розміру моделі.

Held-out loss у nat на token, token на параметр у дужках, жирним — найкраща модель за кожного бюджету; риска — точка, яку не запускали, бо бюджет вимагав більше тексту, ніж містить корпус, або розмір був поза sweep там.

Читайте вниз по стовпцю: loss падає, досягає мінімуму й знову зростає. Модель може бути завеликою для свого бюджету так само легко, як і замалою — за $10^{14}$ штраф за вибір 665 280 параметрів замість 295 808 становить 0,08 nat, що на підігнаній вище огинаючій є loss, якого правильно розмірена модель досягає з на 18 % меншим compute. Вибір неправильної форми викидає п’яту частину бюджету. Це Figure 3 Chinchilla за післяобідній час на одному GPU, а не з чотирма сотнями моделей.

Тепер читайте впоперек. За $10^{13}$ найкраща модель — найменша зі sweep; за $10^{14}$ це 295 808 параметрів, обрамлені з обох боків. Оптимум рухається праворуч із ростом бюджету, і в цьому весь зміст виправлення. Підігнайте третій підхід статті — поверхню $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ по кожному запуску — і мінімізуйте за умови $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46 — з ноутбука, проти 0.73 у Kaplan. Збіг до трьох цифр із fit на трьох бюджетах — удача; збіг до першої — ні. Показник переноситься — константа ні, бо співвідношення token до параметрів у цих оптимумах становить 170–540, а не 20. Три причини, усі повчальні. $E$ fit-иться до нуля, бо за loss понад 4 nat запуск ніде не близько до entropy floor, що домінує fit Chinchilla. Batch size і learning rate були фіксовані, а не налаштовані для кожної точки, що шкодить тим запускам, які отримують найменше кроків, — а це великі моделі: за $10^{13}$ FLOPs модель із 1,28 мільйона параметрів отримує всього 159 кроків optimiser, значно менше за кілька тисяч, які член $S_{\min}$ у Kaplan вважає потрібними будь-якій моделі. Scaling law підганяється всередині режиму, і цей режим на шість порядків величини нижче за Chinchilla.

Звідси анотація статті: «current large language models are significantly undertrained». Chinchilla — це демонстрація: 70 мільярдів параметрів на 1,4 трильйона token, той самий total compute, що й у Gopher з 280 мільярдами на 300 мільярдах, і кращий результат у 51 із 57 задач MMLU: 67,5 % проти 60 %.² У чотири рази менша, у чотири з половиною рази більше тексту, ті самі гроші, краща модель.

Два застереження щодо цього знаменитого співвідношення. «Двадцять token на параметр» — це не речення зі статті, яка каже лише, що «for every doubling of model size the number of training tokens should also be doubled»; 20 — це висновок із Table 3 і з власних 70 B на 1,4 T у Chinchilla. І точність цього гірша, ніж публікують: Besiroglu et al. перепідігнали за digitisation Figure 4, знайшли, що початкові параметри «fit the reconstructed data poorly» з інтервалами «implausibly tight given the number of data points», і поставили чесний діапазон «between 4 and 40» token на параметр.⁸

Одна деталь методу Chinchilla закриває обіцянку, яку розділ 1 дав щодо learning-rate schedules. Cosine schedule має відповідати token budget. Модель, яка побачить 10 мільйонів token, має decay свій learning rate до нуля на 10 мільйонах token; дайте їй schedule на 100 мільйонів, зупиніть рано — і ви читаєте loss посеред descent зі значно завеликим rate. Chinchilla тренує кожну модель із чотирма cycle lengths саме для контролю цього; sweep вище задає schedule з бюджету з тієї самої причини.

Це найкорисніший емпіричний результат у галузі, і його регулярно перепродають. Чотири межі.

Вони передбачають loss, а не capability. Ліва частина — cross-entropy на held-out тексті. Ніщо в цих статтях не дає права стверджувати, чи писатиме модель правильний SQL, відмовлятиме на шкідливий запит або використовуватиме tool. Це знову урок розділу 5: передбачення loss не є передбаченням поведінки, за яку ви платите.

Їх підганяють, а не виводять. Жодна теорія не породжує $\alpha_N = 0.076$. Константи рухаються разом із tokenizer — тому порівняння perplexity між двома tokenizers беззмістовне, як пояснив розділ 8, — і разом із сумішшю даних, архітектурою та optimiser. Кожен опублікований закон — це закон сетапу, який його породив, тому Meta перепідігнала свій перед Llama 3.⁵

Вони припускають свіжий token на кожному кроці, що тихо припускає нескінченний корпус. Muennighoff et al. виміряли, що стається, коли він закінчується: до чотирьох epochs повторених даних майже нічого не коштують — модель із 8,7 мільярда параметрів на 44 мільярдах унікальних token, побачених чотири рази, завершила з «only 0.5 % higher validation loss», ніж та сама модель на 178 мільярдах унікальних, — тоді як після приблизно шістнадцяти epochs додатковий compute нічого не купує.⁹

І ніхто більше не тренує compute-optimal. Chinchilla мінімізує вартість training; deployed model потім платить приблизно $2N$ FLOPs за згенерований token — назавжди. LLaMA 1 сказала це прямо: «given a target level of performance, the preferred model is not the fastest to train but the fastest at inference».¹⁰ Sardana et al. формалізували це, мінімізуючи натомість $6ND_{\text{train}} + 2ND_{\text{inference}}$, і виявили, що будь-хто, хто очікує мільярд запитів, має тренувати «smaller and longer than Chinchilla-optimal».¹¹ §9.1 Llama 3 погоджується: її малі моделі тренуються «far beyond the point of compute optimal training, effectively trading training compute for inference efficiency».⁵ Співвідношення не застаріло; воно відповідає на питання, яке вже не є тим, що ставлять.

Loss падає плавно. Benchmark scores іноді ні. Wei et al. зібрали випадки, де задача лишається на рівні випадкового вгадування крізь порядки величини training compute, а потім стрибає — тризначна арифметика з’являється в GPT-3 приблизно на $2 \times 10^{22}$ FLOPs, MMLU піднімається вище вгадування між $3$ і $5 \times 10^{23}$ — і дали патерну назву: «an ability is emergent if it is not present in smaller models but is present in larger models».¹² Якщо це справжня властивість, екстраполювати з дешевих експериментів небезпечно, бо capability, яку ви купуєте, може не існувати на жодному масштабі, який ви здатні протестувати.

Schaeffer, Miranda and Koyejo стверджували, що більшість цього — артефакт вимірювання, а механізм є арифметичним.¹³ Per-token loss падає плавно, тож імовірність того, що один token правильний, $\exp(-\mathcal{L})$, поліпшується поступово. Оцініть модель через exact string match на відповіді з $L$ token, і ви підносите цю ймовірність до степеня $L$ — плавна крива у великому степені схожа на урвище. Замініть metric на таку, що рахує token, а не вимагає всі одразу, на тих самих outputs, і «the family's performance smoothly, continuously and predictably improves with increasing scale».

Їхній audit — число, яке варто запам’ятати: «of the 39 preferred metrics in BIG-Bench, at most 5 display emergence», причому дві discontinuous metrics відповідають за понад 92 % заявлених випадків. І так само варте пам’яті їхнє застереження: «nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities». Стрибок на графіку є свідченням про metric, доки не доведено інше. Розділ 29 — місце, де це стане вашою проблемою, бо вибір hard-cutoff metric — це рішення, яке ви ухвалите, не помітивши.

Корпус — це частина pretraining-запуску без рівняння, і саме там живе більшість наслідкових рішень. Сировина — web crawl: архів Common Crawl за серпень 2026 року містить «2.14 billion web pages or 360 TiB of uncompressed content», один місяць, безкоштовний для завантаження.¹⁴ Майже нічого з цього не придатне як є. Стаття T5 каже, що crawl «largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text», а запроваджений нею pipeline C4 — це список грубих евристик: залишати лише рядки, що закінчуються terminal punctuation, відкидати сторінки з менш ніж трьома реченнями, відкидати будь-яку сторінку з фігурною дужкою або словом із публічного списку непристойностей — перетворюючи двадцять терабайтів місячного тексту приблизно на 750 GB.¹⁵

Грубі — правильне слово. Dodge et al. проаудитували, що ці фільтри видаляють, і виявили, що blocklist непристойностей видаляє 42 % документів African-American English і 32 % Hispanic-aligned English проти 6,2 % White-aligned English, лишаючи корпус на 97,8 % із останньої категорії.¹⁶ Правило без думки про діалект усе одно її мало.

Потім deduplication, і це не прибирання: Lee et al. знайшли речення з 61 слова, повторене в C4 61 036 разів, і показали, що deduplicating зменшує частоту, з якою моделі «emit memorized text», удесятеро — з 1,9 % generated tokens до 0,19 %.¹⁷ Але більше не означає краще: команда FineWeb провела deduplication глобально по 96 crawls, отримала 4 трильйони token і жодного вимірного виграшу, потім провела deduplication окремо для кожного crawl, отримала 20 трильйонів і зрівнялася з найкращим наявним корпусом.¹⁸

Потім contamination. Llama 3 виміряла власну й опублікувала її: 98 % AGIEval, 95 % BIG-Bench Hard і 85 % HellaSwag перекривалися з training set за 8-grams, а для MMLU overlap був настільки високим, що «it is impossible to get a good performance gain estimate».⁵ §4 GPT-3 повідомляє про bug фільтрації, через який benchmarks лишилися в даних без дороги назад: «because of cost considerations it was infeasible to retrain the model».⁷

Provenance — невирішена частина. The Pile постачав компонент на 100,96 GiB під назвою Books3 — 12 % корпусу і, за власною consent table статті, книжки з приватного torrent tracker;¹⁹ його прибрали з онлайн-доступу в серпні 2023 року після скарги щодо copyright. Правова позиція станом на вересень 2026 року не усталена, а три рішення судів США, які цитують як тренд, суперечать одне одному. Alsup визнав training на законно отриманих книжках «exceedingly transformative», водночас постановивши, що бібліотека, зібрана з піратських копій, такою не була, а Anthropic врегулювала цю половину за $1.5 billion щодо 482 460 творів, приблизно $3 000 за кожен, схвалено 20 липня 2026 року.²⁰ Chhabria надав Meta summary judgment, одночасно написавши, що його рішення «does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful», а лише що «these plaintiffs made the wrong arguments».²¹ Bibas, ухвалюючи рішення проти Ross Intelligence, зазначив, що «only non-generative AI is before me today».²² Жоден апеляційний суд США не ухвалив рішення щодо цього питання.

Люди роблять ті частини, яких loss не може. TIME повідомив у січні 2023 року, що працівники, які маркували toxic text для OpenAI через фірму Sama, отримували «between around $1.32 and $2 per hour», читаючи уривки з описами сексуального насильства над дітьми, тортур і самоушкодження, тоді як OpenAI платила Sama $12.50 на годину за цю роботу; Sama заперечує і діапазон оплати, і норму.²³ Це фільтрація навколо pretraining, а не сам pretraining — але вона в тому самому рахунку, і саме там сидить людина.

Електрика реальна, і її зазвичай цитують неправильно. Найобережніша опублікована цифра — у BLOOM: 1 082 990 GPU-годин, 433 MWh і 24,7 тонни CO₂-equivalent за запуск, 50,5 з урахуванням виробництва й idle nodes;²⁴ Patterson et al. оцінюють GPT-3 у 1 287 MWh і 552 тонни.²⁵ Два застереження. Перевага BLOOM — французька атомна мережа з 57 g CO₂ на kWh, а не ефективність: вона використала більше енергії, ніж OPT-175B. І найцитованіша в галузі цифра emissions, 626 155 lb у Strubell et al. для neural architecture search, пізніше виявилася завищеною у 88 разів, бо припустили, що search запускався в повному розмірі моделі, хоча він ішов на proxy.²⁶ Формулювання LBNL — те, яке можна захищати: data centres США використали 192 TWh у 2024 році, 4,7 % національної електроенергії — число, прив’язане до індустрії, а не до одного запуску.²⁷

Наскрізна нитка — те, що Bender et al. назвали documentation debt: «putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc».²⁸ Кожен факт вище існує, бо хтось подивився. Для корпусів за моделями, якими користується більшість людей, ніхто не може.

Тепер арифметика, яку всі хочуть, із чотирьох цитованих inputs, щоб коли вони застаріють, було очевидно, що саме замінити.

Читайте два останні стовпці разом. За $10 000 ви отримуєте модель із 5 мільярдами параметрів на одному орендованому вузлі за два тижні. За $100 000 000 арифметика каже 546 мільярдів параметрів — і дванадцять тисяч H100, з’єднаних між собою на три місяці, що не є чимось, що орендують кредитною карткою. Після приблизно $100 000 обмеженням перестають бути гроші й стає кластер.

Перш ніж довіряти такій таблиці, перевірте її на запусках, реальна вартість яких опублікована — llm.c відтворює GPT-2 124M за «~90 minutes» на вузлі 8×A100 «for about $20», а GPT-2 1.6B за 24 години на вузлі 8×H100 за $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Обидві оцінки в межах приблизно 15 %, що приблизно відповідає точності, на яку заслуговує така оцінка, і значно краще за точність, із якою її зазвичай цитують.

Найчастіше повторювана цифра в цій темі: модель класу GPT-2, що коштувала приблизно $43 000 у 2019 році, сьогодні можна відтворити за кілька десятків доларів. Сучасна половина добре задокументована; історична — ні.

Сьогодні. README Karpathy nanochat: «you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.»³² «GPT-2 capability» тут точна й опублікована — перевершення CORE score GPT-2 0.256525 — на leaderboard, найкращий запис якого станом на 14 березня 2026 року становить 1,65 години. $48 припускає $3 за GPU-годину, нижче за list $3.99 у Lambda; за list це ближче до $64.

У 2019. Первинного джерела немає: OpenAI ніколи не публікувала ні тривалість, ні вартість. Ланцюжок такий: The Register, лютий 2019, повідомляє «256 Google TPU3 cores» без ціни й тривалості; потім Synced, червень 2019, зазначає, що hardware коштував $256 на годину в Google Cloud, і прямо каже, що «OpenAI didn't specify the training duration». $43 008 — це $256 на годину, помножені на припущені 168 годин, джерела для яких ніхто ніколи не навів.

Тож чесний headline: модель, що відповідає опублікованому benchmark score GPT-2, сьогодні можна навчити значно дешевше ніж за $100 на орендованому hardware, проти вартості 2019 року, яку ніколи не публікували і знаменита оцінка якої спирається на непідтверджене припущення про тривалість. Обвал реальний, і сучасну половину може відтворити будь-хто з кредитною карткою; співвідношення — це арифметика над числом, якого не існує. Такий стан опублікованих training costs загалом. Стаття GPT-3 не містить жодної суми в доларах, лише $3.14 \times 10^{23}$ FLOPs у таблиці D.1;⁷ стаття Llama 3 також не містить.⁵ Кожна training cost, яку ви читали, — це оцінка з FLOP count, hardware assumption і price assumption — завжди варто питати, чиїх саме.

Те, що виходить, бачило фіксований корпус, зібраний у фіксований момент, і з цього випливають дві властивості.

Перша — knowledge cutoff. Після дати збору модель не знає нічого — не «невпевнена», а нічого — і вона fluent-confabulate замість того, щоб це сказати, бо говорити так не було поведінкою, на якій її тренували. Model card Llama 3.1 вказує грудень 2023 року;³³ він є в кожної моделі, і це властивість training data, а не deployment. Обхід цього — retrieval problem, і це розділ 19.

Друга — base model доповнює, а не відповідає. Дайте їй «What is the capital of France?» — і правдоподібним продовженням буде інше питання, бо в корпусі цей рядок найчастіше з’являється у списку вправ.

Text completer — не assistant. Він не виконує інструкції, бо ніщо в корпусі не сказало йому, що request треба виконувати, а не продовжувати. Він не має поняття розмови з двома учасниками. Він охоче згенерує найімовірніше продовження шкідливого prompt, бо «імовірне» — єдине, під що його колись optimised.

Перетворення його на щось, що відповідає, потребує другого етапу, який коштує частку відсотка від першого й майже повністю складається з показу прикладів бажаної поведінки та порівняння пар його власних outputs. Саме з цього етапу походять instruction following, chat templates, refusals і — це дивує людей — здатність викликати tool. Розділ 11 — це цей етап: supervised fine-tuning, RLHF, DPO і GRPO, а також питання, що означає «aligned» і хто вирішує.

Також варто читати поруч із цим розділом: build-nanogpt Karpathy і супровідне відео, які проходять повне відтворення GPT-2 від початку до кінця в темпі, якого цей розділ не може собі дозволити; і Stanford CS324, Large Language Models, чиї лекції про data та environmental impact заходять глибше за розділ вище в матеріал, який цей курс розглядає один раз і делегує.