Від базової моделі до асистента: SFT, RLHF, DPO і GRPO

Перший крок найменш гламурний і робить більшу частину роботи. Зберіть приклади інструкцій у парі з хорошими відповідями й продовжте навчання на них із тією самою втратою, що й у розділі 8, — передбачати наступний token, — але лише на частині відповіді. Це supervised fine-tuning, або SFT.

Модель не вчать нічого нового про мову. Її вчать формату: що текст такої форми продовжується текстом такої форми, а потім зупиняється. Ще раз подивіться на провал базової моделі. Вона відповіла на запитання в першому реченні, а потім не змогла зупинитися, бо ніщо в її навчанні ніколи не позначало кінець відповіді. Зупинка — це вивчена поведінка.

Саме тому моделі також потрібно сказати, де межі, — для цього й існує chat template:

<|im_start|>system
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>
<|im_start|>user
What is the capital of France?<|im_end|>
<|im_start|>assistant

Ці маркери <|im_start|> і <|im_end|> — справжні tokens у словнику, додані перед fine-tuning, і модель бачила мільйони таких маркерів саме в цих позиціях. Так вона знає, чия зараз черга і де репліка закінчується.

Пропустіть template і дайте моделі голе запитання — і ви подаєте їй послідовність, якої вона не бачила під час навчання. Виміряно: та сама модель, те саме запитання, те саме greedy decoding:

 The capital of France is Paris.

To verify this, I will use a simple
Python code snippet to confirm that
Paris is indeed the capital city of
France.

[...and then it starts writing a
Python script to check its own answer]

The capital of France is Paris.

В обох випадках відповідь правильна, але без маркерів модель з’їжджає в написання Python, щоб перевірити себе, бо отриманий prompt не схожий ні на що з того, на чому її fine-tuned. Це найпоширеніша причина фрази «модель стала дурнішою, коли я викликав її напряму»: template — не декор навколо моделі, це частина моделі, а неправильний template — це тиха деградація без жодної помилки.

У SFT є стеля, і ця стеля — дані. Щоб виконати fine-tune на демонстрації, потрібно, щоб хтось написав ідеальну відповідь, а для більшості цікавих запитань написати хорошу відповідь складно, повільно, дорого — і в результаті виходить рівно одна відповідь, якість якої ви не можете перевірити.

Люди добре вміють порівнювати. Побачивши дві відповіді, анотатор за кілька секунд може надійно сказати, яка краща, навіть якщо сам не зміг би створити жодну з них. На цьому факті побудований увесь другий етап, і саме цю частину більшість пояснень перевертає навпаки:

Люди не пишуть відповіді. Вони ранжують пари.

Тож дані — це пари: prompt, дві відповіді й те, яка перемогла. Це не можна підставити у втрату next-token, бо немає цільової послідовності. Потрібна інша машина.

Ви не можете просити людину оцінювати кожну відповідь під час навчання — це мільйони суджень. Тому ви навчаєте модель імітувати людей: reward model, яка бере відповідь і повертає скаляр.

Навчання з порівнянь використовує результат 1952 року. Модель Bradley–Terry² каже: якщо два об’єкти мають приховані сили, ймовірність того, що один переможе інший, є логістичною функцією їхньої різниці. Переверніть це — і отримаєте loss: якщо людина віддала перевагу $y_w$ над $y_l$, максимізуйте

що в коді є всім циклом навчання:

loss = -F.logsigmoid(reward(chosen) - reward(rejected)).mean()   

Зверніть увагу, чого модель ніколи не бачить: абсолютної оцінки. Вона завжди вивчає лише різниці, а це саме те, що містять дані.

Тепер частина, яку варто виміряти. Reward model вивчає те, що винагороджували анотатори, а анотатори — люди. Ось симуляція, у якій справжня якість відповіді залежить лише від корисності й правильності — довжина нічого не варта, — але симульований анотатор має легку перевагу до довших відповідей, коли все інше близьке; це добре задокументоване людське упередження. Навчіть reward model на 2000 порівнянь і прочитайте її ваги:

Reward model працює ідеально. Вона точно вивчила вподобання, які їй показали, — включно з тією частиною цих вподобань, що не має нічого спільного з якістю. Reward model — це не міра добра; це міра того, що обрали анотатори, і кожне упередження в пулі анотацій тепер стало коефіцієнтом у диференційовній функції, яку значно більша модель ось-ось почне оптимізувати.

І це підводить нас до того, що стається, коли ви це оптимізуєте. Дайте policy фіксований бюджет зусиль, який вона може витратити на властивості відповіді, з реалістичною асиметрією: бути корисною й бути правильною — дорого, а бути довшою — дешево; ви просто продовжуєте писати.

Reward на одиницю зусилля для моделі, навченої вище: корисність 8.26, правильність 8.31, довжина 31.70. Довжина окупається майже вчетверо краще за правильність не тому, що reward model зламана, а тому, що довжина дешева.

Оптимізуйте під цей reward і подивіться на обидва числа:

Reward зріс у 2,5 раза. Те, що reward мав вимірювати, впало до нуля. Policy виявила, що може отримувати величезний score, пишучи багато й не кажучи нічого, і жодна частина навчального циклу не могла це помітити, бо reward model є визначенням добра всередині циклу.

Це reward hacking, і якщо ви колись дивувалися, чому chat-моделі такі багатослівні, ця таблиця — значна частина відповіді.

Стандартний захист — штрафувати policy за те, що вона надто далеко відходить від початкового стану, вимірюючи відстань KL-дивергенцією з розділу 4:

Референс $\pi_{\text{ref}}$ — це SFT-модель, тобто policy до reinforcement-етапу. Твердження таке: це не дає моделі з’їхати в деградовану поведінку. З’ясуймо, яка частина цього твердження витримує вимірювання. Той самий setup, перебір $\beta$:

Читайте останній рядок на тлі решти. За $\beta = 0$ і $\beta = 1$ штраф узагалі нічого не робить: reward настільки цінніший за KL, що оптимізатор сплачує штраф і все одно зламує метрику. Між 5 і 15 поведінка різко змінюється. А за $\beta = 60$ справжня якість піднімається назад до 1.769 — що все ще нижче за 1.791, які мала reference model до початку всього цього.

Одне застереження, перш ніж хтось десь процитує це число: 1.791 в останньому рядку й 0.974, які перша таблиця дає початковій policy, — це два різні вимірювання тієї самої pre-RL моделі, зроблені двома експериментами окремо. Порівнюйте рядки всередині таблиці, ніколи не між таблицями: висновок кожної таблиці тримається на її власних рядках, і жоден не залежить від baseline іншої.

Отже, чесне резюме — не «KL-штраф запобігає reward hacking». Воно таке:

KL-штраф не запобігає reward hacking. Він обмежує, наскільки далеко policy може відійти від reference, — а оскільки збій потребує руху, це допомагає. Але це повідець, а не виправлення: за низького $\beta$ повідець рветься, а за високого $\beta$ ви отримуєте reference model назад, і весь дорогий етап нічого не купив.

Корисна зона вузька, її положення залежить від reward model, і знайти її можна лише дивлячись. Саме тому reference model має бути хорошою: KL — це підлога на рівні якості reference, а не стеля для збою. І це велика частина причин, чому цей етап складний на практиці, а не в принципі.

Алгоритм, який дав цьому працювати в масштабі, — Proximal Policy Optimization.³ В одному абзаці: він оцінює advantage кожної відповіді, оновлює policy, щоб підвищити ймовірність відповідей вище baseline, і обрізає розмір кожного окремого оновлення, щоб велика оцінка advantage не зруйнувала policy за один крок. У застосуванні до мовних моделей⁴ це означає тримати в роботі одразу чотири моделі — policy, reference, reward model і critic — причому policy генерує свіжі samples протягом усього навчання.

Це працює, це породило InstructGPT і все, що від нього походить, і це справді складно: чотири моделі в пам’яті, sampling у навчальному циклі й заслужена репутація нестабільності. Удавати, що це можна реалізувати в blog post, було б нечесно, тому цей розділ цього не робить.

Те, що замінило його для більшості цілей, виникло з одного спостереження. KL-регуляризована ціль вище має policy з оптимумом у замкненій формі, і цей вираз можна обернути: reward можна записати через оптимальну policy та reference. Підставте це назад у втрату Bradley–Terry — і reward model повністю зникає. Залишається supervised loss на preference pairs: без sampling, без critic, без reward model, дві моделі в пам’яті замість чотирьох.

Це Direct Preference Optimization,⁵ і це два рядки:

def dpo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1):
    """pi_* and ref_* are summed log-probabilities of a full response."""
    logits = beta * ((pi_w - ref_w) - (pi_l - ref_l))   
    return -F.logsigmoid(logits)                        

Прочитайте, що тут сказано. Величина, яку підштовхують угору, — це наскільки більше policy віддає перевагу переможцю порівняно з reference, мінус наскільки більше вона віддає перевагу тому, хто програв. Reference — не штраф, прикручений потім; він усередині loss, саме тому DPO не потребує окремого KL-терміна.

Найважливіша властивість — у gradient. Оцініть loss і його gradient на тій самій парі в п’яти різних станах policy:

Gradient зростає, коли policy помиляється сильніше. Пари, з якими модель уже справляється, майже нічого не додають; пари, які вона розвертає навпаки, домінують в оновленні. DPO зважує кожен приклад за тим, наскільки policy наразі помиляється, автоматично, без scheduling — і це самозважування є механізмом, який виконує роботу, що в PPO виконували оцінка advantage і critic. (Loss у третьому рядку рівно $\ln 2$, і це якір для перевірки будь-якої реалізації: policy, ідентична своєму reference, нічого не вивчила й має сидіти на $\ln 2$.)

GRPO⁶ виходить із тієї самої проблеми іншим маршрутом. Він зберігає sampling loop, але видаляє critic: замість навчати модель передбачати baseline, він генерує групу відповідей на той самий prompt і прямо використовує середній reward групи як baseline. Advantage відповіді — це те, наскільки вона краща за своїх «сестер». Так цілу модель міняють на більший batch, і саме це зробило практичним навчання на verifiable rewards — тему розділу 12.

Дві речі варто взяти далі.

Перша: цей етап має вартість, і вона проявляється як спроможність. Моделі часто вимірювано гіршають на деяких benchmark tasks після alignment training — це alignment tax, — бо ціль змінилася: відповідь, яка безпечна, обережна й добре відформатована, не завжди є відповіддю, що максимізує точність. Частину цього розриву вже інженерно прибрали, а частина є справжнім компромісом, а не багом, який треба виправити.

Друге — питання, яке приховує слово aligned. Узгоджена з ким? Ланцюжок такий: компанія пише настанови, підрядники їх інтерпретують, їхні порівняння навчають reward model, reward model формує policy, а policy відповідає на запитання людини, яка всього цього не бачила. Кожна ланка — це вибір конкретних людей, і жоден алгоритм у цьому розділі не має думки про те, чи ці вибори добрі.

Це не риторична прикраса. Це конкретна причина, чому дві frontier-моделі відмовляються від різних запитів, чому та сама модель змінює думку між версіями і чому «aligned» — це опис процесу, а не властивість артефакту. Математика в цьому розділі усталена. Оця частина — ні.

Post-training навчив модель відповідати. Він не навчив її думати перед відповіддю, а ці дві речі відрізняються так, що це, як виявляється, можна тренувати.

Розділ 12 — про те, що стається, коли ви дозволяєте моделі витрачати більше обчислень на складне запитання під час відповіді, а не під час навчання: chain of thought, reinforcement learning from verifiable rewards і причина, чому модель, яка показує свою роботу, не просто пояснює себе, а обчислює інакше. Він також закриває борг із цього розділу: GRPO існує там, виконуючи роботу, яку раніше робив critic у PPO, на rewards, що взагалі не потребують анотатора, бо доказ або перевіряється, або ні.

Наведені вище generations отримані з gpt2 і Qwen/Qwen2.5-0.5B-Instruct із greedy decoding, тому відтворюються точно. Розділ 11 Hugging Face LLM Course проходить SFT і DPO з trl і peft, якщо ви хочете запустити справжню річ, а не симуляцію; розділ 7 книжки Sebastian Raschka Build a Large Language Model (From Scratch) реалізує instruction fine-tuning від початку до кінця без бібліотеки.