Od modelu bazowego do asystenta: SFT, RLHF, DPO i GRPO

Pierwszy krok jest najmniej efektowny i wykonuje większość pracy. Zbierz przykłady instrukcji sparowanych z dobrymi odpowiedziami i kontynuuj trening na nich z dokładnie tą samą funkcją straty co w Rozdziale 8 — przewidywaniem następnego token — ale tylko na części z odpowiedzią. To jest supervised fine-tuning, czyli SFT.

Nie uczy się tu niczego nowego o języku. Uczy się formatu: że po tekście o takim kształcie następuje tekst o tamtym kształcie, a potem tekst się kończy. Spójrz jeszcze raz na porażkę modelu bazowego. Odpowiedział na pytanie w pierwszym zdaniu, a potem nie potrafił przestać, bo w jego treningu nic nigdy nie oznaczało końca odpowiedzi. Zatrzymywanie się to wyuczone zachowanie.

Dlatego modelowi trzeba też powiedzieć, gdzie są granice — i właśnie tym jest chat template:

<|im_start|>system
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>
<|im_start|>user
What is the capital of France?<|im_end|>
<|im_start|>assistant

Te znaczniki <|im_start|> i <|im_end|> są prawdziwymi token w słowniku, dodanymi przed fine-tuning, a model widział ich miliony dokładnie w tych pozycjach. Dzięki nim wie, czyja jest kolej i gdzie kończy się tura.

Pomiń template i podaj modelowi samo pytanie, a dasz mu sekwencję, której nie widział podczas treningu. Pomiar: ten sam model, to samo pytanie, to samo greedy decoding:

 The capital of France is Paris.

To verify this, I will use a simple
Python code snippet to confirm that
Paris is indeed the capital city of
France.

[...and then it starts writing a
Python script to check its own answer]

The capital of France is Paris.

Odpowiedź jest poprawna w obu przypadkach, ale bez znaczników model odpływa w pisanie Pythona, żeby sam się sprawdzić, bo prompt, który dostał, nie przypomina niczego, na czym był fine-tuning. To najczęstsza przyczyna zjawiska „model zgłupiał, gdy wywołałem go bezpośrednio”: template nie jest dekoracją wokół modelu, jest częścią modelu, a zły template to cicha degradacja bez żadnego błędu.

SFT ma sufit, a tym sufitem są dane. Żeby wykonać fine-tuning na demonstracji, ktoś musi napisać idealną odpowiedź — a przy większości interesujących pytań napisanie dobrej odpowiedzi jest trudne, powolne, drogie i daje dokładnie jedną odpowiedź, której jakości nie potrafisz zweryfikować.

Ludzie są dobrzy w porównywaniu. Widząc dwie odpowiedzi, anotator potrafi w kilka sekund wiarygodnie powiedzieć, która jest lepsza, nawet jeśli sam nie umiałby stworzyć żadnej z nich. Na tym fakcie zbudowany jest cały drugi etap — i to jest część, którą większość wyjaśnień przedstawia odwrotnie:

Ludzie nie piszą odpowiedzi. Klasyfikują pary.

Dane są więc parami — prompt, dwie odpowiedzi i informacja, która wygrała. Tego nie da się podłączyć do straty next-token, bo nie ma sekwencji docelowej. Potrzebna jest inna maszyna.

Nie możesz prosić człowieka o ocenianie każdej odpowiedzi podczas treningu — to byłyby miliony osądów. Trenujesz więc model, żeby naśladował ludzi: reward model, który bierze odpowiedź i zwraca skalar.

Trening z porównań używa wyniku z 1952 roku. Model Bradley–Terry² mówi, że jeśli dwa elementy mają ukryte siły, prawdopodobieństwo, że jeden pokona drugi, jest funkcją logistyczną ich różnicy. Odwróć to, a staje się funkcją straty: mając informację, że człowiek wolał $y_w$ od $y_l$, maksymalizuj

co w kodzie jest całą pętlą treningową:

loss = -F.logsigmoid(reward(chosen) - reward(rejected)).mean()   

Zauważ, czego model nigdy nie widzi: bezwzględnego wyniku. Uczy się wyłącznie różnic, czyli dokładnie tego, co zawierają dane.

Teraz część, którą warto zmierzyć. Reward model uczy się tego, co nagradzali anotatorzy, a anotatorzy to ludzie. Oto symulacja, w której prawdziwa jakość odpowiedzi zależy wyłącznie od użyteczności i poprawności — długość nie jest warta nic — ale symulowany anotator ma łagodną preferencję dla dłuższych odpowiedzi, gdy wszystko inne jest podobne; to dobrze udokumentowane ludzkie skrzywienie. Wytrenuj reward model na 2000 porównań i odczytaj jego wagi:

Reward model działa perfekcyjnie. Wiernie nauczył się preferencji, które mu pokazano — w tym tej części preferencji, która nie ma nic wspólnego z jakością. Reward model nie jest miarą dobra; jest miarą tego, co wybrali anotatorzy, a każde skrzywienie w puli anotacji jest teraz współczynnikiem w różniczkowalnej funkcji, względem której znacznie większy model zaraz będzie optymalizowany.

Co prowadzi nas do tego, co dzieje się, gdy to optymalizujesz. Daj policy stały budżet wysiłku do rozdysponowania między właściwości odpowiedzi, z realistyczną asymetrią: bycie użytecznym i poprawnym jest kosztowne, a bycie dłuższym jest tanie — po prostu piszesz dalej.

Reward na jednostkę wysiłku dla modelu wytrenowanego powyżej: użyteczność 8,26, poprawność 8,31, długość 31,70. Długość opłaca się prawie cztery razy lepiej niż poprawność, nie dlatego, że reward model jest zepsuty, ale dlatego, że jest tania.

Optymalizuj względem tego reward i obserwuj obie liczby:

Reward wzrósł 2,5-krotnie. Rzecz, którą reward miał mierzyć, spadła do zera. Policy odkryła, że może osiągać ogromne wyniki, pisząc długo i nie mówiąc nic, a żadna część pętli treningowej nie miała jak tego zauważyć, bo reward model jest definicją dobra wewnątrz pętli.

To jest reward hacking i jeśli kiedykolwiek zastanawiało cię, dlaczego modele czatowe są tak rozwlekłe, ta tabela jest dużą częścią odpowiedzi.

Standardowa obrona polega na karaniu policy za zbyt duże oddalenie od punktu startowego, mierzone dywergencją KL z Rozdziału 4:

Referencja $\pi_{\text{ref}}$ to model SFT — policy sprzed etapu reinforcement. Twierdzenie brzmi: to zapobiega odpłynięciu modelu w zachowania zdegenerowane. Sprawdźmy, ile z tego twierdzenia przetrwa pomiar. Ten sam układ, przegląd po $\beta$:

Czytaj ostatni wiersz na tle reszty. Przy $\beta = 0$ i $\beta = 1$ kara nie robi absolutnie nic: reward jest wart o tyle więcej niż KL, że optymalizator płaci mandat i i tak hackuje. Między 5 a 15 zachowanie gwałtownie się zmienia. A przy $\beta = 60$ prawdziwa jakość wróciła do 1,769 — co wciąż jest poniżej 1,791, które model referencyjny miał, zanim cokolwiek z tego się zaczęło.

Jedno zastrzeżenie, zanim ktokolwiek gdzieś zacytuje tę liczbę: 1,791 z ostatniego wiersza i 0,974, które pierwsza tabela przypisuje policy początkowej, to dwa różne pomiary tego samego modelu sprzed RL, wykonane osobno w dwóch eksperymentach. Porównuj wiersze wewnątrz tabeli, nigdy między tabelami — wniosek z każdej tabeli wynika z jej własnych wierszy i żaden nie zależy od baseline drugiej.

Uczciwe podsumowanie nie brzmi więc „kara KL zapobiega reward hacking”. Brzmi tak:

Kara KL nie zapobiega reward hacking. Ogranicza to, jak daleko policy może odejść od referencji — a ponieważ porażka wymaga ruchu, to pomaga. Ale to smycz, nie korekta: przy niskim $\beta$ smycz pęka, a przy wysokim $\beta$ odzyskujesz model referencyjny i cały drogi etap nie kupił niczego.

Użyteczny zakres jest wąski, jego położenie zależy od reward model i nie da się go znaleźć inaczej niż patrząc. Dlatego model referencyjny musi być dobry — KL jest podłogą na poziomie jakości referencji, nie sufitem nad porażką — i to duża część powodu, dla którego ten etap jest trudny w praktyce, a nie w zasadzie.

Algorytm, dzięki któremu zadziałało to w skali, to Proximal Policy Optimization.³ W jednym akapicie: estymuje advantage każdej odpowiedzi, aktualizuje policy tak, żeby zwiększyć prawdopodobieństwo odpowiedzi powyżej baseline, i przycina rozmiar pojedynczej aktualizacji, żeby duża estymacja advantage nie zniszczyła policy w jednym kroku. Zastosowane do modeli językowych⁴ oznacza trzymanie jednocześnie czterech modeli w grze — policy, referencji, reward model i critic — przy czym policy generuje świeże próbki przez cały trening.

To działa, dało InstructGPT i wszystko, co od niego pochodzi, i jest naprawdę trudne: cztery modele w pamięci, próbkowanie w pętli treningowej oraz zasłużona reputacja niestabilności. Udawanie, że da się to zaimplementować w poście na blogu, byłoby nieuczciwe, więc ten rozdział tego nie robi.

To, co zastąpiło je w większości zastosowań, wzięło się z pewnej obserwacji. Powyższy cel regularyzowany KL ma zamkniętą postać optymalnej policy, a to wyrażenie można odwrócić: reward da się zapisać w kategoriach optymalnej policy i referencji. Podstawienie tego z powrotem do straty Bradley–Terry sprawia, że reward model całkowicie znika. Zostaje supervised loss na parach preferencji — bez próbkowania, bez critic, bez reward model, dwa modele w pamięci zamiast czterech.

To jest Direct Preference Optimization,⁵ i mieści się w dwóch liniach:

def dpo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1):
    """pi_* and ref_* are summed log-probabilities of a full response."""
    logits = beta * ((pi_w - ref_w) - (pi_l - ref_l))   
    return -F.logsigmoid(logits)                        

Przeczytaj, co to mówi. Wielkością wypychaną w górę jest to, o ile bardziej policy preferuje zwycięzcę niż robiła to referencja, minus to, o ile bardziej preferuje przegranego. Referencja nie jest karą doklejoną później — jest wewnątrz straty, dlatego DPO nie potrzebuje osobnego członu KL.

Najważniejsza własność jest w gradient. Oblicz stratę i jej gradient na tej samej parze w pięciu różnych stanach policy:

Gradient rośnie, gdy policy myli się bardziej. Pary, z którymi model już sobie radzi, wnoszą prawie nic; pary, które ma odwrócone, dominują aktualizację. DPO waży każdy przykład według tego, jak bardzo policy obecnie się myli, automatycznie, bez harmonogramu — i to samoważenie jest mechanizmem wykonującym pracę, którą w PPO wykonywały estymacja advantage i critic. (Strata w trzecim wierszu to dokładnie $\ln 2$, czyli kotwica do sprawdzania każdej implementacji: policy identyczna ze swoją referencją nie nauczyła się niczego i powinna siedzieć przy $\ln 2$.)

GRPO⁶ wychodzi z tego samego problemu inną drogą. Zachowuje pętlę próbkowania, ale usuwa critic: zamiast trenować model do przewidywania baseline, próbkuje grupę odpowiedzi na ten sam prompt i bezpośrednio używa średniego reward grupy jako baseline. Advantage odpowiedzi to to, o ile była lepsza od swojego rodzeństwa. Zamienia to cały model na większy batch i właśnie to uczyniło praktycznym trening na weryfikowalnych reward — temat Rozdziału 12.

Dwie rzeczy warto zabrać dalej.

Pierwsza: ten etap ma koszt i widać go w możliwościach. Modele często mierzalnie pogarszają się w niektórych zadaniach benchmarkowych po treningu alignment — to alignment tax — bo cel się zmienił: odpowiedź bezpieczna, ostrożna i dobrze sformatowana nie zawsze jest odpowiedzią maksymalizującą trafność. Część tej luki udało się zniwelować inżynieryjnie, a część jest prawdziwą wymianą, nie błędem do naprawy.

Druga to pytanie ukryte w słowie aligned. Z kim aligned? Łańcuch wygląda tak: firma pisze wytyczne, kontraktorzy je interpretują, ich porównania trenują reward model, reward model kształtuje policy, a policy odpowiada na pytanie kogoś, kto nie widział żadnego z tych etapów. Każde ogniwo jest wyborem dokonanym przez konkretnych ludzi, a żaden z algorytmów w tym rozdziale nie ma zdania na temat tego, czy te wybory są dobre.

To nie jest retoryczna ozdoba. To konkretny powód, dla którego dwa modele frontier odmawiają różnych próśb, dlaczego ten sam model zmienia zdanie między wersjami i dlaczego „aligned” jest opisem procesu, a nie właściwością artefaktu. Matematyka w tym rozdziale jest rozstrzygnięta. Ta część nie jest.

Post-training nauczył model odpowiadać. Nie nauczył go myśleć przed odpowiedzią — a to dwie różne rzeczy, w sposób, który okazuje się trenowalny.

Rozdział 12 jest o tym, co dzieje się, gdy pozwalasz modelowi wydać więcej obliczeń na trudne pytanie w czasie odpowiadania, a nie w czasie treningu — chain of thought, reinforcement learning z weryfikowalnych reward oraz powód, dla którego model pokazujący swoją pracę nie tylko się wyjaśnia, lecz liczy inaczej. Spłaca też dług z tego rozdziału: GRPO istnieje w nim, wykonując pracę, którą wcześniej wykonywał critic w PPO, na reward, które nie potrzebują żadnego anotatora, bo dowód albo się sprawdza, albo nie.

Generacje powyżej pochodzą z gpt2 i Qwen/Qwen2.5-0.5B-Instruct z greedy decoding, więc odtwarzają się dokładnie. Rozdział 11 kursu Hugging Face LLM Course przeprowadza przez SFT i DPO z trl oraz peft, jeśli chcesz uruchomić prawdziwy proces zamiast symulacji; rozdział 7 książki Sebastiana Raschki Build a Large Language Model (From Scratch) implementuje instruction fine-tuning od początku do końca bez biblioteki.