Perusmallista assistentiksi: SFT, RLHF, DPO ja GRPO

Ensimmäinen askel on vähiten hohdokas ja tekee suurimman osan työstä. Kerätään esimerkkejä ohjeista ja niihin liitetyistä hyvistä vastauksista ja jatketaan koulutusta niillä täsmälleen luvun 8 lossilla — ennusta seuraava token — mutta vain vastauksen osalta. Tämä on supervised fine-tuning, eli SFT.

Mallille ei opeteta mitään uutta kielestä. Sille opetetaan formaatti: että tämän muotoista tekstiä seuraa tuon muotoinen teksti, ja sitten se loppuu. Katso uudelleen perusmallin epäonnistumista. Se vastasi kysymykseen ensimmäisessä lauseessa eikä sitten osannut lopettaa, koska mikään sen koulutuksessa ei koskaan merkinnyt vastauksen loppua. Lopettaminen on opittua käytöstä.

Siksi mallille täytyy myös kertoa, missä rajat ovat. Sitä varten on chat template:

<|im_start|>system
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>
<|im_start|>user
What is the capital of France?<|im_end|>
<|im_start|>assistant

Nuo <|im_start|>- ja <|im_end|>-merkit ovat oikeita token-sanastossa, lisätty ennen fine-tuning-vaihetta, ja malli näki niitä miljoonia juuri näissä kohdissa. Niistä se tietää, kenen vuoro on ja missä vuoro päättyy.

Jätä template väliin ja anna mallille paljas kysymys, niin annat sille sekvenssin, jota se ei ole nähnyt koulutuksessa. Mitattuna sama malli, sama kysymys, sama greedy decoding:

 The capital of France is Paris.

To verify this, I will use a simple
Python code snippet to confirm that
Paris is indeed the capital city of
France.

[...and then it starts writing a
Python script to check its own answer]

The capital of France is Paris.

Vastaus on molemmissa oikein, mutta ilman merkkejä malli ajautuu kirjoittamaan Pythonia tarkistaakseen itseään, koska sen saama prompt ei muistuta mitään, millä sitä fine-tuning-vaiheessa koulutettiin. Tämä on yleisin syy väitteelle ”malli tyhmeni, kun kutsuin sitä suoraan”: template ei ole mallin ympärillä olevaa koristelua, se on osa mallia, ja väärä template on hiljainen heikennys ilman mitään virhettä.

SFT:llä on katto, ja se katto on data. Jotta voit tehdä fine-tuningin demonstraatiolla, jonkun täytyy kirjoittaa ihanteellinen vastaus — ja useimmissa kiinnostavissa kysymyksissä hyvän vastauksen kirjoittaminen on vaikeaa, hidasta ja kallista, ja tuottaa täsmälleen yhden vastauksen, jonka laatua et voi varmistaa.

Ihmiset ovat hyviä vertailussa. Kun annetaan kaksi vastausta, annotoija pystyy muutamassa sekunnissa luotettavasti sanomaan, kumpi on parempi, vaikkei pystyisi tuottamaan kumpaakaan. Tähän tosiasiaan koko toinen vaihe rakentuu, ja juuri tämän useimmat selitykset kääntävät väärinpäin:

Ihmiset eivät kirjoita vastauksia. He rankkaavat pareja.

Data on siis pareja — prompt, kaksi vastausta ja tieto siitä, kumpi voitti. Sitä ei voi syöttää next-token lossiin, koska kohdesekvenssiä ei ole. Se tarvitsee toisenlaisen koneen.

Et voi pyytää ihmistä pisteyttämään jokaista vastausta koulutuksen aikana — arvioita olisi miljoonia. Siksi koulutat mallin jäljittelemään ihmisiä: reward model, joka ottaa vastauksen ja palauttaa skalaarin.

Sen kouluttaminen vertailuista käyttää vuoden 1952 tulosta. Bradley–Terry-malli² sanoo, että jos kahdella kohteella on piilevät vahvuudet, todennäköisyys sille, että toinen voittaa toisen, on niiden erotuksen logistinen funktio. Käännä tämä toisin päin, ja siitä tulee loss: kun ihminen piti vastausta $y_w$ parempana kuin $y_l$, maksimoi

mikä koodissa on koko koulutuslooppi:

loss = -F.logsigmoid(reward(chosen) - reward(rejected)).mean()   

Huomaa, mitä malli ei koskaan näe: absoluuttista pistemäärää. Se oppii aina vain eroja, mikä on täsmälleen sitä, mitä data sisältää.

Nyt se osa, joka kannattaa mitata. Reward model oppii, mitä annotoijat palkitsivat, ja annotoijat ovat ihmisiä. Tässä on simulaatio, jossa vastauksen todellinen laatu riippuu vain hyödyllisyydestä ja oikeellisuudesta — pituus ei ole minkään arvoista — mutta simuloidulla annotoijalla on lievä mieltymys pidempiin vastauksiin, kun kaikki muu on lähellä. Tämä on hyvin dokumentoitu ihmisvinouma. Kouluta reward model 2000 vertailulla ja lue sen painot:

Reward model toimii täydellisesti. Se on uskollisesti oppinut sille näytetyt preferenssit — myös sen osan preferensseistä, jolla ei ole mitään tekemistä laadun kanssa. Reward model ei ole hyvyyden mittari; se mittaa sitä, mitä annotoijat valitsivat, ja jokainen annotointijoukon vinouma on nyt kerroin derivoituvassa funktiossa, jota paljon suurempi malli aikoo optimoida vastaan.

Tästä päästään siihen, mitä tapahtuu, kun optimoit sitä. Anna policylle kiinteä määrä vaivaa jaettavaksi vastauksen ominaisuuksien kesken, realistisella epäsymmetrialla: hyödyllisyys ja oikeellisuus ovat kalliita, ja pidempi oleminen on halpaa — jatkat vain kirjoittamista.

Reward vaivayksikköä kohti yllä koulutetulla mallilla: hyödyllinen 8,26, oikea 8,31, pituus 31,70. Pituus maksaa lähes neljä kertaa paremmin kuin oikeellisuus, ei siksi että reward model olisi rikki, vaan siksi että pituus on halpaa.

Optimoi tuota rewardia vastaan ja katso molempia lukuja:

Reward kasvoi 2,5-kertaiseksi. Asia, jota rewardin piti mitata, putosi nollaan. Policy huomasi, että se voi saada valtavan hyvän pistemäärän kirjoittamalla pitkästi ja sanomatta mitään, eikä mikään koulutusloopissa pystynyt huomaamaan sitä, koska reward model on loopin sisällä hyvän määritelmä.

Tämä on reward hacking, ja jos olet joskus miettinyt, miksi chat-mallit ovat niin jaarittelevia, tämä taulukko on suuri osa vastausta.

Vakiopuolustus on rangaista policya siitä, että se liikkuu liian kauas lähtöpisteestään, mittaamalla etäisyyttä luvun 4 KL-divergenssillä:

Referenssi $\pi_{\text{ref}}$ on SFT-malli — policy ennen reinforcement-vaihetta. Väite on, että tämä estää mallia harhautumasta degeneroituneeseen käytökseen. Katsotaan, kuinka paljon väitteestä säilyy mittauksessa. Sama asetelma, $\beta$ pyyhkäisten:

Lue viimeinen rivi suhteessa muihin. Kohdissa $\beta = 0$ ja $\beta = 1$ rangaistus ei tee yhtään mitään: reward on niin paljon KL:ää arvokkaampi, että optimoija maksaa sakon ja hakkeroi silti. Välillä 5–15 käytös heilahtaa. Ja kohdassa $\beta = 60$ todellinen laatu on noussut takaisin arvoon 1,769 — mikä on yhä alle sen 1,791:n, joka referenssimallilla oli ennen kuin mitään tästä aloitettiin.

Yksi varaus ennen kuin tuota lukua siteerataan missään: viimeisen rivin 1,791 ja ensimmäisen taulukon alkupolicylle antama 0,974 ovat kaksi eri mittausta samasta pre-RL-mallista, kahdessa erillisessä kokeessa. Vertaa rivejä taulukon sisällä, älä koskaan taulukoiden välillä — kummankin taulukon johtopäätös seisoo omilla riveillään, eikä kumpikaan riipu toisen baseline-arvosta.

Rehellinen yhteenveto ei siis ole ”KL-rangaistus estää reward hackingin”. Se on:

KL-rangaistus ei estä reward hackingia. Se rajoittaa sitä, kuinka kauas policy voi liikkua referenssistä — ja koska epäonnistuminen vaatii liikkumista, se auttaa. Mutta se on talutushihna, ei korjaus: pienellä $\beta$ hihna katkeaa, ja suurella $\beta$ saat referenssimallin takaisin, eikä koko kallis vaihe ostanut mitään.

Hyödyllinen kaista on kapea, sen sijainti riippuu reward modelista, eikä sitä voi löytää muuten kuin katsomalla. Siksi referenssimallin täytyy olla hyvä — KL on lattia referenssin laadulla, ei katto epäonnistumiselle — ja siksi tämä vaihe on käytännössä vaikea, ei periaatteessa.

Algoritmi, joka sai tämän toimimaan suuressa mittakaavassa, on Proximal Policy Optimization.³ Yhdessä kappaleessa: se arvioi jokaisen vastauksen advantage-arvon, päivittää policya kasvattamaan baselinea parempien vastausten todennäköisyyttä ja leikkaa yksittäisen päivityksen kokoa, jotta suuri advantage-arvio ei voi tuhota policya yhdellä askeleella. Kielimalleihin sovellettuna⁴ tämä tarkoittaa, että pelissä pidetään yhtä aikaa neljä mallia — policy, referenssi, reward model ja critic — ja policy tuottaa tuoreita näytteitä koko koulutuksen ajan.

Se toimii, se tuotti InstructGPT:n ja kaiken siitä polveutuvan, ja se on aidosti vaikeaa: neljä mallia muistissa, näytteistys koulutusloopissa ja ansaittu maine epävakaudesta. Olisi epärehellistä teeskennellä, että sen voi toteuttaa blogipostauksessa, joten tämä luku ei tee niin.

Useimpiin tarkoituksiin sen korvasi yksi havainto. Yllä olevalla KL-säännöllistetyllä tavoitteella on suljetun muodon optimaalinen policy, ja lauseke voidaan kääntää: reward voidaan kirjoittaa optimaalisen policyn ja referenssin avulla. Kun tämä sijoitetaan takaisin Bradley–Terry-lossiin, reward model katoaa kokonaan. Jäljelle jää supervised loss preferenssipareille — ei näytteistystä, ei criticiä, ei reward modelia, kaksi mallia muistissa neljän sijaan.

Tämä on Direct Preference Optimization,⁵ ja se on kaksi riviä:

def dpo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1):
    """pi_* and ref_* are summed log-probabilities of a full response."""
    logits = beta * ((pi_w - ref_w) - (pi_l - ref_l))   
    return -F.logsigmoid(logits)                        

Lue, mitä siinä sanotaan. Ylös työnnetään määrää, jolla enemmän policy suosii voittajaa kuin referenssi suosi, miinus se määrä, jolla enemmän se suosii häviäjää. Referenssi ei ole jälkikäteen pultattu rangaistus — se on lossin sisällä, minkä vuoksi DPO ei tarvitse erillistä KL-termiä.

Tärkein ominaisuus on gradientissa. Arvioi loss ja sen gradientti samalle parille viidessä eri policyn tilassa:

Gradientti kasvaa, kun policy on enemmän väärässä. Parit, jotka malli jo hoitaa, eivät juuri vaikuta; parit, jotka se saa takaperin, hallitsevat päivitystä. DPO painottaa jokaista esimerkkiä sen mukaan, kuinka väärässä policy sillä hetkellä on, automaattisesti, ilman aikataulutusta — ja juuri tämä itseään painottava mekanismi tekee työn, jonka PPO:n advantage-arvio ja critic tekivät. (Kolmannen rivin loss on täsmälleen $\ln 2$, mikä on ankkuri, johon minkä tahansa toteutuksen voi tarkistaa: referenssinsä kanssa identtinen policy ei ole oppinut mitään ja sen pitäisi olla kohdassa $\ln 2$.)

GRPO⁶ ottaa eri reitin ulos samasta ongelmasta. Se säilyttää näytteistysloopin mutta poistaa criticin: sen sijaan, että koulutettaisiin malli ennustamaan baseline, se näytteistää ryhmän vastauksia samaan promptiin ja käyttää ryhmän keskimääräistä rewardia suoraan baseline-arvona. Vastauksen advantage on se, kuinka paljon parempi se oli kuin sisaruksensa. Tämä vaihtaa kokonaisen mallin suurempaan batchiin, ja juuri se teki todennettavan rewardin koulutuksesta — luvun 12 aiheesta — käytännöllistä.

Kaksi asiaa mukaan vietäväksi.

Ensimmäinen on, että tällä vaiheella on kustannus, ja se näkyy kyvykkyydessä. Mallit heikkenevät usein mitattavasti joissain benchmark-tehtävissä alignment-koulutuksen jälkeen — alignment tax — koska tavoite muuttui: turvallinen, varauksin muotoiltu ja hyvin formatoitu vastaus ei aina ole vastaus, joka maksimoi tarkkuuden. Osa tuosta kuilusta on insinöörityöllä poistettu, ja osa siitä on aito vaihtokauppa eikä korjattava bugi.

Toinen on kysymys, jonka sana aligned piilottaa. Kenen kanssa aligned? Ketju on: yritys kirjoittaa ohjeet, alihankkijat tulkitsevat ne, heidän vertailunsa kouluttavat reward modelin, reward model muovaa policya, ja policy vastaa kysymykseen ihmiselle, joka ei nähnyt mitään tästä. Jokainen lenkki on tiettyjen ihmisten tekemä valinta, eikä millään tämän luvun algoritmeista ole mielipidettä siitä, ovatko valinnat hyviä.

Tämä ei ole retorinen koriste. Se on konkreettinen syy siihen, miksi kaksi frontier-mallia kieltäytyy eri pyynnöistä, miksi sama malli muuttaa mieltään versioiden välillä ja miksi ”aligned” kuvaa prosessia eikä artefaktin ominaisuutta. Tämän luvun matematiikka on ratkaistu. Tuo osa ei ole.

Post-training opetti mallin vastaamaan. Se ei opettanut sitä ajattelemaan ennen vastaamista, ja nämä kaksi eroavat tavalla, joka osoittautuu koulutettavaksi.

Luku 12 käsittelee sitä, mitä tapahtuu, kun annat mallin käyttää enemmän laskentaa vaikeaan kysymykseen vastaushetkellä etkä koulutushetkellä — chain of thoughtia, reinforcement learningiä todennettavista rewardeista ja syytä siihen, miksi työtapansa näyttävä malli ei vain selitä itseään vaan laskee eri tavalla. Se myös kuittaa tämän luvun velan: GRPO esiintyy siinä tekemässä työtä, jonka PPO:n critic ennen teki, rewardeilla, jotka eivät tarvitse lainkaan annotoijaa, koska todistus joko tarkistuu tai ei.

Yllä olevat generoinnit tulevat malleista gpt2 ja Qwen/Qwen2.5-0.5B-Instruct greedy decodingilla, joten ne toistuvat täsmälleen. Hugging Face LLM Coursen luku 11 käy SFT:n ja DPO:n läpi työkaluilla trl ja peft, jos haluat ajaa oikean asian simulaation sijaan; Sebastian Raschkan Build a Large Language Model (From Scratch) -kirjan luku 7 toteuttaa instruction fine-tuningin alusta loppuun ilman kirjastoa.