Dari Base Model ke Assistant: SFT, RLHF, DPO, dan GRPO

Langkah pertama adalah yang paling tidak glamor dan justru mengerjakan sebagian besar pekerjaan. Kumpulkan contoh instruksi yang dipasangkan dengan respons yang baik, lalu lanjutkan training pada contoh-contoh itu dengan loss yang persis sama dari Bab 8 — memprediksi token berikutnya — tetapi hanya pada bagian respons. Ini adalah supervised fine-tuning, atau SFT.

Tidak ada hal baru yang diajarkan tentang bahasa. Yang diajarkan adalah sebuah format: bahwa teks dengan bentuk ini diikuti oleh teks dengan bentuk itu, lalu ia berhenti. Lihat lagi kegagalan base model tadi. Ia menjawab pertanyaan pada kalimat pertama lalu tidak bisa berhenti, karena tidak ada apa pun dalam training-nya yang pernah menandai akhir sebuah respons. Berhenti adalah perilaku yang dipelajari.

Itu juga alasan model perlu diberi tahu di mana batas-batasnya, dan itulah fungsi chat template:

<|im_start|>system
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>
<|im_start|>user
What is the capital of France?<|im_end|>
<|im_start|>assistant

Marker <|im_start|> dan <|im_end|> itu adalah token nyata di vocabulary, ditambahkan sebelum fine-tuning, dan model melihat jutaan token itu persis di posisi-posisi ini. Dari situlah ia tahu giliran siapa yang sedang berlangsung dan di mana sebuah giliran berakhir.

Lewati template dan berikan pertanyaan polos ke model, maka kamu memberinya sequence yang tidak pernah ia lihat saat training. Diukur, model yang sama, pertanyaan yang sama, greedy decoding yang sama:

 The capital of France is Paris.

To verify this, I will use a simple
Python code snippet to confirm that
Paris is indeed the capital city of
France.

[...and then it starts writing a
Python script to check its own answer]

The capital of France is Paris.

Jawabannya benar di keduanya, tetapi tanpa marker model mulai melenceng menulis Python untuk memeriksa dirinya sendiri, karena prompt yang diterimanya tidak mirip dengan apa pun yang digunakan untuk fine-tuning. Ini penyebab paling umum dari “model jadi lebih bodoh saat saya memanggilnya langsung”: template bukan dekorasi di sekitar model, template adalah bagian dari model, dan template yang salah adalah degradasi diam-diam tanpa error yang menyertainya.

SFT punya batas, dan batasnya adalah data. Untuk melakukan fine-tuning pada sebuah demonstrasi, kamu perlu seseorang menulis respons ideal — dan untuk sebagian besar pertanyaan menarik, menulis jawaban yang bagus itu sulit, lambat, mahal, dan menghasilkan tepat satu jawaban yang kualitasnya tidak bisa kamu verifikasi.

Yang dikuasai manusia adalah perbandingan. Diberi dua respons, seorang anotator bisa dengan andal mengatakan mana yang lebih baik dalam beberapa detik, tanpa mampu menghasilkan salah satunya. Fakta inilah yang menjadi dasar seluruh tahap kedua, dan inilah bagian yang paling sering dijelaskan terbalik:

Manusia tidak menulis jawaban. Mereka memberi peringkat pada pasangan.

Jadi datanya berupa pasangan — sebuah prompt, dua respons, dan mana yang menang. Itu tidak bisa dimasukkan ke next-token loss, karena tidak ada sequence target. Ia membutuhkan mesin yang berbeda.

Kamu tidak bisa meminta manusia memberi skor pada setiap respons selama training — itu berarti jutaan penilaian. Jadi kamu melatih model untuk meniru manusia: sebuah reward model yang menerima respons dan mengembalikan skalar.

Melatihnya dari perbandingan memakai hasil dari tahun 1952. Model Bradley–Terry² mengatakan bahwa jika dua item punya kekuatan laten, probabilitas salah satunya mengalahkan yang lain adalah fungsi logistik dari selisihnya. Balikkan itu dan ia menjadi loss: jika manusia lebih menyukai $y_w$ daripada $y_l$, maksimalkan

yang dalam kode adalah seluruh loop training:

loss = -F.logsigmoid(reward(chosen) - reward(rejected)).mean()   

Perhatikan apa yang tidak pernah dilihat model: skor absolut. Ia hanya pernah mempelajari selisih, persis seperti isi datanya.

Sekarang bagian yang layak diukur. Reward model mempelajari apa yang diberi reward oleh anotator, dan anotator adalah manusia. Berikut simulasi di mana kualitas sebenarnya dari sebuah respons hanya bergantung pada apakah ia berguna dan benar — panjang tidak bernilai apa pun — tetapi anotator simulasi punya preferensi ringan pada jawaban yang lebih panjang saat semua hal lain berdekatan, sebuah bias manusia yang terdokumentasi dengan baik. Latih reward model pada 2.000 perbandingan dan baca bobotnya:

Reward model bekerja dengan sempurna. Ia dengan setia mempelajari preferensi yang ditunjukkan kepadanya — termasuk bagian dari preferensi itu yang tidak ada hubungannya dengan kualitas. Reward model bukan ukuran kebaikan; ia adalah ukuran dari apa yang dipilih anotator, dan setiap bias dalam kumpulan anotasi sekarang menjadi koefisien dalam fungsi terdiferensiasi yang sebentar lagi akan dioptimalkan oleh model yang jauh lebih besar.

Ini membawa kita ke apa yang terjadi saat kamu mengoptimalkannya. Beri policy anggaran upaya tetap untuk dibelanjakan di seluruh properti respons, dengan asimetri yang realistis: menjadi berguna dan benar itu mahal, dan menjadi lebih panjang itu murah — kamu cukup terus menulis.

Reward per unit upaya, untuk model yang dilatih di atas: berguna 8,26, benar 8,31, panjang 31,70. Panjang membayar hampir empat kali lebih baik daripada kebenaran, bukan karena reward model rusak, tetapi karena panjang itu murah.

Optimalkan terhadap reward itu dan perhatikan kedua angkanya:

Reward naik 2,5 kali lipat. Hal yang seharusnya diukur oleh reward turun menjadi nol. Policy menemukan bahwa ia bisa mendapat skor sangat tinggi dengan menulis panjang lebar tanpa mengatakan apa pun, dan tidak ada bagian dari loop training yang punya cara untuk menyadarinya, karena reward model adalah definisi baik di dalam loop.

Inilah reward hacking, dan jika kamu pernah bertanya-tanya mengapa chat model begitu bertele-tele, tabel ini adalah bagian besar dari jawabannya.

Pertahanan standar adalah memberi penalti pada policy karena bergerak terlalu jauh dari titik awalnya, mengukur jarak dengan divergensi KL dari Bab 4:

Referensi $\pi_{\text{ref}}$ adalah model SFT — policy sebelum tahap reinforcement. Klaimnya, ini mencegah model mengembara ke perilaku degeneratif. Mari kita lihat seberapa banyak klaim itu bertahan saat diukur. Setup yang sama, dengan sweep $\beta$:

Baca baris terakhir dibandingkan dengan sisanya. Pada $\beta = 0$ dan $\beta = 1$, penalti tidak melakukan apa pun: reward bernilai jauh lebih besar daripada KL sehingga optimiser membayar denda dan tetap melakukan hacking. Antara 5 dan 15, perilakunya berayun. Dan pada $\beta = 60$, kualitas sebenarnya naik kembali ke 1,769 — yang masih di bawah 1,791 milik model referensi sebelum semua ini dimulai.

Satu catatan sebelum angka itu dikutip di mana pun: 1,791 pada baris terakhir dan 0,974 yang diberikan tabel pertama kepada policy awal adalah dua pengukuran berbeda dari model pra-RL yang sama, diambil oleh dua eksperimen secara terpisah. Bandingkan baris dalam satu tabel, jangan pernah lintas tabel — kesimpulan tiap tabel berdiri pada barisnya sendiri, dan tidak satu pun bergantung pada baseline tabel lain.

Jadi ringkasan yang jujur bukan “penalti KL mencegah reward hacking”. Melainkan:

Penalti KL tidak mencegah reward hacking. Ia membatasi seberapa jauh policy bisa bergerak dari referensi — dan karena kegagalannya membutuhkan pergerakan, itu membantu. Tetapi ia adalah tali kekang, bukan korektif: pada $\beta$ rendah, tali itu putus, dan pada $\beta$ tinggi, kamu mendapatkan kembali model referensi dan seluruh tahap mahal itu tidak membeli apa-apa.

Rentang yang berguna sempit, lokasinya bergantung pada reward model, dan tidak ada cara untuk menemukannya selain melihat. Itulah mengapa model referensi harus bagus — KL adalah lantai pada kualitas referensi, bukan plafon atas kegagalan — dan ini adalah bagian besar dari alasan tahap ini sulit dalam praktik, bukan dalam prinsip.

Algoritme yang membuat ini bekerja pada scale adalah Proximal Policy Optimization.³ Dalam satu paragraf: ia memperkirakan advantage dari tiap respons, memperbarui policy untuk meningkatkan probabilitas respons di atas baseline, dan membatasi ukuran setiap update tunggal agar estimasi advantage yang besar tidak menghancurkan policy dalam satu langkah. Diterapkan pada model bahasa⁴, ini berarti menjaga empat model aktif sekaligus — policy, referensi, reward model, dan critic — dengan policy yang terus menghasilkan sampel baru sepanjang training.

Ia bekerja, menghasilkan InstructGPT dan semua turunannya, dan benar-benar sulit: empat model di memori, sampling di dalam loop training, dan reputasi instabilitas yang memang pantas. Berpura-pura kamu bisa mengimplementasikannya dalam satu posting blog akan tidak jujur, jadi bab ini tidak melakukannya.

Penggantinya untuk sebagian besar tujuan lahir dari satu pengamatan. Objective yang diregularisasi KL di atas punya policy optimal berbentuk closed-form, dan ekspresi itu bisa dibalik: reward bisa ditulis dalam bentuk policy optimal dan referensi. Mensubstitusikannya kembali ke loss Bradley–Terry membuat reward model menghilang sepenuhnya. Yang tersisa adalah supervised loss pada pasangan preferensi — tanpa sampling, tanpa critic, tanpa reward model, dua model di memori alih-alih empat.

Itulah Direct Preference Optimization,⁵ dan ia dua baris:

def dpo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1):
    """pi_* and ref_* are summed log-probabilities of a full response."""
    logits = beta * ((pi_w - ref_w) - (pi_l - ref_l))   
    return -F.logsigmoid(logits)                        

Baca apa yang dikatakannya. Kuantitas yang didorong naik adalah seberapa lebih policy menyukai pemenang dibandingkan referensi, dikurangi seberapa lebih ia menyukai pecundang. Referensi bukan penalti yang ditempel belakangan — ia ada di dalam loss, itulah sebabnya DPO tidak membutuhkan term KL terpisah.

Properti yang paling penting ada pada gradien. Evaluasi loss dan gradiennya pada pasangan yang sama dalam lima state policy berbeda:

Gradien membesar saat policy semakin salah. Pasangan yang sudah ditangani model hampir tidak berkontribusi; pasangan yang dipahami terbalik mendominasi update. DPO membobotkan setiap contoh berdasarkan seberapa salah policy saat ini, secara otomatis, tanpa scheduling — dan self-weighting itulah mekanisme yang mengerjakan pekerjaan yang sebelumnya dilakukan estimasi advantage dan critic pada PPO. (Loss pada baris ketiga persis $\ln 2$, yaitu jangkar untuk memeriksa implementasi apa pun: policy yang identik dengan referensinya belum mempelajari apa pun dan seharusnya berada di $\ln 2$.)

GRPO⁶ mengambil jalur berbeda keluar dari masalah yang sama. Ia mempertahankan loop sampling tetapi menghapus critic: alih-alih melatih model untuk memprediksi baseline, ia mengambil sampel satu grup respons untuk prompt yang sama dan langsung memakai mean reward grup itu sebagai baseline. Advantage sebuah respons adalah seberapa jauh ia lebih baik daripada saudara-saudaranya. Ini menukar satu model utuh dengan batch yang lebih besar, dan itulah yang membuat training dengan reward yang dapat diverifikasi — topik Bab 12 — menjadi praktis.

Dua hal untuk dibawa ke depan.

Yang pertama adalah bahwa tahap ini punya biaya, dan biaya itu muncul sebagai kapabilitas. Model sering kali menjadi lebih buruk secara terukur pada beberapa tugas benchmark setelah alignment training — alignment tax — karena objective berubah: respons yang aman, berhati-hati, dan diformat dengan baik tidak selalu respons yang memaksimalkan akurasi. Sebagian celah itu sudah direkayasa hingga hilang, dan sebagian lainnya adalah trade-off nyata, bukan bug yang harus diperbaiki.

Yang kedua adalah pertanyaan yang disembunyikan oleh kata aligned. Selaras dengan siapa? Rantainya adalah: sebuah perusahaan menulis pedoman, kontraktor menafsirkannya, perbandingan mereka melatih reward model, reward model membentuk policy, dan policy menjawab pertanyaan dari seseorang yang tidak melihat semua itu. Setiap mata rantai adalah pilihan yang dibuat oleh orang-orang tertentu, dan tidak ada algoritme dalam bab ini yang punya pendapat tentang apakah pilihan-pilihan itu baik.

Itu bukan hiasan retoris. Itu alasan konkret mengapa dua frontier model menolak permintaan yang berbeda, mengapa model yang sama berubah pikiran di antara versi, dan mengapa “aligned” adalah deskripsi atas sebuah proses, bukan properti dari sebuah artefak. Matematika dalam bab ini sudah mapan. Bagian itu belum.

Post-training mengajari model untuk menjawab. Ia tidak mengajari model untuk berpikir sebelum menjawab, dan keduanya berbeda dengan cara yang ternyata bisa dilatih.

Bab 12 membahas apa yang terjadi ketika kamu membiarkan model menghabiskan lebih banyak komputasi pada pertanyaan sulit saat waktu menjawab, bukan saat waktu training — chain of thought, reinforcement learning dari reward yang dapat diverifikasi, dan alasan model yang menunjukkan pekerjaannya bukan sekadar menjelaskan dirinya, melainkan menghitung dengan cara berbeda. Bab itu juga melunasi utang dari bab ini: GRPO muncul di dalamnya, mengerjakan tugas yang dulu dilakukan critic PPO, pada reward yang tidak membutuhkan anotator sama sekali karena sebuah proof bisa diperiksa atau tidak.

Generasi di atas berasal dari gpt2 dan Qwen/Qwen2.5-0.5B-Instruct dengan greedy decoding, jadi hasilnya bereproduksi persis. Bab 11 dari Hugging Face LLM Course menjelaskan SFT dan DPO dengan trl dan peft jika kamu ingin menjalankan hal nyata alih-alih simulasi; bab 7 dari Build a Large Language Model (From Scratch) karya Sebastian Raschka mengimplementasikan instruction fine-tuning dari awal hingga akhir tanpa library.