Chain of Thought, RLVR, dan Test-Time Compute, diukur

Godaan alaminya adalah mengatakan versi kedua “memikirkannya”. Tahan dulu, karena mekanismenya sekaligus lebih sederhana dan lebih berguna untuk dipahami.

Sebuah transformer melakukan jumlah komputasi yang tetap untuk setiap token yang dihasilkan. Satu forward pass: layer yang sama, matriks yang sama, jumlah operasi yang sama terlepas dari apakah pertanyaannya berapa 2+2 atau buktikan teorema ini. Tidak ada kenop di dalam model untuk “berusaha lebih keras pada yang ini”.

Jadi ketika model diminta menjawab segera, seluruh komputasi yang tersedia baginya adalah satu forward pass. Setiap besaran perantara harus muat di dalam aktivasi dari satu pass itu, dan apa pun yang tidak bisa dihitung di sana, tidak bisa dihitung.

Mengeluarkan token mengubah itu, dan mengubahnya dengan dua cara berbeda yang layak dipisahkan:

• Lebih banyak komputasi. Setiap token yang dihasilkan adalah satu forward pass penuh lagi. Seratus empat puluh lima token pengerjaan berarti seratus empat puluh lima kali aritmetika dibanding menjawab langsung.
• Memori yang dieksternalisasi. Token ditulis ke dalam konteks, sehingga pass berikutnya bisa membacanya. 5 × 13 = 65 menjadi fakta di input, bukan nilai yang harus disimpan model di dalam aktivasi dan dibawa maju. Model memakai output-nya sendiri sebagai scratchpad.

Poin kedua itulah yang sering luput, dan itu menjelaskan mengapa pengerjaannya harus dituliskan agar membantu. Model yang diminta “pikirkan diam-diam lalu jawab” tidak punya tempat untuk menaruh pikiran itu.

Tidak ada yang mistis di sini, dan ini menghasilkan prediksi yang tegas: chain of thought seharusnya paling membantu pada soal dengan struktur serial — ketika langkah kedua membutuhkan hasil langkah pertama — dan paling sedikit membantu pada soal yang hanya lookup tunggal. Itulah tepatnya yang ditemukan literatur, dan itulah mengapa “think step by step” tidak melakukan apa-apa untuk apa ibu kota Prancis.

Teknik ini tiba pada 2022 dalam dua bagian. Wei dkk. menunjukkan bahwa menyertakan contoh yang dikerjakan dalam prompt — demonstrasi ketika jawaban didahului penalaran — menghasilkan peningkatan besar pada benchmark aritmetika dan commonsense.¹ Kojima dkk. kemudian menunjukkan sesuatu yang lebih aneh: kamu tidak membutuhkan contoh-contoh itu. Menambahkan “Let's think step by step” ke prompt zero-shot menangkap banyak peningkatan yang sama.²

Hasil kedua itulah yang memberi tahu apa yang sedang terjadi. Jika frasa ajaib membuka perilaku tersebut, perilaku itu sudah ada di dalam model — pretraining penuh dengan solusi yang dikerjakan, dan frasa itu adalah penunjuk ke wilayah distribusi tersebut. Chain of thought tidak mengajari model apa pun. Ia memilih sesuatu yang sudah dimiliki model.

Kerangka itu juga memprediksi keusangan teknik ini pada akhirnya, yang akan kita bahas kembali di akhir bab.

Langkah berikutnya yang jelas: jika satu rantai penalaran bisa salah, sample beberapa lalu ambil jawaban mayoritas. Itulah self-consistency.³ Ini jelas pengeluaran yang lebih besar — $n$ generasi penuh, bukan satu — dan intuisinya adalah jawaban yang salah menyebar sementara yang benar sepakat.

Diukur pada 16 soal yang sama, sampling pada temperature 0.8, majority vote atas $n$ rantai:

Enam belas soal adalah penyebut yang kecil, dan aturan Bab 4 berlaku untuk tabel ini sama seperti untuk tabel lainnya. 13 dari 16 adalah 81% dengan interval Wilson 95% sebesar [57, 93]; 16 dari 16 adalah 100% dengan [81, 100]. Keduanya tumpang tindih. Baca bentuk kurvanya, itulah temuannya; jangan baca anak tangga persis tempat ia mendatar, yang tidak bisa ditentukan oleh enam belas soal.

Ada dua hal dalam tabel itu, dan hal kedua bukan yang saya duga.

Kurva mendatar pada $n = 3$. Pada sample ketiga, akurasi sudah mencapai plafonnya dan dua sample tersisa tidak membeli apa pun sambil tetap menghabiskan masing-masing 172 token, 345 jika digabungkan. Itulah bentuk setiap kurva self-consistency yang dilaporkan di literatur, dan itu jauh lebih awal daripada bingkai “lebih banyak sample berarti lebih baik” yang tersirat.

Dan greedy decoding sudah berada di 100%. Lihat kembali bagian atas bab: satu rantai, tanpa sampling, 145 token, 24/24. Sampling pada temperature 0.8 menurunkan akurasi ke 81%, dan self-consistency membutuhkan tiga generasi untuk naik kembali ke posisi yang sudah dicapai satu greedy pass — dengan 3,6 kali token, atau enam kali jika kamu menjalankan sweep sampai lima tanpa tahu di mana ia mendatar.

Itu bukan argumen melawan self-consistency. Itu adalah pernyataan presisi tentang apa yang dilakukannya: temperature membeli keragaman dengan menyuntikkan kesalahan, dan voting menghapus kesalahan yang baru saja disuntikkannya. Pada soal ketika greedy decoding gagal — ketika rantai yang paling mungkin secara tunggal mengarah ke tempat yang salah dan rantai yang kurang mungkin justru benar — trade-off itu membayar, dan itulah mengapa teknik ini ada. Pada soal ketika greedy sudah berhasil, ini adalah cara menghabiskan enam kali budget untuk impas.

Tidak ada yang menerbitkan kasus kedua, karena itulah kasus tersebut layak diukur pada task kamu sendiri sebelum mengadopsi teknik ini. Ini adalah soal dua langkah yang mudah untuk model kecil; itulah rezim ketika jawabannya keluar seperti ini.

Semua sejauh ini terjadi pada waktu prompt di model yang tidak pernah secara khusus dilatih untuk itu. Pergeseran yang menghasilkan generasi model reasoning saat ini adalah memindahkannya ke training — dan kunci yang membuatnya mungkin lebih sempit daripada kedengarannya.

Post-training di Bab 11 membutuhkan preferensi manusia, karena “apakah ini jawaban yang bagus?” tidak punya jawaban programatik. Tetapi untuk beberapa pertanyaan, jawabannya ada. Jawaban matematika entah sama dengan nilai yang benar atau tidak. Code entah lulus test atau tidak. Bukti entah lolos pengecekan atau tidak.

Untuk domain-domain itu, kamu bisa mengganti reward model dengan verifier, dan semua hal setelahnya langsung menjadi lebih baik: tanpa anotator, tanpa fitting Bradley–Terry, tanpa reward hacking jenis yang diukur di Bab 11 — karena kamu tidak bisa merayu unit test. Ini adalah reinforcement learning from verifiable rewards, dan inilah setting yang menjadi alasan GRPO dibangun: sample sekelompok upaya solusi untuk soal yang sama, cek masing-masing, lalu gunakan skor rata-rata grup sebagai baseline. Tanpa critic, tanpa anotator, tanpa reward model. Hanya program yang mengatakan benar atau salah.

Hasil yang membingkai ulang bidang ini datang dari DeepSeek pada awal 2025.⁶ Mereka mengambil base model dan menerapkan reinforcement learning with verifiable rewards secara langsung, tanpa tahap supervised fine-tuning terlebih dahulu — tahap yang disajikan Bab 11 sebagai fondasi segalanya. Rantai penalaran panjang tetap muncul. Begitu juga perilaku yang tidak pernah dilatih siapa pun: model mulai memeriksa ulang langkahnya sendiri dan, dalam kutipan paling terkenal dari paper itu, secara spontan mempertimbangkan ulang sebuah pendekatan di tengah solusi.

Pembacaan yang jujur bukanlah bahwa reasoning itu ajaib. Melainkan bahwa ketika satu-satunya hal yang diberi reward adalah menjadi benar, dan menjadi benar pada soal sulit membutuhkan pengerjaan bertahap, maka pengerjaan bertahap itulah yang ditemukan optimizer — termasuk bagian-bagian dari pengerjaan bertahap yang juga dilakukan manusia, karena bagian-bagian itu adalah tuntutan masalahnya, bukan karena ada yang mengajarkannya.

Konsekuensi praktis dari semua ini adalah model reasoning menghasilkan token yang kamu minta dan token yang tidak kamu minta, dan kamu membayar keduanya.

Provider menangani ini secara berbeda, dan perbedaannya penting:

• Sebagian besar API menghitung reasoning token di dalam jumlah output token. Tagihanmu dan limit max_tokens-mu sama-sama mencakup thinking yang tidak pernah kamu lihat.
• Gemini milik Google melaporkan thinking token sebagai field terpisah, di luar jumlah output standar.

Itu adalah inkompatibilitas nyata antara dua cara menghitung hal yang sama, dan code apa pun yang menghitung biaya atau menegakkan budget lintas provider harus menormalkannya. Bab 16 adalah tempat hal itu menjadi uang, dan Bab 23 tempat hal itu menjadi budget yang bisa kamu tegakkan.

Konsekuensi lainnya adalah soal latensi yang mengejutkan orang pada pengalaman pertama. Waktu model reasoning sampai token terlihat pertama mencakup seluruh thinking-nya, jadi request yang tidak streaming apa pun selama delapan detik lalu menjawab dalam satu detik bukanlah koneksi yang hang — itu model sedang bekerja. Interface apa pun yang menampilkan spinner tanpa penjelasan selama delapan detik punya masalah desain, bukan masalah jaringan.

Peringatan penutup, karena ini cara paling umum materi bab ini diterapkan secara keliru.

Semua di paruh pertama adalah teknik untuk membuat model yang tidak dilatih untuk bernalar tetap menghasilkan penalaran. Model yang dilatih dengan RLVR sudah melakukannya: mereka mengeluarkan pengerjaannya sendiri, dengan panjangnya sendiri, sebelum menjawab. Menyuruh model seperti itu untuk think step by step paling banter redundan dan paling buruk merugikan — ini bisa menghasilkan rantai pendek berbentuk prompt sebagai pengganti rantai lebih panjang yang akan dihasilkan model dengan sendirinya, dan beberapa provider mendokumentasikan persis hal ini.

Hal yang sama berlaku untuk scaffolding reasoning rumit yang dibangun di code aplikasi. Prompt yang menuntun model melalui decision tree yang sudah ia navigasi secara internal menghabiskan token kamu untuk membatasi perilaku yang sudah dilatih masuk. Ini adalah kemunculan pertama dari tema yang berjalan di sisa kursus ini: teknik yang esensial pada 2022 menjadi takhayul pada 2025, dan satu-satunya cara mengetahui mana yang mana untuk modelmu, hari ini, adalah mengukur keduanya.

Bab 15 adalah tempat pengukuran itu menjadi disiplin, bukan opini.

Reasoning punya sifat yang tidak nyaman: ia adalah satu kemampuan yang biayanya berskala mengikuti seberapa sulit pertanyaannya. Model yang berpikir selama sembilan ratus token melakukan sembilan ratus forward pass, menjaga cache yang terus tumbuh di memori untuk semuanya, dan menahan GPU selama durasi tersebut.

Itu membuat ekonomi serving model reasoning jauh lebih buruk daripada serving model chat, dan mengubah serangkaian detail implementasi menjadi perbedaan antara produk yang layak dan yang tidak layak: bagaimana cache dari key dan value masa lalu disimpan dan digunakan ulang, berapa banyak request yang bisa berbagi satu forward pass, dan seberapa banyak precision yang sebenarnya dibutuhkan weights.

Bab 13 adalah bab terakhir ketika model masih berupa objek di memorimu, bukan service di balik port, dan bab itu membahas cara membuat objek tersebut cukup murah untuk disajikan. Bab itu juga menunaikan janji dari bab ini: speculative decoding, yang menghasilkan beberapa token dengan kira-kira harga satu token dengan meminta model kecil menebak dan model besar mengecek — trik yang baru masuk akal setelah kamu melihat seberapa banyak forward pass dihabiskan untuk menunggu memori, bukan melakukan aritmetika.

Semua pengukuran dalam bab ini berasal dari Qwen/Qwen2.5-0.5B-Instruct pada 24 soal cerita dua langkah yang dihasilkan, greedy decoding kecuali ketika sampling dinyatakan, dengan nol generasi terpotong pada batas token yang digunakan. Pengukuran ini reproducible, dan ini model kecil pada soal mudah: baca hasil self-consistency sebagai demonstrasi mekanisme, bukan sebagai benchmark. Bab 18 dari catatan kuliah CS229 dan bab 12 dari Hugging Face LLM Course sama-sama membahas materi ini dengan model yang lebih besar dan benchmark yang tepat.