Prompt Engineering, Diukur: Apa yang Mengubah Output

Sebelum pengukuran, ada satu fakta yang diam-diam menjelaskan setengah dari hal-hal berikut.

Model tidak punya memori. Di antara dua panggilan, ia tidak menyimpan apa pun — bukan pertanyaan terakhirmu, bukan jawaban terakhirnya sendiri, bukan file yang kamu lampirkan, bukan fakta bahwa kamu sudah menanyakannya dua kali. Setiap panggilan dimulai dari mesin kosong, dan satu-satunya hal yang diketahui mesin itu adalah urutan token yang baru saja kamu berikan.

Apa yang tampak seperti memori di antarmuka chat adalah client kamu yang mengirim ulang seluruh percakapan, setiap giliran, dari awal. Model membaca semuanya lagi dari nol, setiap kali. Bab 13 mengukur biaya pembacaan ulang itu dalam sebuah forward pass; Bab 16 mengubahnya menjadi baris pada invoice. Yang penting di sini adalah konsekuensinya untuk desain: prompt bukan pesan kepada sistem yang memiliki state. Prompt adalah state.

Itu mengakhiri satu keluarga kebingungan. "Model lupa apa yang saya katakan" biasanya berarti hal itu tidak pernah dikirim. "Model mengabaikan instruksi saya sebelumnya" biasanya berarti instruksi itu keluar dari window ketika riwayat dipangkas. "Model berperilaku berbeda di production" biasanya berarti production menyusun prompt yang berbeda dari prompt yang kamu uji. Tidak satu pun dari ini masalah model, dan tidak satu pun diperbaiki dengan menulis ulang apa pun.

Klaim "prompt ini lebih baik" adalah klaim tentang sebuah distribusi, dan kamu tidak bisa melihat distribusi dengan melihat satu output. Yang kamu butuhkan membosankan: kasus dengan jawaban yang diketahui, N varian, dan sebuah interval.

Harness-nya lima puluh baris TypeScript dengan bentuk yang sama seperti client dari Bab 14 — sebuah request, sebuah deadline, sedikit concurrency, sebuah hitungan. Ia muncul lagi di Bab 19 untuk mengevaluasi retriever dan di Bab 29 sebagai golden set.

export type Case = { input: string; expected: string };
export type Variant = { name: string; build: (c: Case) => ChatMessage[] };

async function pooled<T, R>(xs: T[], n: number, f: (x: T) => Promise<R>) {
  const out: R[] = new Array(xs.length);
  let i = 0;
  await Promise.all(
    Array.from({ length: n }, async () => {
      while (i < xs.length) {
        const k = i++;
        out[k] = await f(xs[k]);
      }
    }),
  );
  return out;
}

export async function runVariant(v: Variant, cases: Case[], concurrency = 6) {
  const hits = await pooled(cases, concurrency, async (c) => {
    const answer = await complete(v.build(c));      
    return answer.trim().toLowerCase() === c.expected;
  });
  return { name: v.name, hits, k: hits.filter(Boolean).length, n: cases.length };
}

Angka yang kembali bukanlah hasilnya. Ini hasilnya:

/** 95 % Wilson score interval for a proportion. Chapter 4 derives it. */
export function wilson(k: number, n: number, z = 1.96) {
  const p = k / n;
  const d = 1 + (z * z) / n;
  const centre = (p + (z * z) / (2 * n)) / d;
  const half = (z * Math.sqrt((p * (1 - p)) / n + (z * z) / (4 * n * n))) / d;
  return [Math.max(0, centre - half), Math.min(1, centre + half)] as const;
}

Bab 4 membuat argumennya dan bab ini mencairkannya. Tujuh belas benar dari dua puluh adalah 85 %, dan interval 95 %-nya berjalan dari 64 % hingga 95 %. Varian yang mencetak 13 dari 20 — 65 %, yang terasa jelas lebih buruk — memiliki interval dari 43 % hingga 82 %. Kedua interval itu tumpang tindih hampir di seluruh panjangnya. Dua puluh kasus tidak bisa membedakan prompt yang baik dari yang biasa-biasa saja, dan kebanyakan saran prompt yang dipublikasikan divalidasi pada jumlah yang lebih sedikit.

Enam puluh kasus, yang digunakan bab ini, tetap tidak banyak. Itu cukup untuk melihat efek besar dan cukup jujur untuk mengakui ketika tidak bisa melihat efek kecil — dan bab ini akan mengakuinya beberapa kali di bawah.

Tiga blok — aturan R, tiket T, instruksi I — digabungkan menjadi satu pesan user. Keenam permutasi, konten identik byte demi byte, masing-masing enam puluh kasus.

Terbaik ke terburuk adalah 28,3 poin, dan intervalnya tidak tumpang tindih, jadi ini bukan cerita tentang noise. Karena setiap arm dinilai pada enam puluh item yang sama, pertanyaan yang lebih tajam adalah pertanyaan berpasangan: dari kasus-kasus ketika dua arm tidak sepakat, seberapa miring pembagiannya? Berpindah dari urutan terburuk ke terbaik membalik 21 kasus menjadi benar dan 4 menjadi salah — probabilitas berpasangan eksak 0,0009.³

Baca tabel dari bentuknya, bukan pemenangnya. Dua baris terbaik sama-sama berakhir dengan tiket; dua yang terburuk sama-sama mengubur instruksi di tengah atau menempatkannya setelah data. Itu fenomena yang sama yang dinamai Liu et al. Lost in the Middle: materi di tepi prompt digunakan lebih andal daripada materi di tengah.⁴ Bab 16 memberi harga pada window dan Bab 24 mengukur efeknya dengan benar pada panjang besar, ketika bagian tengah runtuh seperti yang dijelaskan dan pemulihan di ujung paling akhir tidak muncul kembali. Di sini aturan praktisnya muncul sendiri: tugas di atas, data di bawah, tidak ada yang penting di tengah.

Sekarang pindahkan kata-kata yang sama di antara giliran. Bab 11 menetapkan bahwa chat template bukan dekorasi di sekitar model, melainkan bagian darinya — <|im_start|>system dan <|im_start|>user adalah token nyata yang dilihat model jutaan kali selama fine-tuning, tepat di posisi itu. Jadi seharusnya penting di sisi mana dari marker tersebut instruksimu mendarat, dan memang penting:

Memindahkan aturan dan instruksi melintasi batas template menghasilkan 21,7 poin — 19 kasus naik, 6 turun, probabilitas berpasangan 0,0146 — tanpa mengubah satu karakter pun. Ini jawaban konkret untuk system prompt versus user prompt: keduanya bukan dua cara mengatakan hal yang sama. Keduanya adalah dua posisi token berbeda dalam struktur yang digunakan untuk melatih model, dan posisi system adalah tempat instruksi yang berlaku untuk seluruh percakapan berada.

Perhatikan juga baris ketiga. Mengulang instruksi setelah tiket — trik yang sering direkomendasikan — mencetak skor di bawah menyatakannya sekali. Pada model ini, pada tugas ini, mengatakannya dua kali lebih buruk daripada mengatakannya sekali.

Prompt yang sama, penempatan terbaik, enam puluh kasus. Satu-satunya hal yang berubah adalah apa yang mengelilingi teks tiket.

Rentang delapan belas poin dari tanda baca. Tapi lihat dua interval ekstremnya: [73,9, 91,9] dan [54,1, 77,3]. Keduanya tumpang tindih. Dengan pembacaan kasar — bandingkan error bar, dan jika bersentuhan, jangan katakan apa-apa — tabel ini tidak membuktikan apa pun.

Pembacaan kasar itu salah di sini, dan memahami alasannya lebih bernilai daripada tabelnya. Setiap varian dinilai pada enam puluh tiket yang sama, jadi dua pengukuran itu bukan sampel independen; keduanya berpasangan. Sebagian besar lebar setiap interval berasal dari sumber ketidakpastian yang dibagi kedua arm — apakah enam puluh tiket ini representatif — dan sumber itu hilang ketika kamu membandingkannya satu sama lain. Ajukan pertanyaan berpasangan sebagai gantinya dan jawabannya tajam: berpindah dari tanda kutip ganda ke tag XML membalik 12 kasus menjadi benar dan 1 menjadi salah, probabilitas berpasangan 0,0034. Itu perbedaan nyata.

Lalu pengujian yang sama mengempiskan judul besarnya. Tag XML mengalahkan label polos Ticket: sebesar 8,3 poin, angka yang akan dipasang blog post di judulnya. Berpasangan: 6 naik, 1 turun, probabilitas 0,1250. Belum terbukti. Tujuh kasus adalah fondasi peningkatan terkenal itu.

Jadi ada dua pertanyaan dengan dua instrumen berbeda, dan mencampuradukkannya adalah cara saran prompt salah ke dua arah sekaligus:

Temuan umumnya — bahwa model sangat dan tidak terduga sensitif terhadap pilihan formatting yang tidak membawa konten semantik — bukan hal baru. Sclar et al. hanya memvariasikan separator, spacing, dan casing di puluhan tugas dan menemukan rentang akurasi yang cukup lebar untuk membalik peringkat model yang sudah dipublikasikan.⁵ Konsekuensi praktisnya bukan "gunakan tag XML". Konsekuensinya adalah formatting adalah hyperparameter, biayanya nol untuk di-sweep, dan perbandingan dua model mana pun yang mengunci satu format sedang membandingkan format sama banyaknya dengan model.

In-context learning — menunjukkan contoh kerja kepada model di dalam prompt dan membuatnya melakukan generalisasi dari contoh itu tanpa update weight apa pun — adalah kemampuan yang membuat GPT-3 terkenal.⁶ Pertanyaan praktisnya tidak pernah apakah itu berhasil. Pertanyaannya adalah berapa banyak contoh yang layak dibayar.

Contoh masuk sebagai giliran sebelumnya yang nyata, bergantian antara user dan assistant, karena itulah struktur yang digunakan saat template dilatih. Setiap k dijalankan dengan lima pengambilan acak berbeda dari pool terpisah berisi enam belas tiket berlabel:

Dua contoh memberi tujuh poin. Enam contoh berikutnya tidak memberi apa pun yang terukur — 83,7, lalu 81,7, lalu 83,7, urutan yang mengembara di dalam noise-nya sendiri. Enam belas memberi lima setengah poin lagi. Kurvanya bukan pendakian mulus; ia adalah satu langkah, satu plateau, dan satu langkah.

Kolom yang paling penting adalah yang terakhir. Pada k = 8, delapan contoh mana yang kebetulan kamu pilih menggeser akurasi sebesar 10 poin — lebih besar daripada seluruh keuntungan dari berpindah dari dua contoh ke delapan. Dan baris paling bawah adalah versi paling tajamnya: pada k = 16 pool habis, jadi kelima run berisi enam belas contoh yang persis sama, hanya berbeda dalam urutan kemunculannya. Urutan saja menggeser akurasi 8,3 poin.

Itulah hasil yang dilaporkan Lu et al. dan hasil itu bertahan di mana pun ia dicari: pengurutan contoh adalah hyperparameter sungguhan dengan efek yang sebanding dengan jumlah contoh.⁷ Jadi saran jujur tentang few-shot prompting bukan sebuah angka. Saran jujurnya adalah:

Sekarang folklornya. Masing-masing ini adalah satu kalimat yang ditambahkan di depan system prompt yang selain itu identik, pada enam puluh kasus yang sama.

Empat dari lima tidak melakukan apa pun. Bukan "melakukan sedikit"; tidak ada yang bisa dilihat oleh enam puluh kasus berpasangan. Persona ahli dan suap sama-sama mencetak skor di bawah baseline yang tidak disentuh, dan bahkan penurunan itu gagal dalam uji berpasangan — itu noise yang menunjuk ke bawah.

Baris ketiga adalah yang perlu direnungkan. "Ini sangat penting untuk karier saya" menghasilkan akurasi yang persis sama, 46 dari 60 — dan sepuluh dari enam puluh jawaban berubah, lima ke masing-masing arah. Statistik ringkasnya identik dan perilakunya tidak. Jika evaluasimu adalah satu angka pada set kecil, perubahan yang menulis ulang seperenam output-mu bisa terlihat seperti perubahan yang tidak melakukan apa pun, dan kamu akan ship sambil percaya perubahan itu gratis.

Lalu ancamannya, satu-satunya kalimat yang menggerakkan jarum dan menggerakkannya 35 poin turun, membalik 24 kasus dari benar ke salah. Itu bukan artefak pembulatan; itu perilaku model yang berbeda. Pelajarannya bukan "jangan pernah mengancam model". Pelajarannya adalah framing emosional tidak inert. Ia menggeser distribusi, kadang keras, ke arah yang tidak bisa diprediksi siapa pun dari membaca kalimatnya — itulah persisnya alasan ia harus diukur, bukan diperdebatkan lewat penalaran.

Satu caveat yang menjadi utang bab ini kepadamu: lima kalimat ini diuji pada satu model kecil dan satu tugas. Sebagian punya dukungan terbitan di tempat lain — "tarik napas dalam-dalam" muncul dari paper yang mencari instruksi berskor tinggi, bukan mengarangnya, yang merupakan klaim berbeda dan lebih baik daripada klaim yang beredar sesudahnya.⁸ Yang menggeneralisasi bukan kalimat-kalimatnya. Yang menggeneralisasi adalah bahwa daftar yang bertahan di blog post dan daftar yang bertahan dalam pengukuran adalah dua daftar berbeda, dan satu-satunya cara mengetahui daftar mana yang kamu pegang adalah menjalankan bench.

Aturan yang diulang semua orang — katakan apa yang kamu inginkan, bukan apa yang tidak kamu inginkan — dengan ketiadaan angka seperti biasa. Ini angkanya. Persyaratan format yang sama, ditulis tiga cara, dengan model menghasilkan secara bebas agar kepatuhan bisa diamati:

Tiga larangan berkinerja lebih buruk daripada satu instruksi, dan membuat model menulis lima kali lebih banyak teks — kebalikan persis dari ketiganya sekaligus. Menambahkan kembali kalimat positif menyelamatkannya ke 68 %.

Mekanismenya tidak misterius setelah kamu mengingat Bab 8. Model memilih next token dari distribusi yang dikondisikan pada semua hal sebelumnya, dan sebuah larangan menaruh hal yang dilarang ke dalam conditioning itu. Tidak ada operator untuk negasi; yang ada adalah konteks tempat sebuah kata kini muncul.

Itu bisa diukur secara langsung. Ambil prompt baseline dan tambahkan satu baris: Do not use the shipping queue for software problems. Lalu lihat hanya empat puluh lima tiket yang bukan tiket shipping:

Menyebut sebuah antrean untuk menyingkirkannya membuat model memilihnya tiga kali lebih sering, hampir melipatgandakan tiga kali probability mass yang diberikannya, dan mengorbankan 25 poin akurasi keseluruhan — 16 kasus hilang melawan 1 yang naik, probabilitas berpasangan 0,0003.

Jangan pikirkan gajah, terukur. Penulisan ulangnya selalu sama: ganti larangan dengan aturan positif yang membuatnya tidak diperlukan. Bukan "jangan gunakan shipping untuk masalah software" melainkan "gunakan shipping hanya ketika ada paket fisik yang terlibat".

Bab 12 membangun chain of thought dengan benar — pertama sebagai teknik prompting,⁹¹⁰ lalu sebagai sesuatu yang dilatih dengan reward yang dapat diverifikasi — dan berakhir dengan peringatan yang ditundanya ke bab ini: menyuruh model berpikir langkah demi langkah berhenti membantu setelah model bernalar sendiri, dan bisa merugikan. Ini peringatan itu dengan tabel di bawahnya, pada tugas yang mudah membuat kita berasumsi bahwa lebih banyak berpikir pasti lebih baik.

Kedua arm dibaca dengan instrumen yang sama pada posisi yang sama. Satu-satunya perbedaan adalah apakah chain of thought yang ditulis model sendiri duduk di konteks lebih dulu.

Akurasi turun dan biaya naik, dan aturan bab ini sendiri berlaku pada hasil bab ini sendiri: penurunannya adalah 7 kasus naik melawan 10 hilang, probabilitas berpasangan 0,629, yang belum terbukti. Yang terbukti adalah bahwa ia menghasilkan sembilan puluh delapan output token ekstra per panggilan dan tidak membeli apa pun yang terukur dengannya. Ketidakpastian seluruhnya berada di sisi manfaat. Tagihannya pasti.

Chain yang gagal lebih instruktif daripada yang berhasil. Ketika diminta bernalar tentang "Integrasi Slack kamu berhenti mem-posting pesan setelah Selasa", model menulis:

1. Check if the issue persists on Monday.
2. Verify if there are any updates or changes in your Slack setup that
   might affect message posting.
3. If no update has been made since Tuesday, check for any recent system
   restarts or downtime affecting Slack functionality.
4. If you have recently installed new software or updated your
   environment, ensure it's compatible with Slack version.
5. Contact Slack support for further assistance or troubleshooting steps.

Itu saran troubleshooting yang kompeten dan itu bukan tugasnya. Ketika diminta berpikir, model bergeser ke genre yang paling mirip dengan "berpikir langkah demi langkah tentang tiket dukungan ini" dalam data latihnya — lalu menjawab pertanyaan klasifikasi dengan lima ratus karakter penalaran yang tidak terkait di dalam konteksnya sendiri. Chain of thought membantu pada masalah dengan intermediate state yang layak dihitung: aritmetika, lookup multi-hop, constraint satisfaction. Merutekan sebuah kalimat ke salah satu dari empat bucket tidak punya intermediate state. Tidak ada yang bisa dipegang oleh chain, jadi yang dilakukannya hanya menambahkan teks yang terdengar masuk akal yang kemudian harus dilalui keputusan akhir.

Dua konsekuensi praktis. Pertama, untuk model yang dilatih bernalar — model RLVR dari Bab 12 — instruksi ini lebih buruk daripada redundant: ia bisa mengganti chain panjang yang akan diproduksi model dengan chain pendek berbentuk prompt. Dan sampling beberapa chain lalu voting, yang dilakukan self-consistency,¹¹ tidak bisa menyelamatkan tugas yang tidak punya apa pun untuk diperdebatkan: ia melipatgandakan biaya dengan jumlah sampel untuk memecah tie yang tidak ada. Bab 12 mengukur trade tersebut di tempat ia memang berlaku. Kedua, perhatikan biaya scaffold perbandingan itu sendiri. Memaksa jawaban ke baris Final queue: menurunkan arm tanpa reasoning dari 76,7 % ke 61,7 %. Lima belas poin, dibayar untuk membuat dua arm dapat dibandingkan. Struktur yang ada demi kenyamananmu juga tidak gratis.

Satu pengukuran terakhir, karena ini pertanyaan yang ditanyakan semua orang setelah hasil mengejutkan pertama. Enam puluh prompt, greedy decoding, dijalankan berulang:

• Panggilan yang sama diulang dengan semua hal dibuat tetap mengembalikan probabilitas bit-identical. Deterministik.
• Panggilan yang sama di-batch dengan tetangga berbeda — batch size 1, 4, 12, 30, dan 60 — mengembalikan probabilitas yang berbeda hingga 0,0128. Label yang dipilih tidak pernah berubah, dalam 0 dari 60 kasus.

Label bertahan karena punya ruang untuk itu: di enam puluh kasus, gap tersempit antara dua antrean teratas adalah 0,0459, tiga setengah kali drift. Stabilitas itu bukan properti algoritma. Itu margin, dan margin bisa habis. Bab 17 adalah tempat alasan aritmetisnya berada dan tempat sampling knob yang memperlebar dan mempersempit gap tersebut dibongkar. Alasan menanamkannya di sini adalah bahwa ini membatasi makna pengukuran prompt apa pun: bench mengukur sistem yang hanya dapat direproduksi hingga suatu toleransi, dan perbedaan dua poin antar-varian berada di dalam toleransi itu pada hari yang buruk.

Semua di atas adalah manusia memilih varian dan mesin menilainya. Langkah berikutnya jelas: biarkan mesin memilih variannya juga.

APE melakukan persis itu: sebuah model mengusulkan instruksi kandidat, instruksi itu dinilai pada contoh held-out, dan yang terbaik bertahan.⁸ Instruksi yang ditemukannya sering kali bukan instruksi yang akan ditulis manusia mana pun, dan itulah intinya — pencarian dilakukan atas apa yang mencetak skor, bukan atas apa yang terdengar profesional.

DSPy melangkah lebih jauh dan merupakan ide yang lebih berguna untuk produk.¹² Kamu mendeklarasikan apa yang diterima dan dikembalikan setiap langkah pipeline, dan framework mengompilasinya menjadi prompt, memilih demonstrasi, dan mengoptimalkan instruksi terhadap metric-mu. Ganti model dan kamu recompile, bukan menulis ulang. Prompt berhenti menjadi source code yang di-tune manual oleh seseorang dan menjadi artefak yang dihasilkan terhadap sebuah metric, sebagaimana seharusnya sejak awal.

Keduanya tidak menghapus kebutuhan akan bench. Keduanya menjadikannya satu-satunya hal yang kamu butuhkan, karena optimiser tanpa metric tidak mengoptimalkan apa pun.

Yang tersisa adalah disiplin. Prompt harus berada di version control, dalam file, di sebelah kode yang mengirimnya — bukan di baris database yang diedit seseorang pada hari Selasa. Prompt butuh version identifier yang disimpan bersama setiap output yang dihasilkannya, atau ketika suatu hari terjadi regresi, kamu tidak bisa mencari tahu apa yang berubah. Prompt butuh bench dalam continuous integration, karena prompt adalah satu bagian dari sistemmu yang bisa diam-diam dibuat tidak valid oleh vendor dengan men-deploy model baru. Dan prompt butuh kasus: bukan seratus kasus cerdas, cukup dua puluh kasus membosankan yang rusak kuartal lalu, disimpan selamanya. Bench adalah deliverable. Prompt adalah produk sampingannya.

Semua dalam bab ini diukur dalam akurasi. Setiap varian itu juga punya harga.

System prompt yang membeli 21,7 poin dikirim pada setiap panggilan, selamanya. Dua contoh yang membeli tujuh poin dikirim pada setiap panggilan, selamanya. Enam belas yang membeli dua belas poin dikirim pada setiap panggilan, selamanya, dan panjangnya kira-kira sepuluh kali pertanyaan yang benar-benar ditanyakan user. Chain of thought yang tidak membeli apa pun menghasilkan sembilan puluh delapan token ekstra per request, dan output token adalah jenis yang mahal.

Tidak satu pun dari itu terlihat dalam tabel akurasi, dan semuanya terlihat di invoice.

Bab 16 membahas unit yang sebenarnya menjadi denominasi keputusan-keputusan itu. Token sebagai unit billing, context window sebagai budget dan bukan memori, mengapa percakapan empat puluh giliran berbiaya jauh lebih dari empat puluh kali giliran pertama, apa yang dibayar dan tidak dibayar oleh prompt caching, dan mengapa urutan prompt-mu menentukan apakah cache hit sama sekali — yang ternyata menjadi alasan kedua, sepenuhnya ekonomis, untuk menaruh materi stabil terlebih dahulu dan materi variabel terakhir.

Bench dan setiap tabel dihasilkan dengan Qwen/Qwen2.5-0.5B-Instruct di bawah greedy decoding, jadi semuanya bereproduksi persis. Dokumentasi Hugging Face tentang chat templates adalah referensi untuk apa sebenarnya perluasan marker template dari Bab 11, dan untuk fakta bahwa model yang dikirim dengan template yang salah adalah kegagalan nyata dan berulang. Untuk efek posisi dan format pada skala production, bukan skala laboratorium, kutipan di atas adalah sumber primer; panduan prompting vendor berguna untuk contohnya dan sebaiknya dibaca dengan mengetahui bahwa tidak satu pun menerbitkan interval.