Pretraining LLM: Data, Komputasi, Scaling Laws, dan Biaya

Tidak ada yang berubah pada objective. Model masih memprediksi token berikutnya, loss masih cross-entropy dari Bab 4 yang diterapkan pada faktorisasi Bab 8, optimiser masih AdamW dari Bab 6. Pretraining bukan algoritma baru; ia adalah algoritma yang sama, dijalankan pada corpus yang cukup besar sehingga run-nya harus dianggarkan. Dua hal membuatnya mungkin: labelnya gratis, karena target untuk posisi $t$ adalah token di $t+1$ dan sudah ada di dalam teks; dan bagian terakhir Bab 6 menghapus keberatan, karena model dengan parameter jauh lebih banyak daripada yang diizinkan aturan klasik tidak hancur, melainkan membaik. Hasilnya adalah base model — sesuatu yang melanjutkan teks, bukan menjawab.

Sebelum semua ini bisa dianggarkan, ia harus dihitung, dan bidang ini menghitungnya dengan satu rumus:

di mana $N$ adalah jumlah parameter, $D$ adalah token pelatihan, dan $C$ adalah total operasi floating-point. Kaplan et al. menurunkannya dalam dua langkah.¹ Forward: 2 FLOP per parameter per token, karena setiap parameter dalam perkalian matriks digunakan sekali per token, dalam satu perkalian dan satu penjumlahan. Backward: dua kali forward, karena backward pass dari Bab 5 menghitung dua gradient di setiap layer — terhadap input layer, agar sinyal terus berjalan, dan terhadap weight-nya — masing-masing perkalian matriks sebesar forward, sehingga $4N$.

Itulah seluruh penurunannya, dan ini layak dicek alih-alih dipercaya begitu saja. PyTorch menyertakan penghitung FLOP nyata, torch.utils.flop_counter.FlopCounterMode, yang mencegat setiap operasi yang dikirim model dan menjumlahkan kerja aktualnya. Jalankan melintasi empat orde magnitudo, yang terbesar pada perangkat meta, yang mengalokasikan shape tanpa memori:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Rasio forward+backward terhadap forward adalah 3.000, persis, di setiap skala: bukan aproksimasi yang kebetulan bagus, melainkan identitas aritmetika di atas yang dikembalikan sebagai angka bulat oleh penghitung yang tidak tahu apa pun tentang penurunannya.

Total terukur kemudian berada antara 3 % dan 17 % di atas $6ND$, setelah $N$ menghitung matriks embedding — dan klausa itu penting, karena dua paper pendiri menghitung $N$ secara berbeda. Kaplan mengecualikan “semua vocabulary dan positional embeddings” karena tindakan itu “menghasilkan scaling laws yang jauh lebih bersih” (§1.3); Appendix F Chinchilla mengatakan “kami juga menghitung matriks embeddings dalam total jumlah parameter”.² Untuk vocabulary lebar dan dimensi hidden sempit, keduanya berbeda dengan faktor sembilan, seperti ditunjukkan baris pertama.

Sisa celahnya adalah apa yang sengaja dihilangkan $6ND$: skor attention. Eq. (2.2) Kaplan menulis biaya forward sebagai $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ dan membuang suku kedua karena $d_{\text{model}} \gg n_{\text{ctx}}/12$ — aman pada 2020, kurang aman sekarang, dan menjadi alasan rasio merangkak naik saat $T/d$ tumbuh — itulah sebabnya dua baris di sini berbagi $T$ sebesar 1.024 dan rasionya turun, dari 1.145 ke 1.100, ketika $d$ naik dari 768 ke 1.600. Itulah biaya $O(T^2)$ yang diperkenalkan Bab 9 dan diubah menjadi harga oleh Bab 16.

Komputasi menentukan berapa lama sebuah run berlangsung; memori menentukan apakah ia bisa dimulai. Latih dengan AdamW fp32 polos dan setiap parameter membawa empat angka: weight, gradient-nya, serta running mean $m$ dan variance $v$ milik Adam — dua rata-rata yang dibangun dengan tangan di Bab 6. Empat angka masing-masing empat byte berarti 16 byte per parameter, sebelum satu activation pun. Diukur pada GPU laptop 8 GB, mengambil alokasi resident pada titik di dalam step ketika tidak ada graph yang hidup:

Prediksi dan pengukuran cocok dalam 3 %. Kejutannya ada di kolom terakhir: activations membuat model terlihat kecil. Model 5,8 juta parameter yang sama, yang membutuhkan 89 MB state persisten, membutuhkan 4.681 MB activations pada batch 128 — lima puluh dua kali ukuran model — dan sebagian besar bahkan bukan transformer. Itu adalah logits, satu vektor berukuran vocabulary per token dengan empat byte per entri: 512 MB pada baris terakhir, 393 MB pada baris pertama. Ukuran vocabulary dipilih di Bab 7, dan ia masih menentukan apa yang muat di kartu.

Suku mana yang dominan bergantung pada bentuk run, itulah sebabnya Micikevicius et al. mengatakan memori “didominasi oleh activations”³ sementara ZeRO mengatakan model 1,5 miliar parameter membutuhkan “setidaknya 24 GB” hanya untuk state model.⁴ ZeRO mencapai 16 byte yang sama lewat rute lain — $2\Psi$ untuk weight fp16, $2\Psi$ untuk gradient fp16, $4\Psi$ masing-masing untuk master weights fp32 dan dua moment Adam — yang untuk 70 miliar parameter berarti 1,12 terabyte, setara empat belas GPU 80 GB sebelum satu activation pun.

Tidak ada satu pun dari itu yang muat di satu perangkat pada skala frontier, jadi run dipecah empat cara sekaligus. Data parallelism menaruh salinan model di setiap GPU dan merata-ratakan gradient — default-nya, dan yang ditingkatkan ZeRO dengan menolak menyimpan salinan state optimiser yang redundan. Tensor parallelism memecah matriks individual lintas perangkat. Pipeline parallelism memberi setiap perangkat sekelompok layer yang berurutan. Context parallelism memecah sekuens itu sendiri, diperlukan hanya ketika $T$ cukup panjang hingga suku attention mendominasi. Tabel 4 Llama 3 mencantumkan keempatnya sekaligus: tensor 8, context hingga 16, pipeline 16, data hingga 128, di 16.384 GPU H100.⁵ Hanya itu yang akan dikatakan kursus ini tentangnya; rekayasa distributed training adalah satu semester tersendiri, dan CS336 Stanford adalah semester itu, kuliah 5 sampai 8, beserta kodenya.⁶ Yang tersisa dari delegasi ini adalah satu angka, model FLOPs utilisation — fraksi aritmetika puncak GPU yang dicapai run nyata — yang mengubah $6ND$ yang rapi menjadi waktu wall-clock dan karena itu menjadi uang.

Pada Januari 2020, Kaplan et al. melatih grid transformer dan menemukan bahwa test loss mengikuti power law pada masing-masing dari tiga resource selama lebih dari enam orde magnitudo.¹ §1.2 mereka memberi tiga hukum hasil fit:

dengan pendamping $\alpha_D \approx 0.095$ untuk data dan $\alpha_C^{\min} \approx 0.050$ untuk komputasi yang dialokasikan optimal. Konstanta-konstantanya tidak universal, dan paper itu mengatakannya: “nilai numerik tepat dari $N_c$, $C_c^{\min}$, dan $D_c$ bergantung pada ukuran vocabulary dan tokenization sehingga tidak memiliki makna fundamental.”

Eksponennya sangat kecil: parameter sepuluh kali lebih banyak membeli faktor $10^{0.076} \approx 1.19$ dari sisa loss. Itu terdengar seperti tidak ada apa-apanya, dan justru itulah fakta terpenting di sini — return-nya buruk dan tidak pernah berhenti. Power law dengan eksponen kecil menjanjikan bahwa orde magnitudo berikutnya akan membantu, lebih sedikit daripada yang sebelumnya, selamanya. Membeli komputasi berhenti menjadi perjudian dan menjadi pembelian dengan kurs tukar yang dipublikasikan, persis argumen yang membuka modal.

Lalu datang resepnya, dan di sinilah paper itu salah dengan cara yang membuat industri menghabiskan banyak uang. Tabel 6 Kaplan memberi $N_{\text{opt}} \propto C^{0.73}$ dan $D_{\text{opt}} \propto C^{0.27}$: komputasi sepuluh kali berarti model 5,4 kali lebih besar yang diberi teks hanya 1,9 kali lebih banyak. Abstraknya eksplisit — “pelatihan yang optimal secara efisiensi komputasi melibatkan pelatihan model sangat besar pada jumlah data yang relatif sederhana dan berhenti jauh sebelum konvergensi.” Bidang ini melakukan persis itu: GPT-3 175 miliar parameter pada 300 miliar token,⁷ Gopher 280 miliar pada 300 miliar, Megatron-Turing NLG 530 miliar pada 270 miliar.² Setengah token hingga dua token per parameter, di seluruh papan.

Pada Maret 2022, Hoffmann et al. melatih lebih dari 400 model dari 70 juta hingga 16 miliar parameter dan mencapai kesimpulan berlawanan lewat tiga rute independen.² Tabel 2 mereka melaporkan eksponen $a$ dalam $N_{\text{opt}} \propto C^{a}$ sebagai 0,50, 0,49, dan 0,46, melawan 0,73 dari Kaplan. Dalam bahasa sederhana: ukuran model dan data pelatihan harus tumbuh dalam proporsi yang sama.

Pendekatan kedua mereka adalah yang direproduksi oleh sweep di awal bab ini, pada skala sepersejuta: tetapkan anggaran, latih banyak ukuran tepat pada anggaran itu, plot loss akhir terhadap ukuran model.

Held-out loss dalam nats per token, token per parameter dalam tanda kurung, tebal untuk model terbaik pada setiap anggaran; tanda pisah adalah titik yang tidak dijalankan, karena anggaran menuntut lebih banyak teks daripada yang tersedia di corpus atau ukuran itu berada di luar yang disapu di sana.

Baca turun satu kolom: loss turun, mencapai dasar, lalu naik lagi. Model bisa terlalu besar untuk anggarannya semudah terlalu kecil — pada $10^{14}$ penalti memilih 665.280 parameter daripada 295.808 adalah 0,08 nats, yang pada envelope yang di-fit di atas adalah loss yang dicapai model berukuran tepat dengan komputasi 18 % lebih sedikit. Memilih shape yang salah membuang seperlima anggaran. Itu adalah Gambar 3 Chinchilla dalam satu sore di satu GPU, bukan dengan empat ratus model.

Sekarang baca melintang. Pada $10^{13}$ model terbaik adalah model terkecil yang disapu; pada $10^{14}$ ia 295.808 parameter, diapit di kedua sisi. Optimum bergerak ke kanan saat anggaran tumbuh, dan itulah seluruh isi koreksi. Fit pendekatan ketiga paper itu — surface $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ atas setiap run — lalu minimalkan dengan kendala $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0,46, dari laptop, melawan 0,73 Kaplan. Kecocokan tiga digit dari fit tiga anggaran adalah keberuntungan; kecocokan digit pertama bukan. Eksponen ikut berjalan — konstanta tidak, karena rasio token-terhadap-parameter pada optimum ini 170 hingga 540, bukan 20. Ada tiga alasan, semuanya instruktif. $E$ di-fit ke nol karena pada loss di atas 4 nats run masih jauh dari lantai entropi yang mendominasi fit Chinchilla. Batch size dan learning rate dibuat tetap alih-alih di-tune per titik, yang merugikan run mana pun yang mendapat step paling sedikit — dan itu adalah model besar: pada $10^{13}$ FLOP, model 1,28 juta parameter mendapat total 159 step optimiser, jauh di bawah beberapa ribu yang menurut suku $S_{\min}$ Kaplan dibutuhkan model mana pun. Sebuah scaling law di-fit di dalam sebuah rezim, dan yang ini berada enam orde magnitudo di bawah Chinchilla.

Karena itu abstrak paper tersebut: “large language models saat ini sangat undertrained”. Chinchilla adalah demontrasinya — 70 miliar parameter pada 1,4 triliun token, komputasi total yang sama dengan Gopher 280 miliar pada 300 miliar, mengalahkannya pada 51 dari 57 tugas MMLU, 67,5 % melawan 60 %.² Empat kali lebih kecil, empat setengah kali lebih banyak teks, uang yang sama, model lebih baik.

Dua catatan untuk rasio terkenal itu. “Dua puluh token per parameter” bukan kalimat dalam paper, yang hanya mengatakan bahwa “untuk setiap pelipatan dua ukuran model, jumlah token pelatihan juga harus dilipatgandakan”; angka 20 adalah inferensi dari Tabel 3 dan dari Chinchilla sendiri: 70 B pada 1,4 T. Dan presisinya lebih buruk daripada yang dipublikasikan: Besiroglu et al. melakukan refit dari digitasi Gambar 4, menemukan parameter asli “kurang cocok dengan data rekonstruksi” dengan interval yang “tidak masuk akal ketat mengingat jumlah titik data”, dan menaruh rentang jujurnya pada “antara 4 dan 40” token per parameter.⁸

Satu detail metode Chinchilla menepati janji yang dibuat Bab 1 tentang learning-rate schedules. Cosine schedule harus dicocokkan dengan anggaran token. Model yang akan melihat 10 juta token harus menurunkan learning rate-nya ke nol pada 10 juta token; beri ia schedule untuk 100 juta, hentikan lebih awal, dan kamu membaca loss di tengah penurunan dengan rate yang jauh terlalu tinggi. Chinchilla melatih setiap model pada empat panjang siklus untuk mengendalikan hal ini persis; sweep di atas menetapkan schedule dari anggaran karena alasan yang sama.

Mereka adalah hasil empiris paling berguna di bidang ini dan secara rutin dijual berlebihan. Empat batas.

Mereka memprediksi loss, bukan capability. Sisi kiri adalah cross-entropy pada teks held-out. Tidak ada dalam paper-paper ini yang mengizinkan klaim tentang apakah sebuah model akan menulis SQL yang benar, menolak permintaan berbahaya, atau menggunakan tool. Ini lagi-lagi pelajaran Bab 5: prediksi loss bukan prediksi perilaku yang kamu bayar.

Mereka di-fit, bukan diturunkan. Tidak ada teori yang menghasilkan $\alpha_N = 0.076$. Konstanta bergerak bersama tokenizer — itulah sebabnya perbandingan perplexity lintas dua tokenizer tidak bermakna, seperti dijelaskan Bab 8 — dan bersama campuran data, arsitektur, serta optimiser. Setiap hukum yang dipublikasikan adalah hukum dari setup yang menghasilkannya, itulah sebabnya Meta melakukan refit sendiri sebelum Llama 3.⁵

Mereka mengasumsikan token baru untuk setiap step, yang diam-diam mengasumsikan corpus tak terbatas. Muennighoff et al. mengukur apa yang terjadi ketika corpus habis: hingga empat epoch data berulang hampir tidak ada biayanya — model 8,7 miliar parameter pada 44 miliar token unik yang dilihat empat kali selesai dengan “validation loss hanya 0,5 % lebih tinggi” daripada model yang sama pada 178 miliar token unik — sementara setelah sekitar enam belas epoch, komputasi tambahan tidak membeli apa pun.⁹

Dan tidak ada yang melatih compute-optimal lagi. Chinchilla meminimalkan biaya pelatihan; model yang dideploy kemudian membayar kira-kira $2N$ FLOP per token yang dihasilkan, selamanya. LLaMA 1 mengatakannya gamblang: “dengan target tingkat performa tertentu, model yang lebih disukai bukan yang paling cepat dilatih, melainkan yang paling cepat saat inference”.¹⁰ Sardana et al. memformalkannya dengan meminimalkan $6ND_{\text{train}} + 2ND_{\text{inference}}$ sebagai gantinya, dan menemukan siapa pun yang mengharapkan satu miliar request harus melatih “lebih kecil dan lebih lama daripada Chinchilla-optimal”.¹¹ §9.1 Llama 3 sepakat: model kecilnya dilatih “jauh melampaui titik pelatihan optimal-komputasi, secara efektif menukar komputasi pelatihan dengan efisiensi inference”.⁵ Rasionya tidak usang; ia menjawab pertanyaan yang kini bukan lagi pertanyaan yang diajukan.

Loss turun mulus. Skor benchmark kadang tidak. Wei et al. mengumpulkan kasus ketika sebuah tugas berada di level tebak-tebakan sepanjang orde magnitudo komputasi pelatihan lalu melompat — aritmetika tiga digit muncul pada GPT-3 sekitar $2 \times 10^{22}$ FLOP, MMLU naik di atas tebakan antara $3$ dan $5 \times 10^{23}$ — dan memberi nama polanya: “sebuah ability bersifat emergent jika tidak hadir pada model yang lebih kecil tetapi hadir pada model yang lebih besar”.¹² Jika itu sifat nyata, ekstrapolasi dari eksperimen murah tidak aman, karena capability yang kamu beli mungkin tidak ada pada skala mana pun yang sanggup kamu uji.

Schaeffer, Miranda, dan Koyejo berargumen bahwa sebagian besar adalah artefak pengukuran, dan mekanismenya adalah aritmetika.¹³ Per-token loss turun mulus, sehingga probabilitas satu token benar, $\exp(-\mathcal{L})$, membaik bertahap. Skor model dengan exact string match atas jawaban $L$-token dan kamu menaikkan probabilitas itu ke pangkat $L$ — kurva mulus yang dipangkatkan besar terlihat seperti tebing. Ganti dengan metrik yang menghitung token alih-alih menuntut semuanya benar, pada output yang sama, dan “performa keluarga itu meningkat mulus, kontinu, dan dapat diprediksi seiring bertambahnya skala”.

Audit mereka adalah angka yang perlu diingat — “dari 39 metrik pilihan di BIG-Bench, paling banyak 5 menampilkan emergence”, dengan dua metrik diskontinu menyumbang lebih dari 92 % kasus yang diklaim — begitu pula peringatannya: “tidak ada dalam paper ini yang boleh ditafsirkan sebagai klaim bahwa large language models tidak dapat menampilkan emergent abilities”. Lompatan dalam chart adalah bukti tentang metrik sampai terbukti sebaliknya. Bab 29 adalah tempat hal itu menjadi masalahmu, karena memilih metrik hard-cutoff adalah keputusan yang akan kamu buat tanpa sadar.

Corpus adalah bagian dari run pretraining yang tidak memiliki persamaan terlampir, dan tempat sebagian besar keputusan penting berada. Bahan mentahnya adalah web crawl: arsip Agustus 2026 Common Crawl berisi “2,14 miliar halaman web atau 360 TiB konten tak terkompresi”, satu bulan, gratis untuk diunduh.¹⁴ Hampir tidak ada yang bisa langsung dipakai. Paper T5 mengatakan crawl “sebagian besar terdiri dari teks omong kosong atau boiler-plate seperti menu, pesan error, atau teks duplikat”, dan pipeline C4 yang diperkenalkannya adalah daftar heuristik tumpul — simpan hanya baris yang berakhir dengan tanda baca terminal, buang halaman dengan kurang dari tiga kalimat, buang halaman apa pun yang mengandung kurung kurawal atau kata dari daftar publik kata-kata kasar — mengubah dua puluh terabyte teks bulanan menjadi sekitar 750 GB.¹⁵

Tumpul adalah kata yang tepat. Dodge et al. mengaudit apa yang dihapus filter itu dan menemukan blocklist kata kasar menghapus 42 % dokumen dalam African-American English dan 32 % dalam English yang selaras Hispanik, dibanding 6,2 % dalam English yang selaras White, menyisakan corpus yang 97,8 % berasal dari kategori terakhir.¹⁶ Aturan yang tidak punya opini tentang dialek ternyata punya.

Lalu deduplication, yang bukan sekadar housekeeping: Lee et al. menemukan kalimat 61 kata yang diulang 61.036 kali di C4, dan menunjukkan bahwa deduplication memangkas sepuluh kali lipat laju model “memancarkan teks yang dihafal”, dari 1,9 % token yang dihasilkan menjadi 0,19 %.¹⁷ Namun lebih banyak tidak selalu lebih baik — tim FineWeb melakukan deduplication global di 96 crawl, mendapatkan 4 triliun token dan tidak ada gain terukur, lalu melakukan deduplication tiap crawl secara terpisah, mendapatkan 20 triliun, dan menyamai corpus terbaik yang ada.¹⁸

Lalu contamination. Llama 3 mengukur miliknya sendiri dan mempublikasikannya: 98 % AGIEval, 95 % BIG-Bench Hard, dan 85 % HellaSwag overlap dengan training set menurut 8-gram, dan untuk MMLU overlap begitu tinggi sehingga “mustahil mendapatkan estimasi gain performa yang baik”.⁵ §4 GPT-3 melaporkan bug filtering yang meninggalkan benchmark di dalam data tanpa jalan kembali: “karena pertimbangan biaya, tidak layak untuk melatih ulang model”.⁷

Provenance adalah bagian yang belum terselesaikan. The Pile mengirim komponen 100,96 GiB bernama Books3 — 12 % corpus dan, menurut tabel persetujuan paper itu sendiri, buku dari private torrent tracker;¹⁹ komponen itu dibuat offline pada Agustus 2023 setelah keluhan hak cipta. Posisi hukum per September 2026 belum mapan, dan tiga putusan AS yang dikutip sebagai tren saling tidak sepakat. Alsup menyatakan pelatihan pada buku yang diperoleh secara sah “sangat transformatif” sambil memutuskan bahwa library yang dibangun dari salinan bajakan tidak demikian, dan Anthropic menyelesaikan separuh itu dengan $1,5 miliar untuk 482.460 karya, kira-kira $3.000 masing-masing, disetujui 20 Juli 2026.²⁰ Chhabria mengabulkan summary judgment Meta sambil menulis bahwa putusannya “tidak berarti bahwa penggunaan materi berhak cipta oleh Meta untuk melatih language models-nya adalah sah”, hanya bahwa “para penggugat ini mengajukan argumen yang salah”.²¹ Bibas, memutuskan melawan Ross Intelligence, mencatat bahwa “hanya AI non-generatif yang ada di hadapan saya hari ini”.²² Belum ada pengadilan banding AS yang memutuskan pertanyaan ini.

Manusia mengerjakan bagian yang tidak bisa dikerjakan loss. TIME melaporkan pada Januari 2023 bahwa pekerja yang melabeli teks toksik untuk OpenAI melalui firma Sama membawa pulang “antara sekitar $1,32 dan $2 per jam” membaca bagian yang menggambarkan pelecehan seksual anak, penyiksaan, dan self-harm, sementara OpenAI membayar Sama $12,50 per jam untuk pekerjaan itu; Sama membantah baik rentang upah maupun kuotanya.²³ Itu adalah filtering di sekitar pretraining, bukan pretraining itu sendiri — tetapi ada di invoice yang sama, dan di situlah seorang manusia duduk.

Listriknya nyata dan biasanya salah dikutip. Angka terbitan paling teliti adalah BLOOM: 1.082.990 GPU-hour, 433 MWh, dan 24,7 ton ekuivalen CO₂ untuk run, 50,5 jika menghitung manufaktur dan node idle;²⁴ Patterson et al. menaruh GPT-3 pada 1.287 MWh dan 552 ton.²⁵ Dua peringatan. Keunggulan BLOOM adalah jaringan nuklir Prancis pada 57 g CO₂ per kWh, bukan efisiensi — ia memakai energi lebih banyak daripada OPT-175B. Dan angka emisi yang paling sering dikutip di bidang ini, 626.155 lb dari Strubell et al. untuk neural architecture search, belakangan terbukti 88 kali terlalu tinggi, karena mengasumsikan search berjalan pada ukuran model penuh padahal berjalan pada proxy.²⁶ Framing LBNL adalah yang dapat dipertahankan: data center AS memakai 192 TWh pada 2024, 4,7 % listrik nasional — angka yang melekat pada sebuah industri, bukan pada satu run tertentu.²⁷

Benang merahnya adalah apa yang Bender et al. sebut documentation debt: “menempatkan diri kita dalam situasi ketika dataset sekaligus tidak terdokumentasi dan terlalu besar untuk didokumentasikan post hoc”.²⁸ Setiap fakta di atas ada karena seseorang melihat. Untuk corpora di balik model yang dipakai kebanyakan orang, tidak ada yang bisa.

Sekarang aritmetika yang diinginkan semua orang, dari empat input yang dikutip, sehingga saat nanti basi jelas mana yang perlu diganti.

Baca dua kolom terakhir bersama-sama. Dengan $10.000 kamu mendapat model 5 miliar parameter di satu node sewaan dalam dua pekan. Pada $100.000.000, aritmetikanya mengatakan 546 miliar parameter — dan dua belas ribu H100 yang dirangkai bersama selama tiga bulan, yang bukan sesuatu yang kamu sewa dengan kartu kredit. Lewat sekitar $100.000, constraint yang mengikat berhenti menjadi uang dan menjadi cluster.

Sebelum mempercayai tabel seperti itu, uji terhadap run yang biaya nyatanya dipublikasikan — llm.c mereproduksi GPT-2 124M dalam “~90 menit” di node 8×A100 “dengan sekitar $20”, dan GPT-2 1.6B dalam 24 jam di node 8×H100 seharga $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Keduanya dalam sekitar 15 %, kira-kira tingkat akurasi yang pantas untuk estimasi semacam ini dan jauh lebih baik daripada akurasi yang biasanya dipakai saat mengutipnya.

Angka yang paling sering diulang dalam topik ini adalah bahwa model sekelas GPT-2 yang menelan biaya sekitar $43.000 pada 2019 kini bisa direproduksi dengan beberapa puluh dolar. Separuh modernnya terdokumentasi baik; separuh historisnya tidak.

Hari ini. README nanochat Karpathy: “kamu bisa melatih LLM berkemampuan GPT-2 milikmu sendiri ... hanya dengan $48 (~2 jam node GPU 8XH100) ... Pada spot instance, total biaya bisa lebih dekat ke ~$15.”³² “Kemampuan GPT-2” di sini presisi dan dipublikasikan — mengalahkan skor CORE GPT-2 sebesar 0,256525 — pada leaderboard yang entri terbaiknya per 14 Maret 2026 adalah 1,65 jam. Angka $48 mengasumsikan $3 per GPU-hour, di bawah daftar Lambda $3,99; pada harga daftar, lebih dekat ke $64.

Pada 2019. Tidak ada sumber primer: OpenAI tidak pernah mempublikasikan durasi atau biaya. Rantainya berjalan dari The Register, Februari 2019, melaporkan “256 Google TPU3 cores” tanpa harga dan tanpa durasi; lalu Synced, Juni 2019, mencatat bahwa biaya hardware $256 per jam di Google Cloud dan menyatakan eksplisit bahwa “OpenAI tidak menyebutkan durasi pelatihan”. $43.008 adalah $256 per jam dikali asumsi 168 jam yang tidak pernah punya sumber.

Jadi headline yang jujur adalah: model yang menyamai skor benchmark GPT-2 yang dipublikasikan dapat dilatih hari ini dengan jauh di bawah $100 pada hardware sewaan, dibanding biaya 2019 yang tidak pernah dipublikasikan dan estimasi terkenalnya bertumpu pada tebakan durasi tanpa sumber. Keruntuhannya nyata dan separuh modernnya bisa direproduksi oleh siapa pun dengan kartu kredit; rasio-nya adalah aritmetika atas angka yang tidak ada. Begitulah keadaan biaya pelatihan yang dipublikasikan secara umum. Paper GPT-3 tidak berisi jumlah dolar sama sekali, hanya $3.14 \times 10^{23}$ FLOP di Tabel D.1;⁷ paper Llama 3 juga tidak berisi angka dolar.⁵ Setiap biaya pelatihan yang pernah kamu baca adalah estimasi dari jumlah FLOP, asumsi hardware, dan asumsi harga — selalu layak ditanya asumsi siapa.

Hasilnya telah melihat corpus tetap yang disusun pada momen tetap, dan dua sifat mengikutinya.

Yang pertama adalah knowledge cutoff. Setelah tanggal pengumpulan, model tidak tahu apa-apa — bukan “tidak yakin”, melainkan tidak tahu apa pun — dan ia akan mengarang dengan lancar alih-alih mengatakannya, karena mengatakan itu bukan perilaku yang pernah dilatihkan. Model card Llama 3.1 memberi Desember 2023;³³ setiap model memilikinya, dan itu adalah sifat data pelatihan, bukan deployment. Mengakalinya adalah masalah retrieval, yaitu Bab 19.

Yang kedua adalah bahwa base model melengkapi, bukan menjawab. Beri ia “Apa ibu kota Prancis?” dan kelanjutan yang masuk akal adalah pertanyaan lain, karena dalam corpus string itu paling sering muncul dalam daftar latihan.

Pelengkap teks bukan assistant. Ia tidak mengikuti instruksi, karena tidak ada dalam corpus yang memberi tahu bahwa request harus dipatuhi alih-alih dilanjutkan. Ia tidak punya gagasan tentang percakapan dengan dua peserta. Ia akan dengan senang hati menghasilkan kelanjutan paling mungkin dari prompt berbahaya, karena kemungkinan adalah satu-satunya hal yang pernah dioptimalkan untuknya.

Mengubahnya menjadi sesuatu yang menjawab memerlukan tahap kedua yang biayanya hanya sebagian kecil dari satu persen tahap pertama, dan hampir seluruhnya terdiri dari menunjukkan contoh perilaku yang kamu inginkan lalu membandingkan pasangan output-nya sendiri. Tahap itulah asal instruction following, chat templates, refusals, dan — ini mengejutkan orang — kemampuan memanggil tool. Bab 11 adalah tahap itu: supervised fine-tuning, RLHF, DPO, dan GRPO, serta pertanyaan tentang apa arti “aligned” dan siapa yang memutuskan.

Juga layak dibaca bersama bab ini: build-nanogpt Karpathy dan video pendampingnya, yang menelusuri reproduksi penuh GPT-2 dari ujung ke ujung dengan tempo yang tidak bisa dilakukan bab ini; dan Stanford CS324, Large Language Models, yang kuliah tentang data dan dampak lingkungan membahas lebih dalam materi yang kursus ini perlakukan sekali lalu delegasikan.