Bir LLM’i pretraining etmek: Veri, compute, scaling laws ve maliyet

Objective değişmez. Model hâlâ bir sonraki token’ı tahmin eder, loss hâlâ Bölüm 8’in çarpanlara ayrılmasına uygulanan Bölüm 4’ün cross-entropy’sidir, optimiser hâlâ Bölüm 6’daki AdamW’dir. Pretraining yeni bir algoritma değildir; bütçelenmesi gerekecek kadar büyük bir corpus üzerinde çalıştırılan aynı algoritmadır. Bunu iki şey mümkün kılar: label’lar bedavadır, çünkü $t$ konumunun hedefi $t+1$ konumundaki token’dır ve metnin içinde zaten vardır; ayrıca Bölüm 6’nın son kısmı itirazı kaldırmıştır, çünkü klasik kuralların izin verdiğinden çok daha fazla parametreye sahip bir model dağılmaz, iyileşir. Ortaya çıkan şey bir base model’dir — cevap vermekten çok metni sürdüren bir şey.

Bunlardan herhangi biri bütçelenmeden önce sayılması gerekir ve alan bunu tek bir formülle sayar:

burada $N$ parametre sayısı, $D$ training token’ları ve $C$ toplam floating-point operations’tır. Kaplan ve arkadaşları bunu iki adımda türetir.¹ Forward: parametre başına token başına 2 FLOP, çünkü bir matrix multiply’daki her parametre token başına bir kez, bir çarpma ve bir toplamada kullanılır. Backward: forward’ın iki katı, çünkü Bölüm 5’in backward pass’i her layer’da iki gradient hesaplar — sinyalin yolculuğu sürsün diye layer’ın input’larına göre ve layer’ın weight’lerine göre — her biri forward ile aynı boyutta bir matrix multiply olduğundan $4N$.

Bütün türetme bu; inanmak yerine kontrol etmeye değer. PyTorch gerçek bir FLOP sayacıyla gelir: torch.utils.flop_counter.FlopCounterMode. Bu sayaç, modelin dispatch ettiği her operation’ı yakalar ve gerçek işi toplar. Dört büyüklük mertebesi boyunca çalıştır; en büyüğü, şekilleri ayırıp memory ayırmayan meta device üzerinde olsun:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Forward+backward’ın forward’a oranı 3.000, her ölçekte tam olarak böyle: tesadüfen iyi çıkan bir yaklaşım değil, türetmeden haberi olmayan bir sayacın yukarıdaki aritmetik özdeşliği yuvarlak bir sayı olarak geri vermesi.

Ölçülen toplam daha sonra, $N$ embedding matrislerini saydığında $6ND$ değerinin %3 ila %17 üstünde durur — ve bu cümle önemlidir, çünkü iki kurucu makale $N$ değerini farklı sayar. Kaplan, “çok daha temiz scaling laws ürettiği” için “tüm vocabulary ve positional embeddings”i hariç tutar (§1.3); Chinchilla’nın Ek F’si “toplam parametre sayısına embedding matrislerini de sayıyoruz” der.² İlk satırın gösterdiği gibi, geniş bir vocabulary ve dar bir hidden dimension için ikisi dokuz kat farklıdır.

Kalan fark, $6ND$’in bilinçli olarak dışarıda bıraktığı şeydir: attention skorları. Kaplan’ın Denklem (2.2)’si forward maliyetini $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ olarak yazar ve ikinci terimi $d_{\text{model}} \gg n_{\text{ctx}}/12$ olduğu için atar — 2020’de güvenli, şimdi daha az güvenli; $T/d$ büyüdükçe oranın yukarı kaymasının nedeni de bu — bu yüzden burada iki satır $T$ değerini 1.024 olarak paylaşır ve $d$ 768’den 1.600’e çıktığında oran düşer, 1.145’ten 1.100’e. Bu, Bölüm 9’un tanıttığı ve Bölüm 16’nın fiyata çevirdiği $O(T^2)$ maliyetidir.

Compute, bir çalıştırmanın ne kadar süreceğine karar verir; memory, başlayıp başlayamayacağına. Düz fp32 AdamW ile eğit ve her parametre dört sayı taşır: weight, gradient, Adam’ın running mean’i $m$ ve variance’ı $v$ — Bölüm 6’da elle kurulan iki ortalama. Dört byte’lık dört sayı, tek bir activation’dan önce parametre başına 16 byte eder. 8 GB’lık bir laptop GPU’sunda, step içinde graph’ın canlı olmadığı noktadaki resident allocation alınarak ölçüldü:

Tahmin ve ölçüm %3 içinde uyuşuyor. Sürpriz son sütunda: activation’lar modeli gölgede bırakıyor. 89 MB kalıcı durum isteyen aynı 5,8 milyon parametreli model, 128 batch’te 4.681 MB activation istiyor — modelin elli iki katı — ve bunun çoğu transformer bile değil. Bu, logits: token başına vocabulary boyutunda bir vektör, giriş başına dört byte. Son satırda 512 MB, ilk satırda 393 MB. Vocabulary boyutu Bölüm 7’de seçilmişti ve hâlâ kartta neyin sığacağını belirliyor.

Hangi terimin baskın olduğu çalıştırmanın şekline bağlıdır; bu yüzden Micikevicius ve arkadaşları memory’nin “activation’ların baskınlığı altında” olduğunu söylerken³ ZeRO, 1,5 milyar parametreli bir modelin yalnızca model durumları için “en az 24 GB” istediğini söyler.⁴ ZeRO aynı 16 byte’a başka bir yoldan ulaşır — fp16 weights için $2\Psi$, fp16 gradients için $2\Psi$, fp32 master weights ve Adam’ın iki moment’inin her biri için $4\Psi$ — ki 70 milyar parametre için bu, tek bir activation’dan önce 1,12 terabayt, yani on dört adet 80 GB GPU eder.

Bunların hiçbiri frontier ölçekte tek bir device’a sığmaz; bu yüzden çalıştırma aynı anda dört şekilde bölünür. Data parallelism, modelin bir kopyasını her GPU’ya koyar ve gradient’ları ortalar — varsayılan budur; ZeRO’nun iyileştirdiği şey, optimiser state’in redundant kopyalarını tutmayı reddetmesidir. Tensor parallelism, tekil matrisleri device’lar arasında böler. Pipeline parallelism, her device’a bitişik bir layer grubu verir. Context parallelism, sequence’in kendisini böler; yalnızca $T$ attention terimi baskın olacak kadar uzadığında gerekir. Llama 3’ün Tablo 4’ü dördünü birden listeler: 16.384 H100 GPU üzerinde tensor 8, context 16’ya kadar, pipeline 16, data 128’e kadar.⁵ Bu kursun bu konuda söyleyeceği her şey bu; distributed training engineering başlı başına bir dönemlik derstir ve Stanford’ın CS336’sı, 5’ten 8’e lecture’ları ve koduyla, o dönemdir.⁶ Delegasyondan geriye tek bir sayı kalır: model FLOPs utilisation — gerçek bir çalıştırmanın bir GPU’nun peak aritmetiğinin hangi fraksiyonunu başardığı — ve düzenli $6ND$ değerini wall-clock time’a, dolayısıyla paraya çeviren şey budur.

Ocak 2020’de Kaplan ve arkadaşları bir transformer grid’i eğitti ve test loss’un, altıdan fazla büyüklük mertebesi boyunca üç kaynağın her birinde power law izlediğini buldu.¹ §1.2 üç fitted law verir:

yanında data için $\alpha_D \approx 0.095$ ve optimal ayrılmış compute için $\alpha_C^{\min} \approx 0.050$ bulunur. Sabitler evrensel değildir ve makale bunu söyler: “$N_c$, $C_c^{\min}$ ve $D_c$ değerlerinin kesin sayısal değerleri vocabulary size ve tokenization’a bağlıdır; dolayısıyla temel bir anlamları yoktur.”

Üsler küçücüktür: parametreleri on katına çıkarmak kalan loss’tan $10^{0.076} \approx 1.19$ çarpanı kadar alır. Bu hiçbir şey gibi gelir ve buradaki en önemli gerçek de budur — getiriler berbat ve asla durmuyor. Küçük üsse sahip bir power law, bir sonraki büyüklük mertebesinin de yardımcı olacağını, önceki kadar olmasa da sonsuza dek yardımcı olacağını vaat eder. Compute satın almak kumar olmaktan çıkar, yayımlanmış döviz kuru olan bir satın almaya dönüşür; sermayenin kilidini açan argüman tam olarak buydu.

Sonra reçete geldi ve makalenin sektöre çok paraya mal olacak şekilde yanıldığı yer burasıydı. Kaplan’ın Tablo 6’sı $N_{\text{opt}} \propto C^{0.73}$ ve $D_{\text{opt}} \propto C^{0.27}$ değerlerini verir: compute’un on katı, yalnızca 1,9 kat daha fazla metinle beslenen 5,4 kat daha büyük bir model demektir. Abstract açıktır — “optimal compute-efficient training, çok büyük modelleri nispeten mütevazı miktarda data üzerinde eğitmeyi ve convergence’dan ciddi şekilde önce durmayı içerir.” Alan da aynen bunu yaptı: GPT-3, 300 milyar token üzerinde 175 milyar parametre,⁷ Gopher 300 milyar üzerinde 280 milyar, Megatron-Turing NLG 270 milyar üzerinde 530 milyar.² Tahtanın tamamında parametre başına yarım token ile iki token arası.

Mart 2022’de Hoffmann ve arkadaşları 70 milyondan 16 milyar parametreye kadar 400’den fazla model eğitti ve üç bağımsız yoldan zıt sonuca ulaştı.² Tablo 2, $N_{\text{opt}} \propto C^{a}$ içindeki $a$ üssünü 0,50, 0,49 ve 0,46 olarak bildirir; Kaplan’ınki 0,73’tür. Düz dille: model boyutu ve training data eşit oranda büyümelidir.

İkinci yaklaşımları, bu bölümün başındaki sweep’in milyon kat küçük ölçekte yeniden ürettiği yaklaşımdır: bir bütçe sabitle, birçok boyutu tam o bütçede eğit, final loss’u model boyutuna karşı çiz.

Held-out loss, token başına nat cinsinden; parantez içinde parametre başına token; her bütçedeki en iyi model kalın; tire, bütçenin corpus’ta bulunandan fazla metin istemesi ya da boyutun o sweep’te taranan aralığın dışında kalması nedeniyle çalıştırılmayan bir noktadır.

Bir sütunda aşağı oku: loss düşer, dip yapar ve tekrar yükselir. Bir model, bütçesi için fazla küçük olabildiği kadar kolay fazla büyük de olabilir — $10^{14}$ değerinde 295.808 yerine 665.280 parametre seçmenin cezası 0,08 nat’tır; yukarıda fitted envelope üzerinde bu, doğru boyutlandırılmış bir modelin %18 daha az compute ile ulaştığı loss’tur. Yanlış şekli seçmek bütçenin beşte birini çöpe atar. Bu, dört yüz model yerine tek GPU üzerinde bir öğleden sonra üretilmiş Chinchilla Şekil 3’tür.

Şimdi yatay oku. $10^{13}$ değerinde en iyi model sweep’teki en küçük modeldir; $10^{14}$ değerinde 295.808 parametre, iki yanında bracket edilmiş durumdadır. Bütçe büyüdükçe optimum sağa kayar; düzeltmenin tüm içeriği budur. Makalenin üçüncü yaklaşımını — her çalıştırma üzerinde $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ yüzeyini — fit et ve $C = 6ND$ koşuluyla minimize et:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, bir laptop’tan, Kaplan’ın 0.73’üne karşı. Üç bütçeli bir fit’ten üç basamak uyum şanstır; ilk basamağa kadar uyum şans değildir. Üs seyahat eder — sabit etmez, çünkü bu optimumlardaki token-parametre oranı 20 değil, 170 ile 540 arasındadır. Üç neden, hepsi öğretici. $E$ sıfıra fit eder, çünkü 4 nat üzerindeki bir loss’ta çalıştırma Chinchilla’nın fit’ine hâkim olan entropy floor’a hiç yakın değildir. Batch size ve learning rate her nokta için ayrı tuned edilmek yerine sabit tutuldu; bu da en az step alan çalıştırmaları sakatlar — onlar da büyük modellerdir: $10^{13}$ FLOPs değerinde 1,28 milyon parametreli bir model toplam 159 optimiser step alır; Kaplan’ın $S_{\min}$ teriminin herhangi bir modelin ihtiyaç duyduğunu söylediği birkaç binin çok altında. Bir scaling law bir rejimin içinde fit edilir ve bu rejim Chinchilla’nın altı büyüklük mertebesi altındadır.

Bu yüzden makalenin abstract’ı: “mevcut large language models ciddi şekilde undertrained.” Chinchilla bunun gösterimidir — Gopher’ın 300 milyar token üzerinde 280 milyarıyla aynı toplam compute ile, 1,4 trilyon token üzerinde 70 milyar parametre; 57 MMLU task’ının 51’inde onu geçer, %60’a karşı %67,5.² Dört kat daha küçük, dört buçuk kat daha fazla metin, aynı para, daha iyi model.

O meşhur oran hakkında iki uyarı. “Parametre başına yirmi token” makalede geçen bir cümle değildir; makale yalnızca “model boyutunun her iki katına çıkışında training token sayısı da iki katına çıkmalıdır” der. 20, Tablo 3’ten ve Chinchilla’nın kendi 1,4 T üzerinde 70 B’sinden çıkarımdır. Ve hassasiyeti yayımlandığından kötüdür: Besiroglu ve arkadaşları Şekil 4’ün digitisation’ından yeniden fit etti, orijinal parametrelerin “yeniden oluşturulan data’ya kötü fit ettiğini” ve aralıkların “data point sayısı göz önüne alındığında akıl almaz derecede dar” olduğunu buldu; dürüst aralığı parametre başına “4 ile 40 arasında” token olarak koydu.⁸

Chinchilla’nın yöntemindeki bir ayrıntı, Bölüm 1’in learning-rate schedules hakkında verdiği sözü yerine getirir. Cosine schedule, token bütçesiyle eşleştirilmelidir. 10 milyon token görecek bir model learning rate’ini 10 milyon token’da sıfıra indirmelidir; ona 100 milyon için boyutlandırılmış bir schedule verip erken durdurursan, çok yüksek bir rate’te inişin ortasındaki loss’u okuyorsun demektir. Chinchilla, tam bunu kontrol etmek için her modeli dört cycle length’te eğitir; yukarıdaki sweep de aynı nedenle schedule’ını bütçeden ayarlar.

Alandaki en yararlı ampirik sonuçlardır ve rutin olarak fazla satılırlar. Dört sınır.

Loss’u tahmin ederler, capability’yi değil. Sol taraf held-out text üzerindeki cross-entropy’dir. Bu makalelerde hiçbir şey, bir modelin doğru SQL yazıp yazmayacağı, zararlı bir isteği reddedip reddetmeyeceği ya da bir tool kullanıp kullanmayacağı hakkında iddiaya izin vermez. Bu yine Bölüm 5’in dersidir: loss tahmini, parasını ödediğin davranışın tahmini değildir.

Türetilmezler, fit edilirler. Hiçbir teori $\alpha_N = 0.076$ üretmez. Sabitler tokenizer ile hareket eder — bu yüzden Bölüm 8’in açıkladığı gibi iki tokenizer arasında perplexity karşılaştırması anlamsızdır — ve data mixture, architecture ve optimiser ile de hareket eder. Yayımlanmış her yasa, onu üreten setup’ın yasasıdır; Meta’nın Llama 3’ten önce kendi yasasını yeniden fit etmesinin nedeni de bu.⁵

Her step için taze bir token varsayarlar, bu da sessizce sonsuz bir corpus varsayar. Muennighoff ve arkadaşları corpus bitince ne olduğunu ölçtü: tekrarlanan data’nın dört epoch’una kadar maliyet neredeyse yoktur — dört kez görülen 44 milyar unique token üzerinde 8,7 milyar parametreli bir model, 178 milyar unique token üzerindeki aynı modele göre “yalnızca %0,5 daha yüksek validation loss” ile bitirdi — yaklaşık on altı epoch’tan sonra ise ek compute hiçbir şey satın almaz.⁹

Ve artık kimse compute-optimal eğitmiyor. Chinchilla training maliyetini minimize eder; deployed model ise bundan sonra üretilen token başına kabaca $2N$ FLOPs öder, sonsuza dek. LLaMA 1 bunu açıkça söyledi: “hedef bir performance düzeyi verildiğinde, tercih edilen model eğitmesi en hızlı olan değil, inference’ta en hızlı olandır.”¹⁰ Sardana ve arkadaşları bunun yerine $6ND_{\text{train}} + 2ND_{\text{inference}}$ değerini minimize ederek formelleştirdi ve bir milyar request bekleyen herkesin “Chinchilla-optimal’den daha küçük ve daha uzun” eğitmesi gerektiğini buldu.¹¹ Llama 3’ün §9.1’i katılır: küçük modelleri “compute optimal training noktasının çok ötesinde” eğitilir; effectively training compute’u inference efficiency ile takas eder.⁵ Oran eskimiş değildir; sadece artık sorulan soru olmayan bir soruya cevap verir.

Loss pürüzsüz biçimde düşer. Benchmark skorları bazen düşmez. Wei ve arkadaşları, bir task’ın training compute’un büyüklük mertebeleri boyunca şans seviyesinde kaldığı ve sonra sıçradığı örnekler topladı — GPT-3’te yaklaşık $2 \times 10^{22}$ FLOPs civarında görünen üç basamaklı aritmetik, $3$ ile $5 \times 10^{23}$ arasında tahminin üstüne çıkan MMLU — ve desene ad verdi: “bir ability, küçük modellerde yok ama büyük modellerde varsa emergent’tır.”¹² Bu gerçek bir özellikse ucuz deneylerden extrapolate etmek güvenli değildir, çünkü satın aldığın capability test etmeye paran yeten hiçbir ölçekte var olmayabilir.

Schaeffer, Miranda ve Koyejo bunun çoğunun ölçüm artefact’i olduğunu savundu; mekanizma da aritmetiktir.¹³ Token başına loss pürüzsüz düşer, bu yüzden tek bir token’ın doğru olma olasılığı, $\exp(-\mathcal{L})$, kademeli olarak iyileşir. Modeli $L$-token bir cevap üzerinde exact string match ile puanlarsan bu olasılığı $L$ kuvvetine çıkarırsın — büyük bir kuvvete yükseltilmiş pürüzsüz bir eğri uçurum gibi görünür. Aynı çıktılar üzerinde hepsini istemek yerine token sayan bir metriğe geç ve “ailenin performance’ı scale arttıkça pürüzsüz, sürekli ve öngörülebilir biçimde iyileşir.”

Hatırlanacak sayı onların audit’idir — “BIG-Bench’teki 39 preferred metric’in en fazla 5’i emergence gösteriyor”; iki discontinuous metric iddia edilen vakaların %92’sinden fazlasını açıklıyor — ve uyarıları da öyledir: “bu makaledeki hiçbir şey large language models’ın emergent abilities gösteremeyeceğini iddia ediyor şeklinde yorumlanmamalıdır.” Bir grafikteki sıçrama, aksi gösterilene kadar metric hakkında kanıttır. Bölüm 29’da bu senin problemin olacak, çünkü hard-cutoff metric seçmek, fark etmeden vereceğin bir karardır.

Corpus, pretraining çalıştırmasının denklem eklenmemiş kısmıdır ve en sonuç doğuran kararların çoğu burada yaşar. Ham madde bir web crawl’dır: Common Crawl’ın Ağustos 2026 arşivi “2,14 milyar web sayfası veya 360 TiB sıkıştırılmamış içerik” barındırır; bunun bir ayı ücretsiz indirilebilir.¹⁴ Neredeyse hiçbiri olduğu gibi kullanılabilir değildir. T5 makalesi crawl’ın “büyük ölçüde menüler, hata mesajları veya duplicate text gibi anlamsız ya da boiler-plate text” içerdiğini söyler ve tanıttığı C4 pipeline’ı kaba heuristics listesidir — yalnızca terminal punctuation ile biten satırları tut, üçten az cümle içeren sayfaları at, curly brace veya halka açık bir küfür listesinden bir kelime içeren her sayfayı at — aylık yirmi terabayt metni yaklaşık 750 GB’a çevirir.¹⁵

“Kaba” doğru kelime. Dodge ve arkadaşları bu filtrelerin neyi kaldırdığını audit etti ve obscenity blocklist’in African-American English dokümanlarının %42’sini ve Hispanic-aligned English dokümanlarının %32’sini, White-aligned English’in %6,2’sine karşılık sildiğini, geriye %97,8’i son kategoriden oluşan bir corpus bıraktığını buldu.¹⁶ Dialect hakkında fikri olmayan bir kuralın fikri vardı.

Sonra deduplication gelir; bu housekeeping değildir: Lee ve arkadaşları C4’te 61 kelimelik bir cümlenin 61.036 kez tekrarlandığını buldu ve deduplication’ın modellerin “ezberlenmiş metin yayma” oranını generated token’ların %1,9’undan %0,19’una, on kat düşürdüğünü gösterdi.¹⁷ Yine de daha fazlası daha iyi değildir — FineWeb ekibi 96 crawl üzerinde global deduplication yaptı, 4 trilyon token elde etti ve ölçülebilir gain alamadı; sonra her crawl’ı ayrı deduplicate etti, 20 trilyon elde etti ve mevcut en iyi corpus ile eşleşti.¹⁸

Sonra contamination. Llama 3 kendininkini ölçtü ve yayımladı: AGIEval’in %98’i, BIG-Bench Hard’ın %95’i ve HellaSwag’in %85’i training set ile 8-gram overlap gösteriyordu; MMLU için overlap o kadar yüksekti ki “iyi bir performance gain estimate almak imkânsız.”⁵ GPT-3’ün §4’ü, benchmark’ları data içinde bırakan ve geri dönüş yolu olmayan bir filtering bug bildirir: “cost considerations nedeniyle modeli yeniden eğitmek infeasible’dı.”⁷

Provenance çözülmemiş kısımdır. The Pile, Books3 adlı 100,96 GiB’lik bir bileşenle geldi — corpus’un %12’si ve makalenin kendi consent table’ına göre private torrent tracker’dan gelen kitaplar;¹⁹ Ağustos 2023’te bir copyright complaint sonrası offline’a alındı. Eylül 2026 itibarıyla hukuki pozisyon belirsizdir ve trend diye alıntılanan üç ABD kararı birbiriyle uyuşmaz. Alsup, hukuken edinilmiş kitaplarla training’i “son derece transformative” bulurken pirated kopyalardan kurulan bir library’nin öyle olmadığını belirtti; Anthropic bu yarıyı $1,5 milyar karşılığında, 482.460 eseri kapsayacak şekilde, eser başına yaklaşık $3.000 ile, 20 Temmuz 2026’da onaylanan şekilde settle etti.²⁰ Chhabria, Meta lehine summary judgment verdi ama kararının “Meta’nın copyrighted materials’ı language models eğitmek için kullanmasının lawful olduğu önerisini desteklemediğini”, yalnızca “bu plaintiffs’ın yanlış argümanları sunduğunu” yazdı.²¹ Ross Intelligence aleyhine karar veren Bibas, “bugün önümde yalnızca non-generative AI var” diye not etti.²² Hiçbir ABD appellate court bu soru hakkında karar vermedi.

İnsanlar loss’un yapamadığı parçaları yapar. TIME, Ocak 2023’te OpenAI için Sama firması üzerinden toxic text label’layan çalışanların, çocuk cinsel istismarı, işkence ve kendine zarar vermeyi anlatan pasajları okurken “saatte yaklaşık $1,32 ile $2 arasında” net aldığını, OpenAI’ın bu iş için Sama’ya saatte $12,50 ödediğini bildirdi; Sama hem ücret aralığına hem kotaya itiraz ediyor.²³ Bu pretraining’in kendisi değil, pretraining etrafındaki filtering’dir — ama aynı faturadadır ve bir insanın oturduğu yer orasıdır.

Elektrik gerçektir ve genellikle yanlış alıntılanır. Yayımlanmış en dikkatli rakam BLOOM’undur: çalıştırma için 1.082.990 GPU-saat, 433 MWh ve 24,7 ton CO₂ eşdeğeri; manufacturing ve idle nodes sayıldığında 50,5;²⁴ Patterson ve arkadaşları GPT-3’ü 1.287 MWh ve 552 ton olarak verir.²⁵ İki uyarı. BLOOM’un avantajı efficiency değil, 57 g CO₂/kWh’lik Fransız nükleer şebekesidir — OPT-175B’den daha fazla enerji kullandı. Ve alanın en çok alıntılanan emissions rakamı, Strubell ve arkadaşlarının neural architecture search için verdiği 626.155 lb, daha sonra 88 kat fazla gösterildi; çünkü search’ün proxy üzerinde değil, full model size’da çalıştığı varsayılmıştı.²⁶ LBNL’nin framing’i savunulabilir olandır: ABD data centre’ları 2024’te 192 TWh kullandı, ulusal elektriğin %4,7’si — tek bir çalıştırmaya değil, bir sektöre bağlı bir sayı.²⁷

Ana çizgi, Bender ve arkadaşlarının documentation debt dediği şeydir: “datasets hem belgelenmemiş hem de post hoc belgelenemeyecek kadar büyükken kendimizi bir durumun içine koymak.”²⁸ Yukarıdaki her gerçek, birisi baktığı için var. Çoğu insanın kullandığı modellerin arkasındaki corpora için kimse bakamaz.

Şimdi herkesin istediği aritmetik: dört cited input’tan, bayatladıklarında hangisinin değiştirileceği belli olsun diye.

Son iki sütunu birlikte oku. $10.000’de, kiralık tek node üzerinde iki haftada 5 milyar parametreli bir model alırsın. $100.000.000’de aritmetik 546 milyar parametre der — ve üç ay boyunca birbirine bağlanmış on iki bin H100 ister; bu kredi kartıyla kiralayacağın bir şey değildir. Yaklaşık $100.000’den sonra bağlayıcı kısıt para olmaktan çıkar, cluster olur.

Böyle bir tabloya güvenmeden önce, gerçek maliyeti yayımlanmış çalıştırmalara karşı test et — llm.c, GPT-2 124M’yi 8×A100 node üzerinde “~90 dakikada” “yaklaşık $20” karşılığında, GPT-2 1.6B’yi ise 8×H100 node üzerinde 24 saatte $672’ye yeniden üretir.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

İkisi de yaklaşık %15 içinde; bu, bu tür bir estimate’in hak ettiği doğruluk civarıdır ve genellikle alıntılandığı doğruluktan çok daha iyidir.

Bu konuda en çok tekrarlanan rakam, 2019’da yaklaşık $43.000’a mal olan GPT-2 sınıfı bir modelin bugün birkaç on dolara yeniden üretilebildiğidir. Modern yarı iyi belgelenmiştir; tarihsel yarı değildir.

Bugün. Karpathy’nin nanochat README’si: “kendi GPT-2 capability LLM’inizi ... yalnızca $48’e (~2 saat 8XH100 GPU node) ... eğitebilirsiniz. Spot instance üzerinde toplam maliyet ~$15’e daha yakın olabilir.”³² Burada “GPT-2 capability” kesin ve yayımlanmıştır — 14 Mart 2026 itibarıyla en iyi entry’si 1,65 saat olan leaderboard’da GPT-2’nin CORE score’u 0.256525’i geçmek. $48, Lambda’nın list price’ı $3,99’un altında, GPU-saat başına $3 varsayar; list price ile $64’e daha yakındır.

2019’da. Birincil kaynak yoktur: OpenAI hiçbir süre veya maliyet yayımlamadı. Zincir The Register, Şubat 2019, fiyat ve süre vermeden “256 Google TPU3 core” bildirimiyle başlar; sonra Synced, Haziran 2019, hardware maliyetinin Google Cloud’da saatte $256 olduğunu not eder ve açıkça “OpenAI training duration’ı belirtmedi” der. $43.008, saatte $256 ile kimsenin kaynak göstermediği varsayılan 168 saatin çarpımıdır.

Dürüst manşet şu olur: GPT-2’nin yayımlanmış benchmark skorunu eşleyen bir model bugün kiralık hardware üzerinde $100’ın çok altında eğitilebilir; 2019 maliyeti ise hiç yayımlanmamıştır ve meşhur estimate’i süre hakkında kaynaksız bir tahmine dayanır. Çöküş gerçektir ve modern yarı kredi kartı olan herkes tarafından yeniden üretilebilir; oran ise var olmayan bir sayı üzerinde aritmetiktir. Yayımlanmış training cost’ların genel durumu budur. GPT-3 makalesi hiç dolar tutarı içermez, yalnızca Tablo D.1’de $3.14 \times 10^{23}$ FLOPs vardır;⁷ Llama 3 makalesi de içermez.⁵ Okuduğun her training cost, bir FLOP count, bir hardware varsayımı ve bir fiyat varsayımından yapılmış estimate’tir — her zaman kimin varsayımı olduğunu sormaya değer.

Ortaya çıkan şey sabit bir anda derlenmiş sabit bir corpus görmüştür ve bundan iki özellik çıkar.

İlki knowledge cutoff’tur. Toplama tarihinden sonra model hiçbir şey bilmez — “emin değildir” değil, hiçbir şey — ve bunu söylemek yerine akıcı biçimde uydurur, çünkü bunu söylemek eğitim aldığı bir davranış değildir. Llama 3.1’in model card’ı Aralık 2023 der;³³ her modelin bir tarihi vardır ve bu deployment’ın değil, training data’nın özelliğidir. Etrafından dolaşmak bir retrieval problemidir; bu da Bölüm 19’dur.

İkincisi, base model’in cevaplamak yerine tamamlamasıdır. Ona “Fransa’nın başkenti neresidir?” ver; makul bir continuation başka bir sorudur, çünkü corpus’ta bu string en sık alıştırma listelerinde görünür.

Bir metin tamamlayıcı assistant değildir. Talimatları izlemez, çünkü corpus’ta bir request’in sürdürülmek yerine yerine getirilmesi gerektiğini söyleyen hiçbir şey yoktu. İki katılımcılı bir conversation kavramı yoktur. Zararlı bir prompt’un en olası continuation’ını memnuniyetle üretir, çünkü optimize edildiği tek şey probable olmaktır.

Onu cevap veren bir şeye dönüştürmek, ilkinin yüzde birinin küçük bir kesri kadar maliyetli ikinci bir aşama ister; bu aşama neredeyse tamamen ona istediğin davranışın örneklerini göstermekten ve sonra kendi output’larının çiftlerini karşılaştırmaktan oluşur. Instruction following, chat templates, refusals ve — insanlar buna şaşırır — tool call etme yeteneği hep bu aşamadan gelir. Bölüm 11 bu aşamadır: supervised fine-tuning, RLHF, DPO ve GRPO; ayrıca “aligned”ın ne anlama geldiği ve buna kimin karar verdiği sorusu.

Bu bölümle birlikte okumaya değer başka kaynaklar: Karpathy’nin build-nanogpt’i ve ona eşlik eden video; tam GPT-2 reproduction’ı bu bölümün yapamayacağı bir tempoda baştan sona yürütür. Ayrıca Stanford CS324, Large Language Models; data ve environmental impact üzerine lecture’ları, bu kursun bir kez ele alıp delege ettiği malzemede yukarıdaki bölümden daha derine iner.