Fine-tuning, retrieval mı yoksa prompt mu? Karar ekonomik

“Fine-tune yapmalı mıyız?” sanki bir model sorusuymuş gibi sorulur. Oysa hiçbir benchmark’ın yanıtlamadığı bir şekle sahip bir bütçe sorusudur: bir kez ne ödenir, soru başına ne ödenir ve dünya her değiştiğinde yeniden ne ödenir.

Üç rota aynı şeyi yapmanın üç yolu da değildir ve vendor’lar bunu çoğu blog yazısından daha açık söyler. OpenAI’ın supervised fine-tuning’in en iyi olduğu şeyler tablosu dört kullanım listeler: classification, nüanslı translation, belirli bir formatta content generation ve instruction-following hatalarını düzeltme.¹ Bunların hiçbiri “modele bilmediği bir şeyi öğretmek” değildir. Faydanın özeti şudur: “daha az örnek ve context data içeren daha kısa prompts kullanabilirsiniz; bu, ölçekte token maliyetinden tasarruf sağlar ve latency’yi düşürebilir” — özelliği satan şirketten gelen, faturaya dair bir argüman.

Yani:

• Fine-tuning biçim ve davranış öğretir. Ton, format, bir yanıtın şekli, gösterebildiğin ama tarif edemediğin bir sınır. Bunun yayımlanmış en güçlü hâli LIMA’nın Superficial Alignment Hypothesis’idir: bilgi pretraining’den gelir, alignment çoğunlukla hangi format sub-distribution’ında konuşulacağını öğretir — bu yüzden orada bin seçilmiş örnek yetmişti.²
• Retrieval değişen facts sağlar. Dokümantasyonundaki bir düzenlemenin modele dokunmadan yanıta ulaşabildiği üç yöntemden tekidir.
• Prompting gerçek vakaların çoğunu kapsar ve dürüst baseline’dır. In-context learning, Language Models are Few-Shot Learners’dan beri varsayılan yöntemdir: görev prompt içinde gösterilir ve hiçbir weight hareket etmez.³

Ortadaki hatanın kapısını iki ölçümlü makale kapatır. Ovadia ve çalışma arkadaşları bilgiyi unsupervised fine-tuning ile enjekte etmeyi retrieval ile enjekte etmeyle karşılaştırdı; retrieval, base model’in pretraining’de zaten gördüğü facts dâhil tutarlı biçimde kazandı.⁴ Gekhman ve çalışma arkadaşları hasarı ölçtü: yeni bilgi getiren örnekler yavaş fitted olur ve model sonunda onları fitted ettikçe diğer sorulardaki hallucination oranı yükselir.⁵ Facts’i fine-tuning ile öğretmek yalnızca başarısız olmaz; train etmediğin yanıtlara da zarar verir.

Bu yarı sonuçlandı. Ekonomik yarı sonuçlanmadı ve bölümün geri kalanı o.

Tek vaka, üç yolla çalıştırıldı: her hafta değişen kendi dokümantasyonun üzerinde teknik destek.

Corpus gerçek ve bu diskte: çalışan bir yazılım repository’sinin iç dokümantasyon olarak tuttuğu 23 Markdown dokümanı — build rehberi, brand kuralları, translation brief, on servis kılavuzu, performance ve security notları. Bölüm 7’deki encoding olan o200k_base ile ölçüldü:

documents                              23
characters                        159,223
words                              22,194
tokens (o200k_base)                42,921
tokens with per-file headers       43,158

Kırk üç bin token bu karar için rahat bir boyut: her modern window’a sığar, yani üç rota da gerçekten kullanılabilir. On milyonda karar senin yerine verilmiştir ve cevap retrieval’dır.

Şimdi “haftalık” kelimesinin yaptığı iş. Dokümantasyon değişkenliği genellikle iddia edilir; burada ise o repository’nin version history’sinden sayıldı:

Dokümanlar yaklaşık iki haftada bir hareket ediyor. Kullanıcıya görünen strings — ki destek masasına gerçekte sorulanlar bunlardır — var oldukları her hafta değişti, haftada yaklaşık yirmi commit. Seçtiğimiz rota buna dayanmak zorunda ve “train ettiğin şey ne sıklıkla değişiyor?” sorusunun yanıtı bir görüşte değil, kendi repository’nde bir sayıda bulunuyor.

Bu corpus’a karşı konu başına bir tane olmak üzere yirmi gerçekçi destek sorusu yazıldı ve aşağıdaki her rakam bu yirmi soru üzerinden hesaplandı.

Çalışan en basit şey: tüm corpus’u system prompt’a koy, soruyu sona ekle ve model’in bulmasını sağla.

system instructions                       140 tokens
the 23 documents                       43,158 tokens
the question (median of 20 measured)       13 tokens
the answer (the one assumption)           150 tokens

Oradaki her sayı sayıldı, sonuncusu hariç: 150 output token bir varsayım, Bölüm 16’nın faturalandırdığı assistant turn aralığında seçildi. Burada çalıştırılmamış tek rakam odur, üç rotaya da aynı şekilde uygulanır ve break-even bölümü değiştirdiğinde sonucun ne kadar oynadığını tam olarak gösterir.

Provider’ın 7 Eylül 2026’daki sayfasından okunan oranlarla — milyon input token başına $1.50, milyon output başına $9.00⁶ — bu, soru başına $0.066317 eder. On üç token’lık bir yanıt için kırk üç bin token’ı yeniden okumaya para ödüyorsun.

Bölüm 16’nın düzeltmesi doğrudan uygulanır: corpus stabil ve başta, yani mükemmel bir cache prefix; geri okumak onda bir maliyetlidir — soru başına $0.007864, %88 kesinti. Bölüm 16’nın uyarısı da, o bölümün işaretleyip fiyatlandırmadığı biçimde geçerlidir. Bu provider write premium almıyor; kira alıyor. Explicit cache, stored token başına saatlik $0.000001 tutuyor,⁶ yani 43,298 token’ı sıcak tutmak

herhangi biri bir şey sorsa da sormasa da bu maliyete gelir. Bu, boş bir oda için altı ayda $189.78 demektir. Kirayı soru başına tasarrufa böldüğünde koşul tek satırda çıkar: bu corpus’u caching etmek, haftalık cache rebuild de sayıldığında saatte 0,74 sorunun — ayda 546’nın — üstünde kendini öder. Bunun altında, para tasarrufu için açtığın özellik para kaybettirir.

Aynı rota, aynı code, tek flag, faturanın beş katı. Bölüm 16 bunun yanlış yerde duran timestamp yüzünden olan bir versiyonunu bulmuştu; burada trafik dışında yanlış hiçbir şey yok. Cache hacim üzerine bir bahistir ve bu provider’da bahsi saatlik koyarsın.

Bölüm 19’un retriever’ı, değiştirilmeden: section boundary’lerden contextual header ile kes, indexle, prompt’a en iyi dört alıntıyı koy. Yirmi soru üzerinden ölçüldü:

chunks produced from the corpus              330
mean tokens of a chunk's own text          124.9
mean tokens of the four retrieved extracts   884
prompt per question (140 + 884 + 13)       1,037
one-off embedding of every chunk        46,823 tokens

Rota bire göre kırk iki kat daha az prompt token, soru başına $0.002906. Index’i kurmak, milyon embedding token başına $0.15 ile $0.0070 tutar⁶ — üç sorudan az — ve dokümantasyon her değiştiğinde sıfırdan rebuild etmek yine $0.0070 tutar. Altı ay boyunca tüm index’i her hafta rebuild etmek on sekiz sent tutar.

Bir şeyin üzerinde durmaya değer. Retrieval, prompt caching’i yok eder. Stabil prefix artık 140 token’lık system instruction’dır; 141. token’dan itibaren prompt her call’da farklıdır, çünkü alıntılar soru başına seçilir. Ve 140 token, Bölüm 16’nın alıntıladığı her cache minimumunun altındadır. Bu yüzden rota iki hiç cached olamaz; kulağa kötü geliyor ama değil: 1,037 token’ı cache etmemek, 43,298 token’ı cache etmekten ucuzdur.

Taşımaya değer genel kural şudur: iki büyük token tasarrufu tekniği aynı content üzerinde birbirini dışlar ve kazanan, daha çok token’ı kaldırandır. Retrieval bunların %97,6’sını kaldırır.

House style’da iki yüz örnekle train et, sonra hiç dokümantasyon eklemeden soru sor.

training examples                            200
training tokens                           24,389
epochs                                         3
prompt per question (15 + 13)                 28

Training maliyeti 24,389 × 3 × milyon başına $10.00 = $0.7317. Tüm construction cost bu, bir kahveden ucuz; tam da bu yüzden birçok ekip işe yarayıp yaramadığını kontrol etmeden önce bunu öder.

Şimdi tuzak ve bu bölümün varlık sebebi. Fine-tuned model, çalıştırılırken base model’iyle aynı maliyette değildir. Pricing page tek cümlede söylüyor: “Gemini 3’ten başlayan model inference için tuned model endpoint prediction price, base model’in 1,5 katı olacaktır.”⁶ Training değil. Model yaşadığı sürece her token’daki inference.

Öyleyse formüle koy. $p_i$ ve $p_o$ base input ve output fiyatları, $m$ tuned multiplier, $L_R$ yerine geçtiğin rotanın prompt uzunluğu, $L_F$ fine-tuning sonrası prompt uzunluğu ve $O$ answer length olsun. Fine-tuning soru başına yalnızca şu durumda daha ucuzdur:

İlk terim açık: yeni kısa prompt’un, markup ile. İkincisi açık değil ve para oraya gidiyor — answer üzerindeki surcharge, bunun prompt’unla ilgisi yok ve training bunu kısaltamaz. Ölçülen sayılarla — $m = 1.5$, $L_F = 28$, $O = 150$, $p_o/p_i = 6$ — eşik şudur:

answer   50 tokens -> the prompt it replaces must exceed   192 tokens
answer  150 tokens -> the prompt it replaces must exceed   492 tokens
answer  400 tokens -> the prompt it replaces must exceed 1,242 tokens
answer 1000 tokens -> the prompt it replaces must exceed 3,042 tokens

Ölçülen answer length’te 492 token — bunun 450’si prompt değil answer surcharge. Bundan daha kısa bir prompt’u değiştirmek, her hacimde ve sonsuza kadar soru başına daha pahalıdır; eşik assistant’ın ne kadar konuştuğuyla doğrusal büyür, bu yüzden uzun yanıtlar yazan biri ne kadar prompt silerse silsin daha ucuz token’a fine-tune ederek ulaşamaz.

Aynı olgunun diğer uçtan cümlesi şudur. Fine-tuned rotanın soru başına $0.002088’inin %97,0’ı answer’dır. Fine-tuning kalan yüzde üçü optimize eder.

Bu rotaların herhangi birini dört sayı tanımlar: bir kez ne ödediğin, dokümantasyon değiştiğinde ne ödediğin, ne olursa olsun saatlik ne ödediğin ve soru başına ne ödediğin. Bu, Bölüm 16’nın computeCost’sini değiştirmeden genişletir.

import { computeCost, type Pricing, type Usage } from "./cost";   // Chapter 16

export interface Route {
  name: string;
  setupUSD: number;            // paid once, before the first question
  perRefreshUSD: number;       // paid every time the documentation changes
  standingUSDPerHour: number;  // paid per hour whatever the traffic
  pricing: Pricing;
  usage: Usage;                // one question and its answer
}

export const perQueryUSD = (r: Route) => computeCost(r.pricing, r.usage);

const HOURS_PER_MONTH = (24 * 365.25) / 12;

export function totalUSD(
  r: Route, months: number, queriesPerMonth: number, refreshesPerMonth: number,
) {
  return r.setupUSD
       + months * refreshesPerMonth * r.perRefreshUSD
       + months * HOURS_PER_MONTH * r.standingUSDPerHour
       + months * queriesPerMonth * perQueryUSD(r);
}

/** Monthly volume at which `b` overtakes `a`. null = it never does. */
export function crossover(
  a: Route, b: Route, months: number, refreshesPerMonth: number,
): number | null {
  const fixed = (r: Route) =>
      r.setupUSD
    + months * refreshesPerMonth * r.perRefreshUSD
    + months * HOURS_PER_MONTH * r.standingUSDPerHour;
  const dFixed = fixed(b) - fixed(a);                     // b's extra fixed cost
  const dVar = perQueryUSD(a) - perQueryUSD(b);           // b's per-question saving
  if (dVar <= 0) return null;                             // b is never cheaper
  return Math.max(0, dFixed / dVar / months);
}

Tuned model farklı bir fiyat listesi değildir, aynı listenin çarpılmış hâlidir:

const TUNED_MULTIPLIER = 1.5;   // read from the provider's pricing page, 2026-09-07

const scale = (p: Pricing, k: number): Pricing => ({
  input: p.input.map(t => ({ ...t, price: t.price * k })),
  cachedInput: p.cachedInput!.map(t => ({ ...t, price: t.price * k })),
  output: p.output.map(t => ({ ...t, price: t.price * k })),   
});

Vurgulanan tek satır, önceki bölümün tüm argümanının code olarak yazılmış hâlidir: multiplier output üzerine de iner.

Altı ay, dokümantasyon haftalık yenilenirken:

Ve bir bütçenin gerçekte ihtiyaç duyduğu dört sayı olan crossover’lar:

retrieval -> fine-tune, documentation never changes:     148 questions / month
retrieval -> fine-tune, documentation refreshed weekly: 3,989 questions / month
prompt (no cache) -> retrieval:                            1 question / month
prompt (no cache) -> prompt (cached):                    546 questions / month

İlk ikisini birlikte oku, çünkü bölümün ana noktası onlar. Durağan bir corpus fine-tuning’in yüz elli soruda kendini ödemesini sağlar; haftalık değişen bir corpus aynı crossover’ı yirmi yedi kat oynatır ve model hakkında hiçbir şey değişmemiştir — yalnızca onun için ne sıklıkla yeniden ödeme yaptığın değişmiştir. Construction cost dipnottur; maintenance cost karardır.

Buradan yoğun bir destek masasının fine-tune etmesi gerektiği sonucuna varırsan aritmetik seninle aynı fikirde. Yine de yanlış ve sıradaki bölüm nedenini anlatıyor.

Maliyet sayfasının hesaplayamadığı bir sütun var, bu yüzden bu bölüm fine-tune’ı çalıştırıyor: lokal olarak, küçük bir açık model üzerinde, adapter bir library’den çekilmek yerine elle yazılarak. Bölüm 11 LoRA’yı kurmuştu; işte burada Qwen2.5-0.5B-Instruct’nın 24 layer’ının tamamındaki q_proj ve v_proj üzerinde rank 8 ile:

class LoRALinear(nn.Module):
    def __init__(self, base: nn.Linear, r=8, alpha=16):
        super().__init__(); self.base = base
        for p in self.base.parameters():
            p.requires_grad = False              # the model is frozen  
        self.A = nn.Parameter(torch.zeros(r, base.in_features))
        nn.init.normal_(self.A, std=1 / r)
        self.B = nn.Parameter(torch.zeros(base.out_features, r))
        self.s = alpha / r
        self.on = True                           # so the same run can compare both

    def forward(self, x):
        y = self.base(x)
        return y + (x @ self.A.T @ self.B.T) * self.s if self.on else y

İki yüz training example corpus’tan mekanik olarak geliyor, bu yüzden yeniden üretilebilir: soru, soruya çevrilmiş bir section heading; answer ise o section’ın kendi metni, katı bir house style içinde — Short answer: ile başlayan bir satır, dosya path’iyle Source: başlayan bir satır. Öğretilen formattır; path ise fact’tir. Sonra yirmi held-out soru üzerinde iki sayı: answer house style’da çıkıyor mu ve soruyu gerçekten yanıtlayan dosyanın adını veriyor mu?

İki baseline tabloyu okunur kılar ve ikisi de sonradan eklenmiş fikir değil, Bölüm 4’ün ısrarıdır. Yirmi doğru yanıtın onu aynı dosyadır, bu yüzden soruyu yok sayıp her zaman CLAUDE.md yanıtını veren bir model 10/20 alır. Retriever’ın da kendi tavanı vardır: bu yirmi soru boyunca dört alıntısında doğru dosya 14 kez bulunur ve 7 kez ilk sıradadır; yani onu kullanan herhangi bir reader’ın alabileceği en yüksek skor 14/20’dir.

LoRA modules 48   trainable parameters 540,672 (0.109 % of the model)
400 steps, 2 epochs, 0.76 s/step on 16 CPU threads, 304 s in total
mean loss over the first 50 steps 3.7363 -> over the last 50 steps 2.4197

                                        house style   correct source
always answer the most common file             --          10 / 20
the retriever's own ceiling                    --          14 / 20
base model, closed book                    0 / 20           0 / 20
fine-tuned, closed book                   19 / 20           8 / 20
base model, four retrieved extracts       13 / 20           2 / 20
fine-tuned, four retrieved extracts        1 / 20           1 / 20

Biçim tamamen ve hızlı öğrenildi. Sıfırdan yirmide on dokuza; 540,672 parametreli bir adapter’dan — model’in %0,109’u — üstelik ortada ekran kartı olmayan bir processor’da beş dakikalık training ile.

Facts öğrenilmedi. Yirmide sekiz, soruyu tamamen yok sayarak aldığın ondan ayırt edilemez; Bölüm 4’ün yirmi sample üzerindeki interval’ı bunu yüksek sesle söyler. O dosya path’leri training data’da üç kez vardı; çıkan şey plausible-looking bir Source: satırıyla bitirme alışkanlığıydı. Bu bölümün başındaki soru sorulduğunda fine-tuned model Short answer: 10.x . . . yanıtını verdi ve CLAUDE.md kaynak gösterdi. CLAUDE.md içinde bulunan doğru yanıt 18.17.0’dır.

Sonra form bozuldu; deneyi haklı çıkaran satır da bu. Fine-tuned model’e bin token’lık retrieved alıntılar ver — training prompt’larının her biri yirmi sekiz token olduğu için hiç görmediği bir prompt şekli — ve house style 19/20’den 1/20’ye çöker. Bu bölümün başındaki soruda 18.17.0 yanıtını verir — doğru ve train edildiği formatın hiçbiri yok. Yani fine-tuning bir format öğretmedi; training set’indeki prompts’a koşullu bir format öğretti ve farklı görünen ilk prompt formatı da beraberinde götürdü. Neye fine-tune edersen model’in iyi olduğu tek input distribution o olur ve bunu kimse spreadsheet’e koymaz.

Metric hakkında son bir not, doğrudan Bölüm 29’a işaret ediyor: “correct source” form ve fact’i birlikte skorlar; iki retrieval satırının da o sorunun fact’ini doğru almasına rağmen korkunç görünmesinin nedeni bu. Tek end-to-end sayı üç şeyi saklıyordu — 14/20 recall’da bir retriever, 0.5B reader ve citation formatı — ve hangisini düzelteceğini seçmek, ölçtükten sonra değil önce ayırmayı gerektirir.

Şimdi vendor’ların senin için doldurduğu sütun. Fine-tuned model sahip olduğun bir varlık değildir; üzerinde bitiş tarihi yazılı, başkasının base model’ine ait bir kiradır. 7 Eylül 2026’da OpenAI’ın pricing page’inin fine-tuning bölümünde şu notice tam olarak yer alıyordu:

OpenAI is winding down the fine-tuning platform. The platform is no longer accessible to new users, but existing users of the fine-tuning platform will be able to create training jobs for the coming months. All fine-tuned models will remain available for inference until their base models are deprecated.⁷

Zaman çizelgesi gününe kadar tarihlenmiş: 7 Mayıs 2026, hiç fine-tune yapmamış organisations’a kapandı; 2 Temmuz 2026, altmış gün içinde fine-tuned model üzerinde inference çalıştırmamış olanlara kapandı; 6 Ocak 2027, hiç yeni job yok.⁸ Aynı sayfa fine-tuned model’lerin kendilerinin kapanışını da planlıyor — ft-gpt-3.5-turbo, ft-gpt-4, ft-gpt-4.1-nano, ft-babbage-002, ft-davinci-002 — 23 Ekim 2026’da; her biri için bir recommended replacement base model ile, yani kibarca: yeniden train et.

Diğer frontier vendor sana kira bile satmadı. Anthropic’in documentation index’i 699 sayfa listeliyor ve hiçbiri fine-tuning hakkında değil; Bedrock pricing page’in model-customisation bölümleri Amazon Nova, Amazon Titan, Cohere, Meta ve OpenAI open-weight models’ı kapsıyor, Claude yok.⁹¹⁰ Mimarinin bir fine-tune’a bağlıysa üç frontier ailesinden biri hiçbir bütçede senin için mevcut değildir.

Self-hosting, model üzerindeki kirayı makine üzerindeki kirayla değiştirir ve AWS bu aritmetiği kendi sayfasında yapar: customised model için provisioned throughput’un bir model unit’i, bir aylık commitment, “1 model unit × $21.18 × 24 hours × 31 days = $15,757.92” ayda.¹⁰ Metali doğrudan kiralamak daha ucuzdur ama bedava değildir — H100 için on demand GPU-hour başına $3.99, preemptible $1.99¹¹ — kimse bir şey sormasa da ayakta kalması gereken tek kart için ayda yaklaşık $2,900. Retrieval rotasının tamamı, ayda on bin soruda altı ay için $174.52’dir.

LoRA’nın teknik değil bütçe argümanı olarak yerini kazandığı yer burasıdır. Aynı model üzerinde ölçüldüğünde attention ve feed-forward layer’lar üzerinde rank-16 adapter 8,798,208 parametredir — model’in %1,781’i, bfloat16’da 17.6 MB — 0.988 GB base weights’e karşı; optimiser ve gradient state’i 140.77 MB’dir, full fine-tuning ise 7.90 GB ister, 56 kat fark. Sonuç daha ucuz training değil; tek loaded base model’in birçok adapter’a hizmet edebilmesidir, GPU’nun fixed cost’unun herhangi bir şeye bölünebilmesinin tek yolu budur. Managed training bunu yansıtır: 16B’ye kadar low-rank için milyon token başına $0.48, full için $0.54, job başına $4.00 minimumla.¹¹ Ayrıntı o tabandır. Üç epoch için 24,389 token’da bu corpus üzerindeki her retraining, hesaplanan $0.04 yerine $4.00 faturalandırılır — yirmi altı haftalık çalışmada doksan bir sentlik aritmetiğe karşı $104 minimum.

Yalnızca faturada görünen iki sütun daha.

Data residency yaklaşık yüzde ona mal olur ve iki provider bu rakamda aynı fikirde. OpenAI, 5 Mart 2026 ve sonrasında yayımlanan model’ler için data-residency endpoints üzerinde “%10 uplift” alır;⁷ Vertex non-global endpoints’i $1.50 yerine $1.65 fiyatlar, aynı yüzde on.⁶ Bunu tuned endpoint’in yüzde elli maliyetiyle karşılaştırınca söylenti tersine döner: residency ucuzdur, fine-tuning değildir — ve fine-tuning zaten private seçenek değildir; corpus provider’a her iki durumda da ulaşır, call başına bir kez yerine training zamanında bir kez.

Verine konmuş en açık fiyat aynı sayfadadır; bir fine-tuned model’i iki kez listeler: data sharing enabled iken inference tam yarıdır — input’ta $4.00 yerine $2.00, output’ta $16.00 yerine $8.00.⁷ Provider’ın gönderdiğini tutmasına izin vermek %50 discount değerindedir; bu da onun için ne kadar değerli olduğunu söyler.

Distillation — büyük bir model’in answers’ı üzerinde kendi küçük model’ini train etmek — genellikle ikisinden de çıkış yolu olarak sunulur. Fiyatlandırınca değildir, çünkü teacher değiştirmeye çalıştığın sistemdir: retrieval rotasına iki yüz soru sorarak iki yüz training example üretmek 200 × $0.002906 = $0.58 tutar; bunlar üzerinde train etmek için $0.73’ün üstüne. Distillation, retrieval pipeline çalıştıktan sonra onu ucuzlatmak için yaptığın bir şeydir ve retriever’ın yanlış aldığı her fact’i miras alır.

Para görünen yarıdır. Diğeri bekleme olarak gelir ve faturayla aynı nedene sahiptir: model bir kelime söylemeden önce tüm prompt’u okur. Bölüm 13 dokunabildiğin bir model üzerinde prefill’i decode’a karşı ölçmüştü; burada aynı ölçüm, tek run, tek makine, prompt uzunluğuna karşı:

Mutlak sayılar on altı CPU thread’i üzerindeki 0.5B model’e aittir ve hosted frontier model hakkında hiçbir şey söylemez. Şekil aynen aktarılır: prefill prompt uzunluğuyla büyür ve token başına maliyet, Bölüm 9’un quadratic terimi görünmeye başladıkça sürünerek artar — bin token’da 4.79 ms, sekiz binde 6.04 ms; sadece daha uzun olduğu için %26 penalty.

Üç rota için sonuç doğrudandır. Rota bir soru başına kırk üç bin token prefill eder ve cache hit bunu katlanılır kılar — Bölüm 16 nedenini açıkladı: cache read prefill işini değiştirir, böylece latency ve parayı tek transaction’da satın alır. Rota iki bin token prefill eder ve önce index’e bir round trip ekler. Rota üç yirmi sekiz token prefill eder ve hiçbir şey eklemez; bu da onu yanıtlamada üçü arasında ölçülebilir biçimde en hızlı kılar. Sadece yanlış şeyi yanıtlar.

Model problemi gibi görünen ama olmayan üç failure — burada on dakika, sonra bir ay kazandırır:

Ve tüm bunların üzerindeki requirement: bu karar evaluation set olmadan verilemez ve fine-tune satan vendor da bunu söylüyor. OpenAI’ın guide’ı “Fine-tuning’e yalnızca evals kurduktan sonra yatırım yapın. Fine-tuned model’inizin base model’den daha iyi performans gösterip göstermediğini belirlemenin güvenilir bir yoluna ihtiyacınız var” diye açılır ve elli iyi örnek hiçbir şeyi değiştirmiyorsa problemin data volume değil task veya prompt olduğunu ekler.¹ Bu bölümün kullandığı yirmi soru bir mekanizma gösterir ve supplier seçemez — Bölüm 4 nedenini ve elinde yalnızca yirmi vaka olduğunda ne yapacağını ölçmüştü: tekrar et, eşleştir ve run’lar arasındaki spread’i ölç — bu da Bölüm 29’dur.

Dört sütun ve yalnızca sonuncusu karar verir:

Buradan çıkan kural, akılda tutulacak kadar kısa: prompt ile başla; facts hareket ediyorsa retrieval ekle; fine-tune’ı yalnızca hâlâ eksik olan şeyin fact değil shape olduğunu ölçtüğünde yap — ve yapmadan önce prompt’u değil answer’ı fiyatlandır.

Başta kararını vermiş gelenler için rahatsız edici versiyon: bu bölümde ölçülen vakada fine-tuning ayda dört bin sorunun üstünde en ucuz rotadır ve facts üzerinde hâlâ her şeye CLAUDE.md yanıtını vermeyi yenemez.

Buradaki her fiyat token başınaydı ve her rota token’ları düzenlemenin farklı bir yoluydu. Bu artık doğru olmamaya başlıyor.

Bölüm 21 metinden ayrılıyor. Modele giren image bir string değil, token sayısını senin seçmediğin bir patch grid’idir; konuşulan bir dakika bir provider’da saniyeyle, diğerinde audio token ile faturalandırılır; synthetic speech character ile, transcription dakika ile, raw compute GPU-second ile satılır. Bu bölümün tek bir cost function ile yanıtladığı soru — hangisi daha ucuz? — units eşleşene kadar sorulamaz bile ve internetteki hiçbir calculator bunları normalize etmez.

Aynı zamanda training’in yeniden ortaya çıktığı yer de burasıdır: trigger word’lü bir image adapter ve sample’dan cloned voice. Bu da sıradaki bölümün açtığı soruyu doğurur; retorik değildir: bir language model’i fine-tuning neredeyse her zaman yanlış satın almaysa, bir image model’i fine-tuning neden neredeyse her zaman doğrusudur?

Bu bölümdeki her fiyat, eşik ve multiplier provider’ın kendi sayfasından 7 Eylül 2026 tarihinde okundu ve o tarihle alıntılandı, çünkü hepsi değişecek. Ölçülen rakamlar — token counts, chunk sizes, retrieval sizes, training loss, scores, latencies ve version-history counts — aynı gün tek makinede üretildi ve yukarıda tarif edilen corpus’tan yeniden üretilebilir.

Lokal deneylerde greedy decoding ile Qwen/Qwen2.5-0.5B-Instruct kullanıldı, bu yüzden tam olarak yeniden üretilirler; adapter yukarıda yazdırılan on iki satırlık class’tır, q_proj ve v_proj üzerinde rank 8. Corpus, çalışan bir yazılım repository’sinin tracked Markdown documentation’ıdır; append-only iki log hariç tutuldu ve change rate o repository’nin version history’sinden sayıldı.