Context Engineering: Agent’ın 40. turda neden aptallaşıyor

Anthropic çizgiyi Eylül 2025’te çekti ve iki cümle yan yana durmalı. Prompt engineering, “en iyi sonuçlar için LLM talimatlarını yazma ve düzenleme yöntemleri”dir. Context engineering ise “LLM inference sırasında en uygun token (bilgi) kümesini düzenleme ve sürdürme stratejileri bütünüdür; prompt’ların dışında oraya düşebilecek diğer tüm bilgiler de buna dahildir”.¹

İşlevsel fark ne zaman ve kim tarafından sorularında. Bir prompt bir kez, bir insan tarafından yazılır ve gözden geçirilir. Bir context ise her çağrıda, kimsenin bakmadığı kod tarafından, kimsenin elle yazmadığı malzemeden bir araya getirilir: kırk turluk geçmiş, altı tool sonucu, dört retrieved pasaj, bir kullanıcı profili, on iki JSON schema. Bölüm 15 daha iyi talimatların ne kazandırdığını ölçtü. Bu bölüm, tokenların kendi kendine gelen diğer yüzde doksanı hakkında.

Aynı belge, hepsinin harcadığı kaynağın adını koyuyor: modeller, büyük context hacimlerini parse ederken kullandıkları bir “attention bütçesine” sahiptir. “Eklenen her yeni token bu bütçeyi bir miktar tüketir.” Belirtiyi de adlandırıyor: “context window’daki token sayısı arttıkça, modelin o context’ten bilgiyi doğru hatırlama becerisi azalır” — context rot.¹

Bu son cümle davranışla ilgili bir iddia; yani kontrol edilebilir. Bu sayfanın başındaki tablo da kontrolün kendisi.

Bölüm 22’deki yerel endpoint’e karşı kırk satır — CPU üzerinde Qwen2.5-0.5B-Instruct tutan ve chat-completions biçiminde konuşan küçük bir Python sunucusu; böylece döngü TypeScript’te, tensorlar portun öte tarafında kalıyor.

const DEPTHS = [0, 0.125, 0.25, 0.375, 0.5, 0.625, 0.75, 0.875, 1];

for (const d of DEPTHS) {
  const slot = Math.round(d * (N - 1));
  let hits = 0, other = 0;
  for (let t = 0; t < TRIALS; t++) {
    const recs = buildRecords(N, 1000 + t);          // 25 unique tickets
    const gold = recs[Math.floor(rng(7 + t)() * N)]; // a different one each trial
    const rest = recs.filter((x) => x.ticket !== gold.ticket).slice(0, N - 1);
    const lines = [...rest.slice(0, slot).map((x) => x.line),   
                   gold.line,                                   
                   ...rest.slice(slot).map((x) => x.line)];     
    const r = await complete(prompt(lines, ask(gold.owner)), { maxTokens: 12 });
    const said = /\d{4}/.exec(r.text)?.[0];
    if (said === String(gold.ext)) hits++;
    else if (said && recs.some((x) => String(x.ext) === said)) other++;
  }
}

other sayacı, hayal kırıklığı yaratan bir sonucu işe yarar hâle getiriyor: model yanlış yaptığında kaybolmuş mu, yoksa kendinden emin mi?

Yanıt kendinden emin. İlk olmayan sekiz konum genelinde, 205 yanlış yanıtın 136’sı başka bir talebin dahili hattıydı — gerçek dört haneli bir sayı, doğru biçimlendirilmiş, yanlış satırdan okunmuş. Slot 1’de beş kaçırmanın yalnızca biri böyleydi; slot 7’de yirmi altı kaçırmanın yirmi biri.

Production’da önemli olan ayrım bu. Bulamıyorum diyen bir model fark ettiğin bir bug’dır; komşu satırın numarasını döndüren model ise ship ettiğin bir bug’dır, çünkü ekranda ikisi aynı görünür. Bu, Bölüm 19’un doğrulanabilir atıflarla karşı önlem aldığı hatanın aynısıdır; yalnızca index’ten değil prompt’un içinden gelir.

Konum bir eksen. Uzunluk diğer eksen ve test etmesi daha kolay: yanıtı ortada tut, listeyi büyüt.

Bir kayıt ve 97 token: %90. Üç kayıt ve 159 token: %55. Sekiz kayıt ve 315 token: %15; oradan 140 kayıt ve 4.477 token’a kadar düz ve düşük. Çöküşün tamamı, bir listenin birinci satırı ile sekizinci satırı arasında gerçekleşiyor.

Son sütun, doğru dahili hat da olmayan, başka bir kaydınki de olmayan her şey; sayfada tek kayıt varken yanlış yanıtın düşebileceği tek yer de burası. Bir kayıttaki iki kaçırmayı yuvarlayıp yok saymak yerine rapor etmek gerekiyor; çünkü ikisi de red değildi: biri, tek satırında 5805 yazan bir kayda 5806 diye yanıt verdi. 97 token’da, tek aday varken bile bu model yirmide iki kez bir haneyi yanlış kopyalıyor; diğer her şeyin ölçüldüğü taban bu.

Bundan iki şey çıkar. Daha büyük context, daha fazlasını gönderme hakkı satın alır; okunma kesinliği değil: bu modelin 32.768-token’lık bir penceresi var ve bu görevde çalışma aralığı birkaç yüz token. Ayrıca eşik yok, uçurum yok, “context dolu” durumu yok — bozulma üçüncü kayıtta başlamış ve sekizincide, pencerenin yüzde birinde tamamlanmış durumda. Context limit’i her neyse, bunu yöneten şey o değil.

Genelde iki mekanizma önerilir. İlki Bölüm 9’daki aritmetik; Anthropic de bunu bu kursla aynı terimlerle söyler: modeller “transformer mimarisine dayanır; bu mimari her token’ın tüm context boyunca diğer her token’a attend etmesini sağlar. Bu, n token için n² ikili ilişkiyle sonuçlanır”.¹ Daha uzun bir dizi üzerinde attention, daha fazla malzemeye uygulanan aynı işlem değildir; daha çok rakibe yayılmış sabit bir olasılık kütlesi bütçesidir. İkincisi eğitimdir: modeller uzun dizilerden çok daha fazla kısa dizi görür; bu yüzden uzun menzilli konumsal örüntüler ağın en az pratik yaptığı kısmıdır. Bu bir argümandır, ölçüm değil; bu bölüm bunu kesinleştiremez.

Kesinleşmiş olan şey biçimdir ve 2023’ten beri öyledir. Liu ve arkadaşları model aileleri ve boyutları boyunca çok belgeli soru yanıtlamayı ve key-value retrieval’ı test etti ve “ilgili bilgi input context’in başında ya da sonunda yer aldığında performansın çoğu zaman en yüksek olduğunu, modeller ilgili bilgiye uzun context’lerin ortasından erişmek zorunda kaldığında ise açıkça uzun-context modellerde bile belirgin biçimde düştüğünü” buldu.² Bölüm 15 konum kuralını bu makaleden aldı; Bölüm 19, yirmi retrieved chunk’ın neden dörtten daha kötü puan alabileceğinin nedenini buradan aldı. Bu olgunun pratik biçimi, burada harekete geçmen gereken tek cümledir: bunu kendi modelinde, kendi verinle ölçmek beş dakika sürer ve hiçbir yayımlanmış eğri seninkinin yerine geçmez.

Bir ekibe agent’larının context’ini neyin doldurduğunu sorarsan bir tahmin alırsın; çünkü hiçbir API yanıtı döndürmez: response sana prompt_tokens verir, hepsi için tek bir sayı.

Dökümü dört sayım ve üç çıkarma ile geri kazanabilirsin — tamamı render edilmiş prompt, tool tanımları olmadan aynısı, system message’ın yalnız hâli ve tool’larla birlikte hâli, ayrıca tool sonuçları çıkarılmış her şey:

async function buckets(messages: Msg[]) {
  const sys = messages.slice(0, 1);
  const withoutResults = messages.filter((m) => m.role !== "tool");
  const [total, sysWithTools, sysNoTools, noResults] = await Promise.all([
    countPrompt(messages, CATALOGUE),        // everything
    countPrompt(sys, CATALOGUE),             // system + scaffolding + schemas
    countPrompt(sys),                        // system + scaffolding
    countPrompt(withoutResults, CATALOGUE),  // everything but tool output
  ]);
  return {
    system: sysNoTools,
    tools: sysWithTools - sysNoTools,                                  
    toolResults: total - noResults,                                    
    conversation: total - sysWithTools - (total - noResults),          
    total,
  };
}

countPrompt, tokenizing’den önce modelin kendi chat template’ini uygular; bu, kulağa geldiğinden daha önemlidir: sayılan şey senin metnin değildir. Rol işaretleri, tool-calling önsözü ve schema render’ı, ödeyip hiç yazmadığın tokenlardır. Bölüm 7 bir tokenizer kurdu ve Bölüm 16 js-tiktoken ile saydı; burada sayım, prompt’u okuyacak olan aynı modelden geliyor. Tam olarak doğru olan tek sayım budur.

Şimdi gerçek bir agent’ı bunun içinden geçir: bir incident investigation’ın kırk turu, on iki tool, gerçekçi log dökümleri ve metrik serileri döndüren sahte bir operasyon ortamı.

İlk satırı son satırla birlikte oku.

Tur 1’de prompt 2.547 token ve bunun %71’i tool tanımları. System prompt %3. Kullanıcının yazdığı şey %6. Agent daha hiçbir şey yapmadı ve şimdiden 1.817 token JSON schema taşıyor.

Tur 40’a gelindiğinde prompt 10.632 token ve paylar tersine dönmüş: tanımlar %17, konuşma %29, tool sonuçları %53. Tool output, tanımları tur 5’te geçti; konuşma ise tur 25’e kadar geçmedi. Yani oturumun ilk yüzde altmışında tool kataloğu, söylenmiş olan her şeyden daha büyüktü.

Sonra toplam. 57 model çağrısı boyunca çalışma, 10.632’lik nihai context için 370.291 input token faturalandırdı — son prompt yaklaşık otuz beş kez ödenmiş oldu; bu, Bölüm 16’nın kareselliğinin üstüne agent çarpanı eklenmiş hâli. Bu 370.291’in 103.569’u, yani faturalandırılan her şeyin %28’i, on iki tool tanımıydı; her çağrıda byte-identical yeniden gönderildi.

Tool kataloğu bir agent’taki en büyük sabit maliyettir ve görünmezdir; çünkü onu hiç görmezsin: bir object array’i geçirirsin, provider onu prompt’a senin için render eder. Aynı on iki tool üzerinde ölçüldüğünde:

system prompt + chat scaffolding, no tools:        85 tokens
all twelve definitions:                          1,817 tokens
  of which fixed tool-calling scaffolding:         126 tokens
three tools instead of twelve:                     605 tokens
same twelve, one-sentence descriptions,
  no parameter prose:                            1,291 tokens  (-29 %)

Tool başına marjinal maliyet, tek string alan get_current_time için 80 token’dan, enum ve her biri için birer cümle rehberlik içeren dört parametre alan search_tickets için 263 token’a kadar gidiyor. Bölüm 18’in merkezî tavsiyesi olan açıklama API’dir cümlesinin arkasındaki kur bu. İyi bir açıklama, agent’ın ömrünün geri kalanında her request için yaklaşık yüz token’a mal olur. Üç sonuç.

Kullanmadığın tool da fatura yazar. Agent on iki tool’dan yedisini çağırdı. Diğer beşi, 57 request’in her birinde 697 token’a mal oldu — toplam 39.729; çalışmanın faturalandırıldığı her şeyin onda birinden fazlası, hiç dokunmadığı kabiliyetler için. Beşinden biri trace’teki en keskin ayrıntıyı taşıyor: model üç kez var olmayan read_log’yi çağırmaya çalıştı. İstediği tool search_logs idi; katalogdaki en pahalı ikinci tanım, 237 token. O tanımı 57 kez ödedi, hiç kullanmadı ve adını hiç bulamadı.

Düzyazıyı kırpmak eldeki en ucuz optimizasyondur ve bir takastır. Açıklamaları tek cümleye indirmek ve parametre dokümantasyonunu atmak, mantığın tek satırına dokunmadan çağrı başına 526 token, yüzde 29 tasarruf sağladı — ve modelin tool’ları daha kötü çağırmasına yol açtı; Bölüm 18’in ölçtüğü şey buydu. Mesele, bu takasın iki tarafının artık aynı birimde olması.

Bir ölçekte, tanımları göndermenin kendisi anlamını yitirir. Anthropic Kasım 2025’te buna bir sayı koydu: bağlı sunuculardan oluşan büyük bir küme, request okunmadan önce tanımlardan “yüz binlerce token” işlemek demektir; bunu code execution ile değiştirmek — agent’ın yalnızca ihtiyaç duyduğu tanımları keşfedip yüklemesi — “token kullanımını 150.000 token’dan 2.000 token’a düşürür; zaman ve maliyette %98,7 tasarruf sağlar”.³ Bu bölümün geri kalanıyla aynı fikir, geçmiş yerine schema’lara uygulanmış hâli: index’i tut, girdiyi gerektiğinde çöz.

Bu kırk turluk transcript’e iki şey yerleştirildi. Tur 2’de, gerçek iş başlamadan önce, kullanıcı kalıcı bir kural belirtiyor: açtığın her talep benim çalışan numaram 4417 altında dosyalanmalı. Tur 19’da, incident’ın ortasında bir olgu: etkilenen shard pay-shard-7, ödemeler ekibi tarafından doğrulandı. Tur 40’ta kullanıcı agent’tan incident ticket’ını açmasını istiyor; bunun ikisine de ihtiyacı var. Her probe altı farklı ifadeyle soruluyor ve altı üzerinden puanlanıyor — greedy decoding deterministiktir; bu yüzden tek çağrı tekrarlanamaz bir evet ya da hayır verir, altı çağrı ise oran verir.

Transcript sonra yedi context policy altında yeniden oynatılıyor. Bilerek yeniden çalıştırılmıyor, yeniden oynatılıyor: mesajlar, tool çağrıları ve tool sonuçları yedisinde de byte-identical; yani tek değişken her policy’nin neyi tutmayı seçtiği. Bölüm 16, sliding window’un neden kötü bir ekonomik hamle olduğunu gösterdi; çünkü cachelenebilir prefix’i yok eder. Davranışa yaptığı şey ise şu:

Compaction satırları, compacting’in maliyetini de içeriyor: yedi özet için 18.581 input token ve note-taker için 3.392 daha. Kontrol satırı, sıfırın sıfır olarak okunabilmesi için var — iki mesaj tek başına 1.981-token’lık bir prompt’ta olduğunda bu model iki probe’u da kusursuz yanıtlıyor; yani hiçbir satırda sorun, görevin fazla zor olması değil.

Tam geçmiş hatırlar ve tablodaki en pahalı şeydir: kalıcı içeriği iki cümleden ibaret bir oturum için 370.291 input token.

Bu, açılışın açık bıraktığı soruyu yanıtlıyor. 10.632-token’lık transcript, 853-token’lık kaydın kaybettiği bir olguyu neden tutuyor? Çünkü uzunluk yanlış değişken. Kayıt, yirmi beş özdeş cümlede yirmi beş dört haneli dahili hat tutuyor — istediğin değer için yirmi dört neredeyse kusursuz yanıltıcı. Transcript ise tam olarak bir çalışan numarası ve bir shard adı tutuyor. Context rot hacimden önce interferencedır; bu yüzden yukarıdaki 205 yanlış yanıtın 136’sı komşu değeri idi. Bir pencere hakkında faydalı soru ne kadar uzun olduğu değil; içindeki kaç şeyin yanıta benzediğidir.

Sliding window %57 daha ucuz ve incident’ı kaybetmiş. Çalışan numarası yalnızca agent onu yakın turlara tekrar ettiği için hayatta kalıyor. Tur 19’da bir kez belirtilen shard, son on iki mesajda yok — ve model bunu söylemiyor. Altı kez sorulduğunda “etkilenen ödeme shard’ı shard 4417” diye yanıtladı; penceresinde kalan tek diğer identifier olan çalışan numarasına uzandı, iki kez de bir log satırındaki pool_exhausted string’inden kaldırdığı “pool” dedi.

Compaction ucuz ve aynı olguyu kaybetti. Yedi özet; model tarafından identifier’ları, sayıları, kalıcı talimatları ve açık soruları tut şeklindeki açık talimatla yazıldı; ama pay-shard-7 önemli olan özetlerin hiçbirinde yok. Altı tahmin shard 1, pay_shard_1 ve pool idi. Compaction yüksek sesle başarısız olmaz. Akıcı, makul, çok daha kısa bir oturum üretir ve bir satırı sessizce düşürmüş olur.

Üç satır tur-19 olgusunda 0/6 aldı — sliding window, compaction ve notlu compaction. Aralarında on sekiz yanlış yanıt vardı ve hiçbiri “Bilmiyorum” değildi.

Sonra utandırıcı olması gereken satır geliyor. Kullanıcının kendi kırk mesajını kelimesi kelimesine, son dört turu da tam hâliyle tutmak ve başka hiçbir şey tutmamak 168.550 token’a mal olur — tam geçmişten %54 daha az — ve iki probe’u da tam geçmiş kadar ya da daha iyi yanıtlar. Summariser yok, note-taker yok, ikinci model yok: role === "user" üzerinde bir filtre. Kullanıcının sözleri, bir agent’ın penceresindeki en ucuz yüksek değerli tokenlardır ve çoğu tasarım onları diğer her şeyle birlikte atar.

Son iki satır, açılış tablosunun agent içindeki hâli. Aynı pinlenmiş blok, system message’tan prompt’un sonuna taşındığında: 5/6, 6/6 oluyor. Altı denemede bu anlamlı bir fark değildir ve öyle sunulmuyor — yalnızca nerenin, farkında olsan da olmasan da ayarladığın bir parametre olduğunu hatırlatmak için sunuluyor.

Aşağıdaki dört strateji Anthropic’in, onun sırasıyla; gerçi yalnızca son üçü onun uzun ufuk listesi.¹ Dördü de tek bir talimatın varyasyonları: getirebildiğini taşıma; sıkıştırılmış taşıyabildiğini ham taşıma.

const elide: Policy = (h) => [SYSTEM, ...h.flatMap((turn, ti) =>
  turn.map((m) => (ti < h.length - 4 && m.role === "tool"
    ? { role: "tool", name: m.name,
        content: `[${m.name} result from turn ${ti + 1}, ${m.content.length} chars, ` +
                 `elided; call ${m.name} again with the same arguments to re-read it]` }
    : m)))];

const r = await complete([
  { role: "system", content:
      "You keep a durable note file for a support session. Given one user message, " +
      "output one short note ONLY if it states a standing rule, an identifier or a fact " +
      "that must survive the rest of the session. Otherwise output exactly NONE." },
  { role: "user", content: `Turn ${i + 1}: ${user}` },
], { maxTokens: 40 });
if (!/^none\b/i.test(r.text.trim())) notes.push(`turn ${i + 1}: ${r.text.trim()}`);

Sub-agent yukarıdaki tabloda yok; çünkü kırk tur çalışmaz: bir kez, birinin onun için scope ettiği bir pencerede çalışır. System prompt, tur 17’den 19’a kadar olanlar ve başka hiçbir şey — 2.737 token — verildiğinde shard probe’unu 6/6 yanıtladı; tablodaki her policy’den daha iyi. Çalışan probe’unu ise 0/6 yanıtladı; çünkü o sayı kendisine verilen üç turda yoktu.

Sub-agents iki sayıda budur: temiz bir pencere zekâ değil, scope’tur; scope da hangi turların önemli olduğunu zaten bilmesi gereken kod tarafından önceden yapılır. Bu yanıtlarda tutmaya değer bir şey daha var. Uydurmak yerine “None available” diye yanıtlayan tek policy buydu. Küçük, tutarlı context’e sahip bir model neyi kaçırdığını bilir; büyük ve gürültülü context’e sahip olan bilmez.

Agent memory hakkındaki neredeyse her karışık konuşma, tek bir kelimeyi giyen üç mekanizmadır. Ömürleri, sahipleri ve hata biçimleri farklıdır; bunları aynı yerde tutan bir sistem, henüz fark etmediği bir soruna sahiptir.

Akademik çerçeve CoALA’nın; language agents’ı “modüler bellek bileşenleri” etrafında düzenler ve working memory’yi episodic, semantic ve procedural store’lardan ayırır.⁴ MemGPT aynı fikri kelimesi kelimesine alır, işletim sistemlerinden virtual memory ödünç alır: pencerenin içinde hızlı bir katman, dışında yavaş bir katman ve modelin kendisinin function calling ile veriyi bunların arasında taşıması.⁵ İkisi de bir ürünün zaten yanıtlaması gereken soruyu zorlar — ne kadar tutabilirim değil, bu hangi store’a ait ve ne zaman expire eder.

Pratik test her olgu için tek sorudur: yarın ne hâlâ doğru olmalı? Tur 12’den bir tool sonucu: hiçbir şey. Oturumun özeti: oturum bitene kadar. Kullanıcının çalışan numarasının 4417 olması: iş değiştirene kadar. Üç yanıt, üç store.

Artık bir pencerede ne olduğunu ölçebilir, içinde ne kalacağına karar verebilir ve bir agent’ın bir şeyi unutması ile onu taşıyıp bakmaması arasındaki farkı söyleyebilirsin.

Dört stratejinin sonuncusu buraya sığmayan strateji. Sub-agent bir context policy değildir; ikinci bir agent’tır. İki tane olduğu anda aralarında neyin geçeceğine ve hangisinin yetkili olduğuna karar vermen gerekir. Bölüm 25 budur: beş orchestration pattern ve adlarının gerçekten nereden geldiği; birbirine karıştırılan iki topology — bir sub-agent’a sorup yanıt almak ile conversation’ı ona devredip geri almamak — ve fiyatlandırdığı görevde daha basit düzenin kazandığına dair ölçülmüş bulgu; ardından bunun ne zaman kazanmayı bıraktığının testi.

Ayrıca bu bölümün az önce ölçtüğü şeyi aynen miras alır. Sub-agent bir özet döndürür. Özet, senin yazmadığın bir compaction’dır; penceresini göremediğin bir model tarafından üretilir ve parent’ın iyi olanla kendinden emin yanlış olanı ayırma yolu yoktur — bu sayfanın başında %84 ile %19’u ayıran ve on sekiz eksik olguyu on sekiz uydurma olguya dönüştüren ayrımın aynısı. Öyleyse: sub-agent yanlış olduğunda, parent tam olarak neye bakabilir?

Buradaki her sayı bu makinede üretildi ve hiçbiri tahmin edilmedi. Model, greedy decoding ile CPU üzerinde float32 Qwen2.5-0.5B-Instruct; chat-completions biçiminde konuşan ve token-count route’u açan küçük bir Python endpoint tarafından loopback üzerinden sunuldu — yine Bölüm 14’ün seam’i, tensorlar Python tarafında ve döngü TypeScript tarafında — bu yüzden her sayım, o modelin kendi chat template’ine uygulanmış kendi tokenizer’ıdır. Konum tablosu 288 çağrıdır; dokuz konum çarpı otuz iki deneme, her denemede farklı bir talep. Uzunluk tablosu 140 çağrıdır. Agent run, 43 dakikalık wall clock boyunca 57 model çağrısıdır. Policy tablosu, yedi policy altında yeniden oynatılan o tek transcript’tir. Aralıklar Bölüm 4’ten Wilson aralıklarıdır. Ücretli API çağrılmadı; bu yüzden bölümde tek bir fiyat yok: token sayımları kesindir ve bunları çarpacağın oranlar Bölüm 16’nındır.