本番RAG：chunking、retrieval、正直な引用

以下のすべては1つのcorpusに対して測定しています。このコースの最初の13章、13 documents、359,067文字、127 sectionsで、front matterとbibliographyは除外しています。これは実際のtechnical corpusであり、文章、表、数式、code blocksを含みます。そして人々がknowledge baseに読み込ませてから不満を言う、まさにその種のものです。

ground truthは32の質問で、それぞれにneedleが対応します。corpus内で答えになる短い逐語文です。各needleは359,067文字の中にちょうど1回だけ現れ、section headingではありません。この確認は重要です。headingをすべてのchunkにコピーするchunkerなら、そうでなければ自分自身を高く採点できてしまうからです。各質問は2回尋ねられます。1回はコースらしい英語で、もう1回はsupport ticketの言い方で。つまり32 ground truthsに対して64 queriesです。

retrievalが正しいとは、返されたchunkがneedleを丸ごと含んでいることです。generatorが必要とするものに一致する定義はこれだけです。prompt内の半分の文は答えではなく、危険物です。

embedding modelはall-MiniLM-L6-v2です。384 dimensions、mean-pooledかつnormalisedで、第8章で測定したcontrastively trained modelです。corpusのindexingはCPUで20.8秒、chunkあたり22 msです。1つのqueryのembeddingは13 msです。

3つの独立した材料から6つの戦略を作ります。Blindはtextを見ずに512文字ごとに切ります。Boundariesはparagraphの中では切らず、1つのparagraphが予算を超える場合だけsentence boundaryにfallbackします。Headerは各chunkにdocument titleとsection pathをprefixします。Overlapは前のchunkの最後の64文字を次へコピーします。

64 queriesでのR@20の95 % Wilson intervalは、Aが[0.471, 0.705]、Eが[0.718, 0.901]です。これは重なりませんが、ほかの列の多くは重なりますし、unpaired tableでは分離できません。すべてのstrategyは同じqueriesに答えるので、正直なtestはpairedです。あるstrategyが別のstrategyに対して勝った数と負けた数を数え、不一致ペアにsign testをかけます。生き残る結果は3つです。

Blind chunkingは32個中4個の答えを完全に破壊します。 rankが悪いのではありません。破壊します。needleが512文字のboundaryをまたぐため、index内のどのchunkにもそれが含まれず、そのqueriesのrecall ceilingはゼロになります。どんなrerankerも取り戻せず、thresholdも助けにならず、より大きなmodelも助けになりません。indexのどこにも一続きで存在しないtextはretrieveできません。これはRAGで最も過小報告されている失敗です。見た目が悪いretrieverとまったく同じだからです。

Overlapはそれだけを直し、それ以外は直しません。 overlapを持つすべてのstrategyは失う答えがゼロです。それがoverlapの目的です。ただしrankingは改善しません。R@8でB対Aは+8/−6、p = 0.79。R@20では+9/−7、p = 0.80です。さらに悪いことに、headerの上にoverlapを追加すると能動的に悪化します。R@20でF対Eは+2/−6です。理由は機械的です。chunkのvectorはそのtokensの平均なので、前のchunkの64文字がその平均を隣のtopicへ引っ張ります。Overlapは分割された答えに対する保険であり、precisionで支払います。

retrievalを買うのはcontextual headerです。 E対AはR@20で+18/−3、p = 0.0015です。そしてablationはboundariesが効いているのではないと言っています。E対C、つまり同じcutsでheaderだけが違う比較は、+12/−2、p = 0.0129です。「Classification, Cross-Entropy, and How Not to Fool Yourself > How many test examples do I need?」をparagraphの前に付けると、そのparagraph自体がしばしば言っていない「何についてのparagraphか」をembedding modelに伝えます。documentのpronoun resolverです。

これによってchunkerの形が決まり、間違えやすい1つのルールも決まります。

export interface Chunked {
  /** What gets EMBEDDED: contextual header + this chunk's own content. */
  text: string;              
  /** ONLY this chunk's own content: what is quoted back to the user. */
  content: string;           
  section: string;
  /** Character range in the document's canonical text. Sliceable. */
  from: number;
  to: number;
}

export function chunkDocument(doc: string, docTitle: string, target = 512): Chunked[] {
  const out: Chunked[] = [];
  const heads = [...doc.matchAll(/^## (.+)$/gm)].map((m) => ({ at: m.index!, title: m[1].trim() }));
  const spans = heads.length
    ? heads.map((h, i) => ({ ...h, end: i + 1 < heads.length ? heads[i + 1].at : doc.length }))
    : [{ at: 0, title: "", end: doc.length }];

  for (const s of spans) {
    const header = s.title ? `${docTitle} > ${s.title}` : docTitle;     
    const skip = /^## .+\n/.exec(doc.slice(s.at, s.end))?.[0].length ?? 0;
    const body = doc.slice(s.at + skip, s.end);
    const origin = s.at + skip;

    // The offset is FOUND in the document, never accumulated: adding up
    // lengths drifts by a character wherever a separator was normalised,
    // and a citation anchor off by one points at the wrong line.
    const emit = (from: number, to: number) => {
      const raw = body.slice(from, to);
      const lead = raw.length - raw.trimStart().length;
      const content = raw.trim();
      if (!content) return;
      out.push({ text: `[${header}]\n${content}`, content, section: s.title,
                 from: origin + from + lead, to: origin + from + lead + content.length });
    };

    let open: [number, number] | null = null;
    for (const m of body.matchAll(/[^\n]([^\n]|\n(?!\n))*/g)) {          // paragraphs
      const [pf, pt] = [m.index!, m.index! + m[0].length];
      if (pt - pf > target) {                                            // one huge paragraph
        if (open) { emit(open[0], open[1]); open = null; }
        let cur: [number, number] | null = null;
        for (const sm of body.slice(pf, pt).matchAll(/[^.!?]*[.!?]*\s*/g)) {
          if (!sm[0]) continue;
          const [sf, st] = [pf + sm.index!, pf + sm.index! + sm[0].length];
          if (cur && st - cur[0] > target) { emit(cur[0], cur[1]); cur = null; }
          cur = cur ? [cur[0], st] : [sf, st];
        }
        if (cur) emit(cur[0], cur[1]);
        continue;
      }
      if (open && pt - open[0] > target) { emit(open[0], open[1]); open = null; }
      open = open ? [open[0], pt] : [pf, pt];
    }
    if (open) emit(open[0], open[1]);
  }
  return out;
}

textは1つではなく2つ。 text はheaderを含めてembeddingされるものです。content はこのchunk自身の言葉だけで、ユーザーへ引用として返すものです。text をquoteすると、その時点のdocumentには存在しないheaderをcitationが表示します。そしてoverlapがある場合、前のfragmentに属する繰り返しのtailも表示します。つまり、そこにあると言っている場所にないtextを表示することになります。何も表示しないより悪いです。

headerは無料ではありません。940 chunks全体で、indexの114,275 embedded tokensのうち24,213を消費します。embeddingに支払うものの21.2 %は、自分で書いたheaderです。 encoderのwindowにchunkを押し込む効果もあります。all-MiniLM-L6-v2 は256 word-piecesを受け付けます。strategy Eにはその線を超えるchunkが17個、Fには28個あり、すべて何の警告もなく静かにtruncatedされます。実効chunk sizeはconfig内の数字ではありません。その数字とencoderのwindowの小さい方です。

Dense retrievalには1つの体系的な弱点があり、それは微妙なものではありません。意味をmatchするので、あなたが入力したstringが正確に何かには無関心です。部品番号、error code、acronym、surname。どれもembeddingする有用な意味を持たず、error codeのnearest neighbourはcorpus内のすべてのほかのerror codeです。

古典的な答えはこれらすべてより古く、20行で済みます。BM25はqueryのtermsがdocument内にどれだけ出現するかでdocumentをscoreし、各termはfrequencyが上がるほど効果を減衰させ、単に長さでmatchを蓄積する長いdocumentをpenaliseします。¹ term $t$ の寄与は

ここで $f_{t,d}$ はdocument内のterm count、$|d|$ はそのlength、$\overline{|d|}$ はaverage length、$k_1 = 1.2$ と $b = 0.75$ は2つの慣例的なconstantsです。$k_1$ は反復がどれだけ速く効かなくなるか、$b$ はlengthをどれだけ強く罰するかを決めます。

const toks = (s: string) => s.toLowerCase().match(/[a-z0-9]+/g) ?? [];

export class BM25 {
  private tf: Map<string, number>[] = [];
  private len: number[] = [];
  private idf = new Map<string, number>();
  private avg = 0;
  private k1: number; private b: number;
  constructor(docs: string[], k1 = 1.2, b = 0.75) {
    this.k1 = k1; this.b = b;
    const df = new Map<string, number>();
    for (const d of docs) {
      const t = new Map<string, number>(); const ws = toks(d);
      for (const w of ws) t.set(w, (t.get(w) ?? 0) + 1);
      for (const w of t.keys()) df.set(w, (df.get(w) ?? 0) + 1);
      this.tf.push(t); this.len.push(ws.length);
    }
    this.avg = this.len.reduce((a, b) => a + b, 0) / this.len.length;
    const N = docs.length;
    for (const [w, n] of df) this.idf.set(w, Math.log(1 + (N - n + 0.5) / (n + 0.5)));
  }
  scores(query: string): number[] {
    const q = toks(query);
    return this.tf.map((tf, i) => {
      const L = this.len[i]; let s = 0;
      for (const w of q) {
        const f = tf.get(w); if (!f) continue;
        s += (this.idf.get(w) ?? 0) * (f * (this.k1 + 1)) /
             (f + this.k1 * (1 - this.b + (this.b * L) / this.avg));
      }
      return s;
    });
  }
}

940 chunksでは、2つのhash maps以外にindexなしでqueryを1.14 msでscoreします。そしてこれは博物館の展示物ではありません。

このcorpusでは、BM25はdense retrieverのtop-1 accuracyを2倍以上にしますが、rank 8までには大きく負けます。両者は異なるqueriesで失敗します。それこそが両方を動かす議論のすべてです。

それらをfuseする場面では、明らかに見える方法が間違いです。Cosine distancesとBM25 scoresは同じscaleになく、同じようにboundedされておらず、queryごとにnormaliseするとweightがbest hitの出来に依存してしまいます。Reciprocal rank fusionはscoresを捨て、ranksだけを残します。²

/** Reciprocal rank fusion: ranks, not scores. Nothing to calibrate. */
export function rrf(lists: number[][], k = 60): number[] {
  const acc = new Map<number, number>();
  for (const list of lists)
    list.forEach((id, r) => acc.set(id, (acc.get(id) ?? 0) + 1 / (k + r + 1)));
  return [...acc.entries()].sort((a, b) => b[1] - a[1]).map(([id]) => id);
}

そしてここでは、表よりも表の正直な読み方が重要です。HybridはR@4でBM25に+10/−3、p = 0.09で勝っています。denseには+10/−6、p = 0.45で勝っています。このcorpusで64 queriesでは、hybrid retrievalはdense retrievalと区別できません。 point estimateでもすべてのrecall列でも良いですが、証拠はsignificanceに届きません。インターネット上のほぼすべてのhybrid-search blog postは上のような表を報告し、intervalを出しません。intervalが言うのはこういうことです。

ここまでのすべてはbi-encoderです。queryはmodelを単独で通り、各chunkも何か月も前に単独で通り、両者が出会うのはdot productとしてだけです。これがindexを可能にします。一度embedして永遠に再利用できます。同時に、それが上限でもあります。modelはqueryとchunkを一緒に見ません。

cross-encoderはまさにそれをします。pairを1つのinputとして受け取り、relevance scoreを返します。何もprecomputeできないのでindexをrankできませんが、shortlistをrerankできます。hybrid top 25をms-marco-MiniLM-L-6-v2でrerankingすると、R@1は0.094（dense）から0.312へ、MRRは0.280から0.447へ動きます。この章で最大の単一改善であり、tailではなくlistのtopに触れる唯一の改善です。

CPUではqueryあたり569 msかかります。BM25は1.14 ms、vector scanは0.3 msです。25 documentsに対して、retrieval costのおよそ2,000倍です。 これがbi-encoder/cross-encoder trade-offの全体を1つの数字で表したものです。だからarchitectureは常に同じ形になります。広いrecallを持つ安価なretriever、その後に手の届くshortlist上で高価なscorerです。ColBERTはその中間に位置し、per-token vectorsをprecomputeしてlate interactionを行います。cross-encoderより安く、dot productより鋭い方法です。³

Vector databaseはdistancesを報告し、どのdistanceにするかはconfiguration optionです。normalised vectorsでは、その選択は見た目の違いにすぎません。そしてこのidentityは一度やる価値があります。以後すべてが、vectorsが本当にunitであることに依存するからです。$\lVert a \rVert = \lVert b \rVert = 1$ については、

したがってcosine distance $1 - \cos\theta$ は正確に $d^2/2$ です。これは第1章のdot productとnormを現金化したものです。上のindexから実際の2つのchunk vectorsで確認し、さらに40,000 pairsで確認しました。

||a|| = 1.000000   ||b|| = 1.000000
L2 = 0.795183   L2^2/2 = 0.316158   1 - cos = 0.316158   diff = 7.66e-08
max |L2^2/2 - (1 - cos)| over 200 x 200 pairs = 8.3e-07

floating-point noiseまで正確です。そしてそれは、vectorsがnormalisedされている場合だけです。normalisationを省くとidentityは偽になり、thresholdは何の意味も持たず、documentが報告するdistanceはそのtextの長さに依存します。

さて、誰も導出しない数字です。retrieverは常に何かを返します。corpus内のどこかに答えがあるかどうかに関係なく、index全体をsortしてlistの先頭を渡します。thresholdだけがsystem内でnoと言える部分です。そしてそれを設定するには、何も返すべきではないqueriesが必要です。ここでは30個用意しました。21個はこのcorpusが本当に扱っていないもの、streaming、rate limits、prompt caching、JSON schemas、agent loops、vector databases、prompt injection、image generationについてです。9個はpaella、passport、refund policiesについてです。同じindexに対してはこうなります。

分布は分離し、そして重なります。最悪のin-domain queryは、その答えからのdistanceが0.721で、最良の out-of-domain queryが無関係なparagraphから持つdistance 0.497より遠いです。したがって両方を正しく処理するthresholdはありません。実際のgate、つまり最大4 chunksを保持し、cut未満のものだけにする条件でsweepすると、

最後の列ははったりとして読んでください。thresholdがなければ、assistantは「スペインのpassportをどう更新するか」に対して、backpropagationについてのcorpusから、確信に満ち、引用付きの答えを30回中30回生成します。0.675では30回中10回そうします。0.525では2回だけそうし、答えられたはずの12問を諦めます。

このtrade-offはproduct decisionであり、正しい端は誤答のcostによって変わります。交渉できないのは、最後の列がそもそも存在することです。拒否すべき質問に対してretrieverを測ったことがないなら、あなたにはthresholdがあるのではありません。ただの数字があるだけです。

0.675での10個のbluffsのうち2つは、この失敗の2つの形を示しています。

query: "how much does prompt caching save on a long conversation"
  [1] d=0.497  13-inference-optimization > Prefill and decode are two different machines
  [2] d=0.532  13-inference-optimization > The cache is also the bill

query: "what is the capital of france"
  [1] d=0.671  12-reasoning > The model does not think. It computes for longer.
      "…it is why 'think step by step' does nothing for what is the capital of France."

1つ目はnear missです。corpusはKV cacheを詳しく説明しており、queryはprompt cacheについてで、単語は同じ単語であり、0.497は実験全体の多くの正しいin-domain retrievalより近いです。embeddingは、同じ名前を持つ2つのcacheが別の機械であることを知りません。2つ目は答えのないliteral matchです。corpusには正確に「what is the capital of France」というphraseが含まれており、reasoningを必要としない質問の例として使われています。retrieverは正しいです。しかし答えはそこにありません。「似たものを見つけた」を「答えを見つけた」と読むsystemは、その証拠でParisと断言します。あるいは、もっと悪く、断言しません。

modelにはfactsのための独立した能力はありません。trueな文を生成することとplausibleな文を生成することは、同じ operationです。第8章のnext-token predictionです。そしてそのoperationのどこにも、どちらがどちらかを示す印はありません。2025年のanalysisはこれを捉え直し、trainingとevaluation pipelineがguessingを積極的にrewardしていると論じました。benchmarkはbinary accuracyでscoreし、abstentionにcreditを与えないため、常に答えるmodelは、知らないときに「I don't know」と言う同一のmodelを常に上回ります。そしてpost-trainingはそれに従ってoptimiseします。⁶ この読み方ではhallucinationは謎めいた欠陥ではありません。誤答のpenaltyがないmultiple-choice examを採点したときに得られるものです。

その形を見てください。contrastive sentence embeddingsに関する8本のpapersをidentifier付きで尋ねると、Qwen2.5-0.5B-Instruct は完璧なformatで8行を生成しました。8つのidentifierはすべてwell-formedです。8つすべてがarXiv上の実在するpapersへresolveします。8つのうち0個が、主張されたpaperでした。

claimed  arXiv:1907.06432 - Contrastive Sentence Embeddings for Text Retrieval
actual   A Neural Turing~Machine for Conditional Transition Graph Modeling

claimed  arXiv:1809.08669 - Contrastive Learning of Sentence Representations…
actual   Collapsing Superstring Conjecture

claimed  arXiv:1807.08669 - Contrastive Learning of Sentence Representations…
actual   Automatic Speech Recognition for Humanitarian Applications in Somali

これはsmall modelであり、そのrateはそのmodel固有です。frontier modelははるかに少なくinventします。しかしmechanismは一般化します。そしてそれが次のruleの理由です。「このidentifierは存在するか」をcheckするvalidatorは8つすべてをpassし、ユーザーがclickすると実在するarchive上の実在するpageに着きます。mappingがinventされたと見分ける方法はありません。失敗はidentifierやformatにありません。associationにあります。まさにlanguage modelがplausibilityによって生成するものです。

だから、modelが書くのは [1] と [2] であり、linkは決して書きません。 numbersはserverがretrievedしたfragmentsを指し、serverは各numberがどのdocumentのどのoffsetから来たかを正確に知っているので、後からdocument、label、URLを付与します。modelがinventする余地はありません。inventしそうな唯一のものを頼まれていないからです。

export function buildContext(question: string, hits: Scored[]) {
  const citations: Citation[] = hits.map((h, i) => ({
    index: i + 1,
    documentId: h.chunk.documentId,
    documentName: h.chunk.documentName,
    locatorLabel: label(h.chunk),
    fragment: `#char=${h.chunk.locator.flow.from},${h.chunk.locator.flow.to}`,  
    quote: h.chunk.content,          // the OWN content, never `text`
    cosineDistance: h.cosineDistance,
  }));
  const blocks = citations
    .map((c) => `[${c.index}] ${c.documentName} - ${c.locatorLabel}\n${c.quote}`)
    .join("\n\n");
  const prompt =
    `Answer using ONLY the numbered sources below. Cite every claim as [n].\n` +
    `If the sources do not contain the answer, say so and stop.\n\n` +
    `SOURCES\n${blocks}\n\nQUESTION\n${question}`;
  return { prompt, citations };
}

冒頭の質問で実行すると、4つのchunksは591-token promptになり、modelが決して見ないtableになります。

[1] 04-classification  How many test examples do I need?      #char=28215,28701  d=0.594
[2] 04-classification  Three splits, and the leak…            #char=20329,20839  d=0.598
[3] 04-classification  How many test examples do I need?      #char=25873,26272  d=0.600
[4] 04-classification  How many test examples do I need?      #char=25554,25871  d=0.605

locatorは、人々が飛ばして後から追加できなくなる部分です。#char=25873,26272 はdocumentのcanonical text内のrangeです。PDFなら同等物は #page=12、audioやvideoなら #t=132.4,158.9、spreadsheetならsheetとA1 rangeです。この2つは発明ではありません。#page= はPDF Open Parameters、#t= はW3C Media Fragmentsで、videoとaudio elementsではbrowserがnativeに尊重します。locatorのないcitationはdocument nameであり、document nameはcitationではありません。ユーザーに見に行けと勧めているだけです。

そして何もthresholdを通らない場合、pipelineはmodelに到達すらしません。

NO ANSWER: nothing under cosine distance 0.675 for "what is the offside rule in football"
NO ANSWER: nothing under cosine distance 0.675 for "how do i renew my spanish passport"
NO ANSWER: nothing under cosine distance 0.675 for "how do i build an agent loop with tools"

これはsystem prompt内のどんなinstructionよりも安価で信頼できるrefusalです。probabilistic systemへの依頼ではなく、2つの数字の比較だからです。

この章のすべての測定はretrieverを採点しており、modelにanswerを書かせたことは一度もありません。これは意図的であり、ほとんどのteamが飛ばす部分です。

RAG systemには、外から見ると同じに見える2つのfailure modesがあります。retrieverがpassageを見つけられなかった。あるいは見つけたがgeneratorが無視し、矛盾し、すでに信じているものと混ぜた。final answerだけをscoreするとこの2つは区別できません。だからchunkerにある問題に対してpromptsをtuneすることになります。Recall@k、MRR、answer-destroyed countにはgeneration callがまったく不要です。すべてのdeployで走らせられるほど安価であり、第15章のharnessに別のscoring functionを付けたものです。同じrequest、deadline、concurrency、tallyを、live conversationではなく固定question setに対して行います。

interval付きで報告してください。第4章の算術はそのまま適用できます。64 queriesではrecall 0.5に約±0.12の95 % Wilson intervalが付きます。つまり別strategyより4 points上のstrategyは、何も語っていません。両strategyが同じquestionsに答えるときはpaired testを使います。ここでは常にそうです。それが「EはAより良さそう」をp = 0.0015に変えました。

そして最後の正直さです。RAGはhallucinationを減らしますが、取り除きません。 正しいpassageをpromptに入れても、modelにそれを使う義務は生じません。literatureはoriginal paper以来そう言っています。⁷ productionでは2つのことが悪化させます。長いcontextは劣化します。modelは長いpromptの中央より、先頭と末尾のinformationをより確実に見つけます。したがって4 chunksではなく20 chunksにすると、billを上げながらaccuracyを下げることがあります。この効果は第24章で測定されています。そしてretrievalが正しいにもかかわらず不十分なことがあります。上の2つのcacheが示した通りです。SelfCheckGPTはresamplingに耐えないclaimsをflagします。⁸ Self-RAGはmodelに自身のretrieve-and-critique tokensを出すようtrainします。⁹ TruthfulQAはそもそもfailure modeを読み取れるようにしました。¹⁰ どれもgapを閉じません。そしてretrieved textをproofとして提示するsystemは、sourced と true を混同しています。

retrieverはpipelineの見える部分ですが、その失敗はすべてもっと前の暗闇で起きています。繰り返し起きるものが3つあります。

Extractionはcontentが死ぬ場所です。 PDFはtextではありません。drawing instructionsです。2-column layoutsはinterleaveし、tablesはword soupになり、page headersはすべてのchunkに繰り返され、scanned pageにはOCRがconfidence付きでtextを与えるまでtextがまったくありません。上で測定したすべてはextractorが仕事をしたと仮定しています。productionではしばしばそうではなく、症状は3 layers離れたbad retrievalとして現れます。

indexには、それを作ったmodelの刻印があります。 2つのmodelsのembeddingsは比較できません。「精度が低い」のではなく、比較不能です。異なるspace内のpointsだからです。embedding modelを変えると、store内のすべてのvectorはrebuildされるまでgarbageです。だからmodel name、dimension count、pipeline version、extractor versionをindex timeに各documentの横へ書きます。それがなければ、upgrade dayにどのdocumentsがstaleでどれがcurrentかを判別できません。そして半分だけmigratedされたindexは、どこにもerrorを出さずに自信満々のnonsenseを返します。

1つのbroken documentがfolderを壊してはいけません。そしてcountersは起きたことを数えるべきです。 extractionに失敗したdocumentは理由付きで failed stateに入り、visibleでretryableになり、残りの99個はsearchableのままです。そしてindexed chunksの数は、upload時にclientが宣言するのではなく、serverが完了時に書きます。400 fragmentsと報告しながら40しか保持していないfolderは、答えられない質問として初めて表面化する嘘です。

この章のsystemは、答えが書かれている質問に答えます。それをretrieveし、rankし、できないときはrefuseし、どこを見たかをciteします。これは人々が自分のdocuments上のassistantに求めることの大部分です。そして1つの具体的な制約があります。retrievalが返せるのは、誰かが書いたものだけです。

すると残るのはもう半分です。modelにやってほしいことの一部は、document内のfactではまったくありません。保持しなければならないformat、tone、400 labelsを持つtaxonomy、10,000の過去例の中にはあるがどのparagraphにもない判断の仕方です。retrievalはそれらを届けられません。retrieveするものがないからです。長いpromptは、skillそのものではなくskillの説明に第16章のbillを払うだけです。

第20章はそのdecision、つまりfine-tune、retrieve、またはpromptです。その発見は、decisionはtechnicalである前にeconomicだということです。3つは同じ質問でend to endにpriceされ、crossoverはtoken countです。冒頭の質問は、この章が答えられない問いです。答えはどこに書かれているかではなく、それが一度も書かれていなかったらどうするかです。

この章で測定したすべては、1つのcorpusと1つのinstrumentを使っており、どちらもreproducibleです。corpusは2026年9月7日時点のこのコースの第1章から第13章です。13 documents、359,067文字、127 sections、front matterとbibliographiesは除外しています。これらの章は編集され続けているため、同じruleを今日適用すると数千文字増えます。section countは変わらず、以下の結論もすべて変わりませんが、character totalはsnapshotであり、そのようにlabelされています。ground truthは32 questionsで、それぞれcorpus内にちょうど1回だけ現れ、section headingではない逐語文とpairになっており、2つの言い回しで尋ねられて64 queriesになります。Retrieval embeddingsは sentence-transformers/all-MiniLM-L6-v2（384 dimensions、mean-pooled、L2-normalised、256-token window）です。rerankingはtop 25上の cross-encoder/ms-marco-MiniLM-L-6-v2、generation exampleはgreedy decodingの Qwen/Qwen2.5-0.5B-Instruct です。timingsはすべてsingle-threaded CPUです。この章を作るためにpaid APIは呼んでいません。だからここでのlatencyはすべてlocalなものであり、そのようにlabelされています。

TypeScriptで示したchunkerは、測定されたchunkerです。同じruleと ts/chunk.ts を実装するPython instrumentをcorpus全体でchunkごとに比較し、940 chunksすべてについてtextsとoffsetsが一致しています。Intervalsは95 %のWilson、paired comparisonsはdiscordant pairsに対するtwo-sided exact sign testsです。

上で引用した14個のidentifierはすべて、2026年9月7日にarXiv APIに対してresolveし、titleごとにcheckしました。そうでなかった8個を考えると、この章で少なくともそれくらいはするべきだと思えたからです。