Fine-tuning, retrieval vai prompt? Päätös on taloudellinen

"Pitäisikö meidän tehdä fine-tuning?" kysytään ikään kuin se olisi kysymys mallista. Se on kysymys budjetista, muodossa johon mikään benchmark ei vastaa: mistä maksetaan kerran, mistä maksetaan per kysymys ja mistä maksetaan uudelleen aina, kun maailma liikkuu.

Kolme reittiä eivät myöskään ole kolme tapaa tehdä sama asia, ja toimittajat sanovat sen selvemmin kuin useimmat blogikirjoitukset. OpenAI:n oma taulukko siitä, mihin supervised fine-tuning on paras, listaa neljä käyttötapaa: luokittelu, vivahteikas käännös, sisällön tuottaminen tietyssä muodossa ja instruction-following-virheiden korjaaminen.¹ Yksikään niistä ei ole "opettaa mallille jotain, mitä se ei tiedä". Hyödyn yhteenveto kuuluu, että "voit käyttää lyhyempiä prompteja, joissa on vähemmän esimerkkejä ja context dataa, mikä säästää token-kustannuksia skaalassa ja voi pienentää latenssia" — laskua koskeva argumentti yritykseltä, joka myy ominaisuutta.

Siis:

• Fine-tuning opettaa muotoa ja käyttäytymistä. Sävyä, formaattia, vastauksen rakennetta, rajaa jonka voit demonstroida mutta et kuvata. Vahvin julkaistu versio on LIMA:n Superficial Alignment Hypothesis: tieto tulee pretrainingista, alignment opettaa lähinnä, missä formaattien alijakaumassa puhutaan — siksi tuhat kuratoitua esimerkkiä riitti siellä.²
• Retrieval toimittaa muuttuvat faktat. Se on näistä kolmesta ainoa, jossa dokumentaatioon tehty muokkaus päätyy vastaukseen koskematta malliin.
• Prompting kattaa useimmat todelliset tapaukset, ja on rehellinen baseline. In-context learning on ollut oletus lähtien artikkelista Language Models are Few-Shot Learners: tehtävä demonstroidaan promptin sisällä eikä yksikään paino liiku.³

Kaksi mitattua artikkelia sulkee oven keskellä olevalta virheeltä. Ovadia kollegoineen vertasi tiedon injektointia unsupervised fine-tuningilla ja retrievalillä, ja retrieval voitti johdonmukaisesti, myös faktoissa jotka base model oli jo nähnyt pretrainingissa.⁴ Gekhman kollegoineen mittasi vahingon: uutta tietoa tuovat esimerkit sovittuvat hitaasti, ja kun malli lopulta sovittaa ne, sen hallucination-aste muiden kysymysten kohdalla nousee.⁵ Faktojen opettaminen fine-tuningilla ei vain epäonnistu; se heikentää vastauksia, joita et kouluttanut.

Se puolikas on ratkaistu. Taloudellinen puolikas ei ole, ja siitä loppu luku kertoo.

Yksi tapaus, ajettuna kolmella tavalla: tekninen tuki oman dokumentaatiosi päällä, joka muuttuu joka viikko.

Korpus on todellinen ja tällä levyllä: 23 Markdown-dokumenttia, joita eräs toimiva ohjelmistorepository pitää sisäisenä dokumentaationa — build-opas, brand-säännöt, translation brief, kymmenen palvelukäsikirjaa, suorituskyky- ja tietoturvamuistiot. Mitattuna o200k_base:lla, Chapter 7:n encodingilla:

documents                              23
characters                        159,223
words                              22,194
tokens (o200k_base)                42,921
tokens with per-file headers       43,158

Neljäkymmentäkolme tuhatta tokenia on mukava koko tätä päätöstä varten: se mahtuu mihin tahansa moderniin ikkunaan, joten kaikki kolme reittiä ovat aidosti käytettävissä. Kymmenessä miljoonassa päätös on tehty puolestasi, ja se on retrieval.

Nyt se työ, jonka sana "weekly" tekee. Dokumentaation churn yleensä väitetään; tässä se lasketaan kyseisen repositoryn versiohistoriasta:

Dokumentit liikkuvat noin joka toinen viikko. Käyttäjälle näkyvät merkkijonot — joista tukipisteeltä oikeasti kysytään — liikkuivat jokaisena olemassaoloviikkonaan, noin kahdenkymmenen commitin viikkovauhdilla. Minkä reitin valitsemmekin, sen täytyy kestää tämä, ja "kuinka usein se asia muuttuu, jolla koulutit?" osoittautuu luvuksi omassa repositoryssasi, ei mielipiteeksi.

Tätä korpusta vasten kirjoitettiin kaksikymmentä realistista tukikysymystä, yksi per aihe, ja jokainen alla oleva luku lasketaan näiden kahdenkymmenen yli.

Yksinkertaisin toimiva ratkaisu: laita koko korpus system promptiin, kysymys loppuun, ja anna mallin löytää se.

system instructions                       140 tokens
the 23 documents                       43,158 tokens
the question (median of 20 measured)       13 tokens
the answer (the one assumption)           150 tokens

Jokainen luku tuossa laskettiin viimeistä lukuun ottamatta: 150 output tokenia on oletus, valittu Chapter 16:n laskuttamien assistant-vuorojen vaihteluvälin sisältä. Se on ainoa tässä oleva luku, jota ei ajettu, sitä sovelletaan identtisesti kaikkiin kolmeen reittiin, ja break-even-osio näyttää täsmälleen, kuinka paljon johtopäätös liikkuu, kun muutat sitä.

Palveluntarjoajan sivulta 7. syyskuuta 2026 luetuilla hinnoilla — $1.50 per miljoona input tokenia, $9.00 per miljoona output⁶ — se on $0.066317 per kysymys. Maksat siitä, että neljäkymmentäkolme tuhatta tokenia luetaan uudelleen kolmentoista tokenin vastauksen antamiseksi.

Chapter 16:n korjaus pätee suoraan: korpus on vakaa ja edessä, joten se on täydellinen cache prefix, ja sen lukeminen takaisin maksaa kymmenesosan — $0.007864 per kysymys, 88 % leikkaus. Chapter 16:n varoitus pätee myös siinä muodossa, jonka kyseinen luku merkitsi mutta ei hinnoitellut. Tämä palveluntarjoaja ei veloita write premiumia; se veloittaa vuokraa. Explicit cache maksaa $0.000001 per tallennettu token per tunti,⁶ joten 43,298 tokenin pitäminen lämpimänä maksaa

kysyy kukaan mitään tai ei. Se on $189.78 kuuden kuukauden aikana tyhjästä huoneesta. Jaa vuokra säästöllä per kysymys, ja ehto saadaan yhdellä rivillä: tämän korpuksen caching maksaa itsensä takaisin yli 0,74 kysymyksen tuntivauhdilla — 546 kuukaudessa, kun viikoittainen cache rebuild lasketaan mukaan. Sen alle ominaisuus, jonka otit käyttöön säästääksesi rahaa, menettää sitä.

Sama reitti, sama koodi, yksi flag, viisinkertainen lasku. Chapter 16 löysi version tästä väärässä paikassa olevasta timestampista; tässä mikään ei ole pielessä paitsi liikenne. Cache on veto volyymin puolesta, ja tällä palveluntarjoajalla asetat sen tunnin tarkkuudella.

Chapter 19:n retriever, muuttamattomana: leikkaa osiorajoilla kontekstuaalisen otsakkeen kanssa, indeksoi, laita neljä parasta otetta promptiin. Mitattuna kahdenkymmenen kysymyksen yli:

chunks produced from the corpus              330
mean tokens of a chunk's own text          124.9
mean tokens of the four retrieved extracts   884
prompt per question (140 + 884 + 13)       1,037
one-off embedding of every chunk        46,823 tokens

Neljäkymmentäkaksi kertaa vähemmän prompt tokeneita kuin reitillä yksi, hinnalla $0.002906 per kysymys. Indeksin rakentaminen maksaa $0.0070 hinnalla $0.15 per miljoona embedding tokenia⁶ — vähemmän kuin kolmen kysymyksen verran — ja samat $0.0070 sen rakentamisesta alusta joka kerta, kun dokumentaatio muuttuu. Koko indeksin uudelleenrakentaminen joka viikko kuuden kuukauden ajan maksaa kahdeksantoista senttiä.

Yhden asian kohdalla kannattaa pysähtyä. Retrieval tuhoaa prompt cachingin. Vakaa prefix on nyt 140-tokenin system instruction; tokenista 141 alkaen prompt eroaa jokaisella kutsulla, koska otteet valitaan kysymyksen mukaan. Ja 140 tokenia on alle jokaisen cache-minimin, jonka Chapter 16 lainasi. Siksi reittiä kaksi ei voi cachettaa lainkaan, mikä kuulostaa huonolta mutta ei ole: 1,037 tokenin cachettamatta jättäminen on halvempaa kuin 43,298 tokenin cachettaminen.

Se on yleinen sääntö mukaan otettavaksi: kaksi suurta token-säästötekniikkaa ovat toisiaan poissulkevia saman sisällön kohdalla, ja voittaja on se, joka poistaa enemmän tokeneita. Retrieval poistaa niistä 97,6 %.

Kouluta kahdellasadalla esimerkillä talon tyyliin, kysy sitten kysymykset ilman mitään liitettyä dokumentaatiota.

training examples                            200
training tokens                           24,389
epochs                                         3
prompt per question (15 + 13)                 28

Training maksaa 24,389 × 3 × $10.00 per miljoona = $0.7317. Se on koko rakennuskustannus, vähemmän kuin kuppi kahvia, mikä on täsmälleen syy siihen, miksi niin moni tiimi maksaa sen ennen kuin tarkistaa, auttaako se.

Nyt ansa, ja se on tämän luvun olemassaolon syy. Fine-tuned-mallin ajaminen ei maksa samaa kuin sen base model. Hinnoittelusivu sanoo sen yhdessä lauseessa: "for model inference starting from Gemini 3, tuned model endpoint prediction price will be 1.5 times of the base model."⁶ Ei training. Inference, jokaisesta tokenista, niin kauan kuin malli elää.

Laita se siis kaavaan. Olkoot $p_i$ ja $p_o$ base input- ja output-hinnat, $m$ tuned-kerroin, $L_R$ korvattavan reitin promptin pituus, $L_F$ promptin pituus fine-tuningin jälkeen, ja $O$ vastauksen pituus. Fine-tuning on halvempi per kysymys vain kun

Ensimmäinen termi on ilmeinen: uusi lyhyt promptisi, lisähinnalla. Toinen ei ole, ja sinne raha menee — lisämaksu vastauksesta, jolla ei ole mitään tekemistä promptisi kanssa ja jota training ei voi lyhentää. Mitatuilla luvuilla — $m = 1.5$, $L_F = 28$, $O = 150$, $p_o/p_i = 6$ — kynnys on

answer   50 tokens -> the prompt it replaces must exceed   192 tokens
answer  150 tokens -> the prompt it replaces must exceed   492 tokens
answer  400 tokens -> the prompt it replaces must exceed 1,242 tokens
answer 1000 tokens -> the prompt it replaces must exceed 3,042 tokens

Mitattulla vastauspituudella 492 tokenia — joista 450 on vastauksen lisämaksua, ei promptia. Sitä lyhyemmän promptin korvaaminen on kalliimpaa per kysymys ikuisesti, millä tahansa volyymilla; ja kynnys kasvaa lineaarisesti sen mukaan, kuinka paljon assistant puhuu, joten pitkiä vastauksia kirjoittava assistant ei voi koskaan fine-tunata tietään halvempaan tokeniin riippumatta siitä, kuinka paljon promptia se poistaa.

Sama tosiasia toisesta päästä on lause, joka kannattaa muistaa. Fine-tuned-reitin $0.002088 kysymyskohtaisesta hinnasta 97,0 % on vastaus. Fine-tuning optimoi jäljelle jäävää kolmea prosenttia.

Neljä lukua kuvaa mitä tahansa näistä reiteistä: mitä maksat kerran, mitä maksat kun dokumentaatio muuttuu, mitä maksat tunneittain riippumatta mistään, ja mitä maksat per kysymys. Se laajentaa Chapter 16:n computeCost:ta muuttamatta sitä.

import { computeCost, type Pricing, type Usage } from "./cost";   // Chapter 16

export interface Route {
  name: string;
  setupUSD: number;            // paid once, before the first question
  perRefreshUSD: number;       // paid every time the documentation changes
  standingUSDPerHour: number;  // paid per hour whatever the traffic
  pricing: Pricing;
  usage: Usage;                // one question and its answer
}

export const perQueryUSD = (r: Route) => computeCost(r.pricing, r.usage);

const HOURS_PER_MONTH = (24 * 365.25) / 12;

export function totalUSD(
  r: Route, months: number, queriesPerMonth: number, refreshesPerMonth: number,
) {
  return r.setupUSD
       + months * refreshesPerMonth * r.perRefreshUSD
       + months * HOURS_PER_MONTH * r.standingUSDPerHour
       + months * queriesPerMonth * perQueryUSD(r);
}

/** Monthly volume at which `b` overtakes `a`. null = it never does. */
export function crossover(
  a: Route, b: Route, months: number, refreshesPerMonth: number,
): number | null {
  const fixed = (r: Route) =>
      r.setupUSD
    + months * refreshesPerMonth * r.perRefreshUSD
    + months * HOURS_PER_MONTH * r.standingUSDPerHour;
  const dFixed = fixed(b) - fixed(a);                     // b's extra fixed cost
  const dVar = perQueryUSD(a) - perQueryUSD(b);           // b's per-question saving
  if (dVar <= 0) return null;                             // b is never cheaper
  return Math.max(0, dFixed / dVar / months);
}

Tuned-malli ei ole eri hinnasto, se on sama hinnasto kerrottuna:

const TUNED_MULTIPLIER = 1.5;   // read from the provider's pricing page, 2026-09-07

const scale = (p: Pricing, k: number): Pricing => ({
  input: p.input.map(t => ({ ...t, price: t.price * k })),
  cachedInput: p.cachedInput!.map(t => ({ ...t, price: t.price * k })),
  output: p.output.map(t => ({ ...t, price: t.price * k })),   
});

Tuo yksi korostettu rivi on edellisen osion koko argumentti koodina: kerroin osuu myös output:iin.

Kuusi kuukautta, dokumentaatio päivitettynä viikoittain:

Ja crossoverit, jotka ovat ne neljä lukua joita budjetti oikeasti tarvitsee:

retrieval -> fine-tune, documentation never changes:     148 questions / month
retrieval -> fine-tune, documentation refreshed weekly: 3,989 questions / month
prompt (no cache) -> retrieval:                            1 question / month
prompt (no cache) -> prompt (cached):                    546 questions / month

Lue kaksi ensimmäistä yhdessä, koska ne ovat luvun ydin. Paikallaan pysyvä korpus saa fine-tuningin maksamaan itsensä takaisin sadassaviidessäkymmenessä kysymyksessä; viikoittain muuttuva korpus siirtää saman crossoverin kaksikymmentäseitsemänkertaiseksi, eikä mikään mallissa muuttunut — vain se, kuinka usein maksat siitä uudelleen. Rakennuskustannus on alaviite; ylläpitokustannus on päätös.

Jos päättelet nyt, että kiireisen tukipisteen kannattaa tehdä fine-tuning, aritmetiikka on samaa mieltä. Se on silti väärin, ja seuraava osio kertoo miksi.

Kustannusarkissa on yksi sarake, jota se ei voi laskea, joten tämä osio ajaa fine-tunen: paikallisesti, pienellä avoimella mallilla, adapter käsin kirjoitettuna eikä kirjastosta vedettynä. Chapter 11 rakensi LoRA:n; tässä se on q_proj:lla ja v_proj:lla kaikissa Qwen2.5-0.5B-Instruct:n 24 kerroksessa rankilla 8:

class LoRALinear(nn.Module):
    def __init__(self, base: nn.Linear, r=8, alpha=16):
        super().__init__(); self.base = base
        for p in self.base.parameters():
            p.requires_grad = False              # the model is frozen  
        self.A = nn.Parameter(torch.zeros(r, base.in_features))
        nn.init.normal_(self.A, std=1 / r)
        self.B = nn.Parameter(torch.zeros(base.out_features, r))
        self.s = alpha / r
        self.on = True                           # so the same run can compare both

    def forward(self, x):
        y = self.base(x)
        return y + (x @ self.A.T @ self.B.T) * self.s if self.on else y

Kaksisataa training-esimerkkiä tulevat mekaanisesti korpuksesta, joten ne toistuvat: kysymys on kysymykseksi muutettu osio-otsikko, vastaus on kyseisen osion oma teksti jäykässä talon tyylissä — yksi rivi alkaa Short answer:, yksi rivi alkaa Source: ja mukana on tiedostopolku. Formaatti on opetettava muoto; polku on fakta. Sitten kaksi lukua kahdenkymmenen held-out-kysymyksen yli: tuleeko vastaus talon tyyliin, ja nimeääkö se tiedoston, joka todella vastaa kysymykseen?

Kaksi baselinea tekee taulukosta luettavan, ja molemmat ovat Chapter 4:n vaatimus eivätkä jälkiajatus. Kymmenen kahdestakymmenestä oikeasta vastauksesta on sama tiedosto, joten malli, joka sivuuttaa kysymyksen ja vastaa aina CLAUDE.md, saa tuloksen 10/20. Ja retrieverillä on oma kattonsa: näiden kahdenkymmenen kysymyksen yli sen neljä otetta sisältävät oikean tiedoston 14 kertaa ja rankkaavat sen ensimmäiseksi 7 kertaa, joten 14/20 on enimmäistulos, jonka mikään sitä käyttävä reader voisi saada.

LoRA modules 48   trainable parameters 540,672 (0.109 % of the model)
400 steps, 2 epochs, 0.76 s/step on 16 CPU threads, 304 s in total
mean loss over the first 50 steps 3.7363 -> over the last 50 steps 2.4197

                                        house style   correct source
always answer the most common file             --          10 / 20
the retriever's own ceiling                    --          14 / 20
base model, closed book                    0 / 20           0 / 20
fine-tuned, closed book                   19 / 20           8 / 20
base model, four retrieved extracts       13 / 20           2 / 20
fine-tuned, four retrieved extracts        1 / 20           1 / 20

Muoto opittiin, täysin ja nopeasti. Nollasta yhdeksääntoista kahdestakymmenestä, 540,672-parametrisella adapterilla — 0,109 % mallista — viidessä minuutissa trainingia prosessorilla ilman näköpiirissä olevaa näytönohjainta.

Faktoja ei opittu. Kahdeksan kahdestakymmenestä ei erotu kymmenestä, jonka saat sivuuttamalla kysymyksen kokonaan, ja Chapter 4:n intervalli kahdellakymmenellä näytteellä sanoo sen ääneen. Nuo tiedostopolut olivat training datassa kolmeen kertaan; ulos tuli tapa päättää vastaus uskottavan näköiseen Source:-riviin. Kun siltä kysyttiin tämän luvun alussa oleva kysymys, fine-tuned-malli vastasi Short answer: 10.x . . . ja viittasi CLAUDE.md:een. Oikea vastaus, joka on CLAUDE.md:ssa, on 18.17.0.

Ja sitten muoto hajosi, mikä on rivi joka oikeuttaa kokeen. Anna fine-tuned-mallille tuhat tokenia retrieved-otteita — promptin muoto, jota se ei koskaan nähnyt, koska jokainen training prompt oli kaksikymmentäkahdeksan tokenia — ja talon tyyli romahtaa tuloksesta 19/20 tulokseen 1/20. Tämän luvun alussa olevaan kysymykseen se vastaa 18.17.0 — oikein, mutta ilman mitään siitä formaatista, jota varten se koulutettiin. Fine-tuning ei siis opettanut formaattia; se opetti formaatin ehdollisena training setin prompteille, ja ensimmäinen erilaiselta näyttänyt prompt vei formaatin mukanaan. Se, mihin teet fine-tuningin, muuttuu ainoaksi input distributioniksi, jossa mallisi on hyvä, eikä kukaan laita sitä laskentataulukkoon.

Viimeinen huomio metriikasta, suoraan kohti Chapter 29: "correct source" pisteyttää muodon ja faktan yhdessä, minkä vuoksi molemmat retrieval-rivit näyttävät kamalilta, vaikka molemmat mallit saivat kyseisen kysymyksen faktan oikein. Yksi end-to-end-luku piilotti kolme asiaa — retrieverin 14/20 recallin, 0.5B readerin ja viittausformaatin — ja sen valitseminen, mitä korjataan, tarkoittaa niiden erottamista ennen mittaamista, ei sen jälkeen.

Nyt sarake, jonka toimittajat täyttävät puolestasi. Fine-tuned-malli ei ole omistamasi omaisuus; se on vuokrasopimus jonkun toisen base modeliin, ja siihen on painettu päättymispäivä. 7. syyskuuta 2026 OpenAI:n hinnoittelusivun fine-tuning-osiossa oli tämä ilmoitus kokonaisuudessaan:

OpenAI is winding down the fine-tuning platform. The platform is no longer accessible to new users, but existing users of the fine-tuning platform will be able to create training jobs for the coming months. All fine-tuned models will remain available for inference until their base models are deprecated.⁷

Aikajana on päivätty päivän tarkkuudella: 7. toukokuuta 2026 suljettu organisaatioilta, jotka eivät olleet koskaan fine-tunanneet; 2. heinäkuuta 2026 suljettu niiltä, jotka eivät olleet ajaneet inferenceä fine-tuned-mallilla kuuteenkymmeneen päivään; 6. tammikuuta 2027 ei enää uusia jobeja lainkaan.⁸ Sama sivu aikatauluttaa itse fine-tuned-mallien alasajon — ft-gpt-3.5-turbo, ft-gpt-4, ft-gpt-4.1-nano, ft-babbage-002, ft-davinci-002 — 23. lokakuuta 2026, jokaisella mukana recommended replacement base model, joka on kohtelias tapa sanoa: kouluta se uudelleen.

Toinen frontier-toimittaja ei koskaan myynyt sinulle vuokrasopimusta. Anthropicin dokumentaatioindeksi listaa 699 sivua, eikä yksikään koske fine-tuningia; Bedrockin hinnoittelusivun model-customisation-osiot kattavat Amazon Novan, Amazon Titanin, Cohere:n, Meta:n ja OpenAI:n open-weight-mallit, mutta eivät Claudea.⁹¹⁰ Jos arkkitehtuurisi riippuu fine-tunesta, yksi kolmesta frontier-perheestä ei yksinkertaisesti ole käytettävissä millään budjetilla.

Self-hosting korvaa mallin vuokrasopimuksen koneen vuokrasopimuksella, ja AWS tekee tämän aritmetiikan omalla sivullaan: yksi model unit provisioned throughputia customised-mallille, yhden kuukauden sitoumus, on "1 model unit × $21.18 × 24 hours × 31 days = $15,757.92" kuukaudessa.¹⁰ Metallin vuokraaminen suoraan on halvempaa eikä ilmaista — $3.99 per GPU-tunti on demand H100:lle, $1.99 preemptible¹¹ — noin $2,900 kuukaudessa yhdestä kortista, jonka täytyy olla päällä kysyy kukaan mitään tai ei. Koko retrieval-reitti kymmenellätuhannella kysymyksellä kuukaudessa on $174.52 kuudelta kuukaudelta.

Tässä LoRA ansaitsee paikkansa budjettiargumenttina, ei teknisenä argumenttina. Samalla mallilla mitattuna rank-16-adapter attentionin ja feed-forward-kerrosten yli on 8,798,208 parametria — 1,781 % mallista, 17,6 MB bfloat16:ssa — verrattuna 0,988 GB:n base weightseihin, ja sen optimiser- ja gradient-tila on 140,77 MB, kun full fine-tuning tarvitsee 7,90 GB, kerroin 56. Seuraus ei ole halvempi training vaan se, että yksi ladattu base model voi palvella monia adaptereita, mikä on ainoa tapa jakaa GPU:n kiinteä kustannus millään. Managed training heijastaa sitä: $0.48 per miljoona tokenia low-rank jopa 16B:hen asti vastaan $0.54 full, $4.00 minimillä per job.¹¹ Tuo lattia on yksityiskohta. 24,389 tokenilla kolmelle epochille jokainen retraining tällä korpuksella laskutetaan $4.00 eikä laskennallisella $0.04:llä — $104 minimejä kahdenkymmenenkuuden viikoittaisen ajon aikana, yhdeksänkymmenenyhden sentin aritmetiikasta.

Kaksi lisäsaraketta, jotka näkyvät vain laskulla.

Data residency maksaa noin kymmenen prosenttia, ja kaksi palveluntarjoajaa on samaa mieltä luvusta. OpenAI veloittaa "a 10 % uplift" data-residency-endpointeista malleille, jotka on julkaistu 5. maaliskuuta 2026 tai sen jälkeen;⁷ Vertex hinnoittelee non-global-endpointtinsa $1.65:een verrattuna $1.50:een, sama kymmenen prosenttia.⁶ Aseta se tuned-endpointin viittäkymmentä prosenttia vastaan ja folklore kääntyy: residency on halpaa eikä fine-tuning ole — eikä fine-tuning ole yksityinen vaihtoehto muutenkaan, koska korpus päätyy palveluntarjoajalle joka tapauksessa, kerran training-aikana eikä kerran per kutsu.

Selkein hinta, joka datallesi on koskaan asetettu, on samalla sivulla, joka listaa yhden fine-tuned-mallin kahdesti: data sharing käytössä inference on täsmälleen puolet — $2.00 vastaan $4.00 input, $8.00 vastaan $16.00 output.⁷ Se, että annat palveluntarjoajan pitää lähettämäsi, on 50 % alennuksen arvoista, mikä kertoo mitä se on heille arvoista.

Distillation — oman pienen mallin kouluttaminen suuren mallin vastauksilla — tarjotaan yleensä ulospääsyksi molemmista. Hinnoittele se, eikä se ole sitä, koska teacher on järjestelmä, jota yritit korvata: kahdensadan training-esimerkin tuottaminen kysymällä retrieval-reitiltä kaksisataa kysymystä maksaa 200 × $0.002906 = $0.58, sen $0.73:n päälle, jolla ne koulutetaan. Distillation on jotain, mitä teet sen jälkeen kun retrieval pipeline toimii, jotta siitä tulee halvempi, ja se perii jokaisen faktan, jonka retriever sai väärin.

Raha on näkyvä puolikas. Toinen saapuu odotuksena, samasta syystä kuin lasku: malli lukee koko promptin ennen kuin se sanoo sanaakaan. Chapter 13 mittasi prefillin decodea vasten mallilla, jota pystyi koskettamaan; tässä sama mittaus, yksi ajo, yksi kone, promptin pituutta vasten:

Absoluuttiset luvut kuuluvat 0.5B-mallille kuudellatoista CPU-säikeellä eivätkä sano mitään hosted frontier -mallista. Muoto siirtyy täsmälleen: prefill kasvaa promptin pituuden mukana, ja kustannus per token hiipii ylöspäin, kun Chapter 9:n neliöllinen termi alkaa näkyä — 4.79 ms tuhannella tokenilla vastaan 6.04 ms kahdeksalla tuhannella, 26 % rangaistus pelkästä pidemmyydestä.

Seuraus kolmelle reitille on suora. Reitti yksi prefillaa neljäkymmentäkolme tuhatta tokenia per kysymys, ja cache hit tekee siitä siedettävän — Chapter 16 selitti miksi: cache-luku korvaa prefill-työn, joten se ostaa latenssia ja rahaa yhdellä transaktiolla. Reitti kaksi prefillaa tuhat ja lisää ensin round tripin indeksiin. Reitti kolme prefillaa kaksikymmentäkahdeksan eikä lisää mitään, mikä tekee siitä mitatusti nopeimman kolmesta vastaamaan. Se vain vastaa väärään asiaan.

Kolme epäonnistumista, jotka näyttävät malliongelmilta mutta eivät ole — kymmenen minuuttia tässä säästää kuukauden myöhemmin:

Ja vaatimus kaiken yli: tätä päätöstä ei voi tehdä ilman evaluation setiä, ja fine-tunen myyvä toimittaja sanoo sen. OpenAI:n opas alkaa lauseella "Only invest in fine-tuning after setting up evals. You need a reliable way to determine whether your fine-tuned model is performing better than a base model", ja lisää, että jos viisikymmentä hyvää esimerkkiä ei muuta mitään, ongelma on tehtävässä tai promptissa, ei datan määrässä.¹ Kaksikymmentä kysymystä, joita tämä luku käytti, näyttää mekanismin eikä voi valita toimittajaa — Chapter 4 mittasi miksi, ja mitä tehdä kun kaksikymmentä tapausta on kaikki mitä sinulla on — toista ne, parita ne ja mittaa hajonta ajojen välillä — on Chapter 29.

Neljä saraketta, ja vain viimeinen päättää:

Siitä seuraava sääntö on tarpeeksi lyhyt pidettäväksi mielessä: aloita promptista; lisää retrieval, kun faktat liikkuvat; tee fine-tuning vain, kun olet mitannut, että sinulta vielä puuttuva asia on muoto, ei fakta — ja hinnoittele vastaus, ei prompt, ennen kuin teet sen.

Epämukava versio kaikille, jotka tulivat paikalle päätös jo tehtynä: tässä luvussa mitatussa tapauksessa fine-tuning on halvin reitti yli neljällä tuhannella kysymyksellä kuukaudessa, mutta faktoissa se ei silti pysty päihittämään sitä, että vastataan CLAUDE.md kaikkeen.

Jokainen hinta tässä on ollut per token, ja jokainen reitti erilainen tapa järjestää tokeneita. Tämä lakkaa pian olemasta totta.

Chapter 21 poistuu tekstistä. Malliin tuleva kuva ei ole string vaan ruudukko patcheja token-määrällä, jota et valinnut; puhuttu minuutti laskutetaan yhdellä toimittajalla sekunteina ja toisella audio tokenina; synteettinen puhe myydään merkeittäin, transcription minuuteittain, raaka compute GPU-sekunneittain. Kysymystä, johon tämä luku vastasi yhdellä kustannusfunktiolla — kumpi on halvempi? — ei voi edes esittää ennen kuin yksiköt täsmäävät, eikä mikään internetin laskin normalisoi niitä.

Siellä myös training ilmestyy uudelleen: image adapter trigger wordilla, ja näytteestä kloonattu ääni. Se nostaa kysymyksen, jolla seuraava luku alkaa, eikä se ole retorinen: jos language modelin fine-tuning on lähes aina väärä ostos, miksi image modelin fine-tuning on lähes aina oikea?

Jokainen tämän luvun hinta, kynnys ja kerroin luettiin palveluntarjoajan omalta sivulta 7. syyskuuta 2026 ja lainataan kyseisellä päivämäärällä, koska ne kaikki liikkuvat. Mitatut luvut — token-määrät, chunk-koot, retrieval-koot, training loss, pisteet, latenssit ja versiohistorian laskurit — tuotettiin yhdellä koneella samana päivänä ja ovat toistettavissa yllä kuvatusta korpuksesta.

Paikalliset kokeet käyttivät Qwen/Qwen2.5-0.5B-Instruct:ää greedy decodingilla, joten ne toistuvat täsmälleen; adapter on yllä tulostettu kaksitoistarivinen class, rankilla 8 q_proj:n ja v_proj:n yli. Korpus on yhden toimivan ohjelmistorepositoryn seurattu Markdown-dokumentaatio, pois lukien kaksi append-only-lokia, ja sen muutosvauhti laskettiin kyseisen repositoryn versiohistoriasta.