Prompt engineering mitattuna: mikä muuttaa outputia

Ennen mittauksia yksi tosiasia, joka selittää hiljaisesti puolet siitä, mitä seuraa.

Modelilla ei ole muistia. Kahden kutsun välillä se ei säilytä mitään — ei edellistä kysymystäsi, ei omaa edellistä vastaustaan, ei liittämääsi tiedostoa, ei sitä, että kysyit siltä jo kahdesti. Jokainen kutsu alkaa tyhjästä koneesta, ja ainoa asia, jonka kone tietää, on sille juuri antamasi token-jono.

Se, mikä näyttää chat-käyttöliittymässä muistilta, on asiakkaasi, joka lähettää koko keskustelun uudelleen, jokaisen vuoron, alusta asti. Model lukee kaiken uudelleen tyhjästä joka kerta. Luku 13 mittasi, mitä tuo uudelleenlukeminen maksaa forward passissa; luku 16 muuttaa sen riviksi laskulle. Tässä ratkaisee seurauksena syntyvä suunnitteluperiaate: prompt ei ole viesti järjestelmälle, jolla on tila. Se on tila.

Tämä poistaa kokonaisen joukon sekaannuksia. ”Model unohti, mitä kerroin sille” tarkoittaa yleensä, ettei sitä koskaan lähetetty. ”Se sivuutti aiemman ohjeeni” tarkoittaa yleensä, että ohje putosi ikkunasta, kun historia katkaistiin. ”Se käyttäytyi tuotannossa eri tavalla” tarkoittaa yleensä, että tuotanto kokoaa eri promptin kuin se, jota testasit. Mikään näistä ei ole model-ongelma, eikä mikään korjaannu muotoilemalla sanoja uudelleen.

Väite ”tämä prompt on parempi” on väite jakaumasta, etkä näe jakaumaa katsomalla yhtä outputia. Tarvitset tylsiä asioita: tapauksia, joilla on tunnetut vastaukset, N varianttia ja välin.

Harness on viisikymmentä riviä TypeScriptiä, saman muotoinen kuin luvun 14 asiakas — request, deadline, hieman rinnakkaisuutta, laskuri. Se ilmestyy uudelleen luvussa 19 arvioimaan hakijaa ja luvussa 29 golden setinä.

export type Case = { input: string; expected: string };
export type Variant = { name: string; build: (c: Case) => ChatMessage[] };

async function pooled<T, R>(xs: T[], n: number, f: (x: T) => Promise<R>) {
  const out: R[] = new Array(xs.length);
  let i = 0;
  await Promise.all(
    Array.from({ length: n }, async () => {
      while (i < xs.length) {
        const k = i++;
        out[k] = await f(xs[k]);
      }
    }),
  );
  return out;
}

export async function runVariant(v: Variant, cases: Case[], concurrency = 6) {
  const hits = await pooled(cases, concurrency, async (c) => {
    const answer = await complete(v.build(c));      
    return answer.trim().toLowerCase() === c.expected;
  });
  return { name: v.name, hits, k: hits.filter(Boolean).length, n: cases.length };
}

Takaisin tuleva numero ei ole tulos. Tämä on:

/** 95 % Wilson score interval for a proportion. Chapter 4 derives it. */
export function wilson(k: number, n: number, z = 1.96) {
  const p = k / n;
  const d = 1 + (z * z) / n;
  const centre = (p + (z * z) / (2 * n)) / d;
  const half = (z * Math.sqrt((p * (1 - p)) / n + (z * z) / (4 * n * n))) / d;
  return [Math.max(0, centre - half), Math.min(1, centre + half)] as const;
}

Luku 4 esitti argumentin, ja tämä luku lunastaa sen. Seitsemäntoista oikein kahdestakymmenestä on 85 %, ja sen 95 % väli ulottuu 64 %:sta 95 %:iin. Variantti, joka saa 13 oikein 20:stä — 65 %, mikä tuntuu selvästi huonommalta — saa välin 43 %:sta 82 %:iin. Nämä kaksi väliä menevät päällekkäin lähes koko pituudeltaan. Kaksikymmentä tapausta ei erota hyvää promptia keskinkertaisesta, ja suurin osa julkaistuista prompt-neuvoista on validoitu pienemmällä määrällä.

Kuusikymmentä tapausta, joita tämä luku käyttää, ei sekään ole paljon. Se riittää näkemään suuret vaikutukset ja on tarpeeksi rehellinen myöntämään, milloin se ei näe pieniä — ja se myöntää sen alla useita kertoja.

Kolme lohkoa — säännöt R, tiketti T, ohje I — liitettynä yhdeksi user-viestiksi. Kaikki kuusi permutaatiota, tavulleen identtinen sisältö, kuusikymmentä tapausta kukin.

Paras–huonoin-ero on 28,3 pistettä, eivätkä välit mene päällekkäin, joten tämä ei ole tarina kohinasta. Koska jokainen haara pisteytetään samoilla kuudellakymmenellä kohteella, terävämpi kysymys on paritettu: niissä tapauksissa, joissa kaksi haaraa on eri mieltä, kuinka vino jakauma on? Siirtyminen huonoimmasta järjestyksestä parhaaseen käänsi 21 tapausta oikeaksi ja 4 vääräksi — tarkka paritettu todennäköisyys 0,0009.³

Lue taulukkoa sen muodon, älä voittajan, vuoksi. Kaksi parasta riviä molemmat päättyvät tikettiin; kaksi huonointa joko hautaavat ohjeen keskelle tai laahaavat sen datan perässä. Se on sama ilmiö, jonka Liu et al. nimesivät Lost in the Middle: promptin reunoilla oleva materiaali käytetään luotettavammin kuin keskellä oleva.⁴ Luku 16 hinnoittelee ikkunan, ja luku 24 mittaa vaikutuksen kunnolla pituudessa, jossa keskikohta romahtaa kuvatulla tavalla eikä aivan lopun palautuminen palaa. Tässä käytännön sääntö putoaa esiin itsestään: tehtävä ylös, data alas, ei mitään tärkeää keskelle.

Siirrä nyt samat sanat vuorojen välillä. Luku 11 osoitti, että chat template ei ole koristelua modelin ympärillä vaan osa sitä — <|im_start|>system ja <|im_start|>user ovat oikeita tokeneita, jotka model näki miljoonia kertoja fine-tuningin aikana täsmälleen noissa paikoissa. Siis pitäisi olla väliä, mille puolelle noita markkereita ohjeesi päätyy, ja sillä on:

Sääntöjen ja ohjeen siirtäminen template-rajan yli toi 21,7 pistettä — 19 tapausta voitettiin, 6 hävittiin, paritettu todennäköisyys 0,0146 — muuttamatta niistä merkkiäkään. Tämä on konkreettinen vastaus kysymykseen system prompt versus user prompt: ne eivät ole kaksi tapaa sanoa sama asia. Ne ovat kaksi eri token-sijaintia rakenteessa, jolla model koulutettiin, ja system-sijaintiin kuuluvat ohjeet, jotka koskevat koko keskustelua.

Huomaa myös kolmas rivi. Ohjeen toistaminen tiketin jälkeen — laajalti suositeltu kikka — sai heikomman tuloksen kuin sen sanominen kerran. Tällä modelilla, tässä tehtävässä, kahdesti sanominen oli huonompi kuin kerran sanominen.

Sama prompt, paras sijoittelu, kuusikymmentä tapausta. Ainoa muuttuva asia on se, mikä ympäröi tiketin tekstiä.

Kahdeksantoista pisteen hajonta välimerkeistä. Mutta katso kahta ääripään väliä: [73,9, 91,9] ja [54,1, 77,3]. Ne menevät päällekkäin. Karkealla tulkinnalla — vertaa virherajoja, ja jos ne koskettavat, älä sano mitään — tämä taulukko ei todista yhtään mitään.

Karkea tulkinta on tässä väärä, ja sen ymmärtäminen on arvokkaampaa kuin taulukko. Jokainen variantti pisteytettiin samoilla kuudellakymmenellä tiketillä, joten kaksi mittausta eivät ole riippumattomia otoksia; ne ovat paritettuja. Suurin osa kunkin välin leveydestä tulee epävarmuuden lähteestä, jonka molemmat haarat jakavat — siitä, ovatko nämä kuusikymmentä tikettiä edustavia — ja tuo lähde kumoutuu, kun vertaat niitä toisiinsa. Kysy sen sijaan paritettu kysymys, ja vastaus on terävä: siirtyminen lainausmerkeistä XML-tagiin käänsi 12 tapausta oikeaksi ja 1 vääräksi, paritettu todennäköisyys 0,0034. Se on todellinen ero.

Ja sitten sama testi lässäyttää otsikon. XML-tag voitti tavallisen Ticket: labelin 8,3 pisteellä, mikä on numero, jonka blogikirjoitus laittaisi otsikkoonsa. Paritettuna: 6 voittoa, 1 tappio, todennäköisyys 0,1250. Ei osoitettu. Seitsemän tapausta on se, jonka varassa kuuluisa parannus lepää.

On siis kaksi kysymystä kahdella eri instrumentilla, ja niiden sekoittaminen on se, miten prompt-neuvot menevät pieleen molempiin suuntiin yhtä aikaa:

Yleinen löydös — että modelit ovat voimakkaasti ja arvaamattomasti herkkiä muotoiluvalinnoille, joilla ei ole semanttista sisältöä — ei ole uusi. Sclar et al. vaihtelivat vain erottimia, välistystä ja kirjainkokoa kymmenissä tehtävissä ja löysivät tarkkuushajontoja, jotka riittivät kääntämään julkaistuja model-rankingejä.⁵ Käytännön seuraus ei ole ”käytä XML-tageja”. Se on, että muotoilu on hyperparameter, sen sweep ei maksa mitään, ja mikä tahansa kahden modelin vertailu, joka lukitsee yhden formaatin, vertailee formaatteja yhtä paljon kuin modeleita.

In-context learning — se, että modelille näytetään promptissa ratkaistuja esimerkkejä ja se yleistää niistä ilman yhtään painopäivitystä — on kyky, joka teki GPT-3:sta kuuluisan.⁶ Käytännön kysymys ei ole koskaan, toimiiko se. Kysymys on, monestako esimerkistä kannattaa maksaa.

Esimerkit menevät sisään oikeina aiempina vuoroina, vuorotellen user ja assistant, koska se on rakenne, jolla template koulutettiin. Jokainen k ajettiin viidellä eri satunnaispoiminnalla erillisestä kuudentoista labeloidun tiketin poolista:

Kaksi esimerkkiä toi seitsemän pistettä. Seuraavat kuusi esimerkkiä eivät tuoneet mitään mitattavaa — 83,7, sitten 81,7, sitten 83,7, sarja joka vaeltaa oman kohinansa sisällä. Kuusitoista toi vielä viisi ja puoli. Käyrä ei ole tasainen nousu; se on askel, tasanne ja askel.

Tärkein sarake on viimeinen. Kohdassa k = 8 se, mitkä kahdeksan esimerkkiä satuit valitsemaan, liikutti tarkkuutta 10 pistettä — enemmän kuin koko hyöty siirtymisestä kahdesta esimerkistä kahdeksaan. Ja alin rivi on tästä terävin versio: kohdassa k = 16 pooli on käytetty loppuun, joten kaikki viisi ajoa sisältävät täsmälleen samat kuusitoista esimerkkiä, eroten vain niiden järjestyksessä. Pelkkä järjestys liikutti tarkkuutta 8,3 pistettä.

Tämä on tulos, jonka Lu et al. raportoivat, ja se säilyy kaikkialla, mistä sitä on etsitty: esimerkkien järjestys on aito hyperparameter, jonka vaikutukset ovat verrattavissa esimerkkimäärään.⁷ Siksi rehellinen neuvo few-shot promptingista ei ole numero. Se on:

Nyt kansanperinne. Jokainen näistä on yksi lause, joka lisättiin system promptin alkuun; muuten prompt on identtinen, samoilla kuudellakymmenellä tapauksella.

Neljä viidestä ei tehnyt mitään. Ei ”vähän”; ei mitään, minkä kuusikymmentä paritettua tapausta näkisi. Asiantuntijapersoona ja lahjus saivat molemmat heikomman tuloksen kuin koskematon baseline, eivätkä nekään pudotukset läpäise paritettua testiä — ne ovat alamäkeen osoittavaa kohinaa.

Kolmas rivi on se, jonka äärelle kannattaa pysähtyä. ”This is very important to my career” tuotti täsmälleen saman tarkkuuden, 46/60 — ja kymmenen kuudestakymmenestä vastauksesta muuttui, viisi kumpaankin suuntaan. Yhteenvetotilasto oli identtinen, käytös ei. Jos evaluaatiosi on yksi numero pienellä joukolla, muutos, joka kirjoittaa kuudesosan outputeistasi uudelleen, voi näyttää muutokselta, joka ei tehnyt mitään, ja julkaiset sen uskoen sen olleen ilmainen.

Ja sitten uhkaus, joka on ainoa lause, joka liikutti neulaa ja liikutti sitä 35 pistettä alas, kääntäen 24 tapausta oikeasta vääräksi. Se ei ole pyöristysartefakti; se on erilaista model-käyttäytymistä. Oppi ei ole ”älä koskaan uhkaile modelia”. Se on, että emotionaalinen kehystys ei ole inertti. Se siirtää jakaumaa, joskus rajusti, suuntaan, jota kukaan ei voi ennustaa lukemalla lausetta — juuri siksi se on mitattava eikä järkeiltävä.

Yksi varaus, jonka tämä luku on sinulle velkaa: nämä viisi lausetta testattiin yhdellä pienellä modelilla ja yhdellä tehtävällä. Joillakin on julkaistua tukea muualla — ”take a deep breath” tuli paperista, joka etsi korkean pistemäärän ohjeita eikä keksinyt niitä, mikä on eri ja parempi väite kuin myöhemmin kiertänyt versio.⁸ Yleistyvää eivät ole lauseet. Yleistyvää on se, että blogipostauksissa säilynyt lista ja mittauksessa säilyvä lista ovat kaksi eri listaa, ja ainoa tapa tietää, kumpaa pidät kädessäsi, on ajaa bench.

Sääntö, jota kaikki toistavat — sano mitä haluat, et mitä et halua — tavalliseen tapaan ilman numeroa. Tässä on numero. Sama formaattivaatimus kolmella tavalla kirjoitettuna, modelin generoidessa vapaasti, jotta noudattamista voidaan tarkkailla:

Kolme kieltoa pärjäsi huonommin kuin yksi ohje ja sai modelin kirjoittamaan viisi kertaa enemmän tekstiä — kaikkien kolmen täsmällisen vastakohdan yhtä aikaa. Positiivisen lauseen lisääminen takaisin pelasti sen 68 %:iin.

Mekanismi ei ole mystinen, kun muistat luvun 8. Model valitsee seuraavan tokenin jakaumasta, joka ehdollistuu kaikkeen sitä edeltävään, ja kielto laittaa kielletyn asian sisään tähän ehdollistukseen. Negaatio-operaattoria ei ole; on context, jossa sana nyt esiintyy.

Tämän voi mitata suoraan. Ota baseline prompt ja lisää yksi rivi: Do not use the shipping queue for software problems. Katso sitten vain neljääkymmentäviittä tikettiä, jotka eivät ole shipping-tikettejä:

Jonon nimeäminen sen poissulkemiseksi sai modelin valitsemaan sen kolme kertaa useammin, lähes kolminkertaisti sille annetun todennäköisyysmassan ja maksoi 25 pistettä kokonaistarkkuutta — 16 tapausta hävittiin yhtä voitettua vastaan, paritettu todennäköisyys 0,0003.

Älä ajattele norsua, mitattuna. Uudelleenkirjoitus on aina sama: korvaa kielto positiivisella säännöllä, joka tekee kiellosta tarpeettoman. Ei ”älä käytä shippingiä ohjelmisto-ongelmiin” vaan ”käytä shippingiä vain, kun kyseessä on fyysinen paketti”.

Luku 12 rakensi chain of thoughtin kunnolla — ensin prompting-tekniikkana,⁹¹⁰ sitten asiana, joka koulutetaan sisään todennettavilla palkkioilla — ja päättyi varoitukseen, jonka se lykkäsi tähän lukuun: modelin käskeminen ajattelemaan askel askeleelta lakkaa auttamasta, kun model päättelee omillaan, ja voi satuttaa. Tässä on tuo varoitus taulukon kanssa tehtävässä, jossa on helppo olettaa, että enemmän ajattelua olisi parempi.

Molemmat haarat luetaan samalla instrumentilla samassa paikassa. Ainoa ero on, istuuko contextissa ensin chain of thought, jonka model kirjoitti itse.

Tarkkuus laski ja kustannus nousi, ja tämän luvun oma sääntö koskee tämän luvun omaa tulosta: pudotus on 7 tapausta voitettu ja 10 hävitty, paritettu todennäköisyys 0,629, eli sitä ei ole osoitettu. Se, mikä on osoitettu, on että se tuotti 98 ylimääräistä output-tokenia per kutsu eikä ostanut niillä mitään mitattavaa. Epävarmuus on kokonaan hyödyn puolella. Lasku on varma.

Epäonnistuva chain on opettavaisempi kuin onnistuva. Kun modelia pyydettiin päättelemään aiheesta ”Your Slack integration stopped posting messages after Tuesday”, se kirjoitti:

1. Check if the issue persists on Monday.
2. Verify if there are any updates or changes in your Slack setup that
   might affect message posting.
3. If no update has been made since Tuesday, check for any recent system
   restarts or downtime affecting Slack functionality.
4. If you have recently installed new software or updated your
   environment, ensure it's compatible with Slack version.
5. Contact Slack support for further assistance or troubleshooting steps.

Se on pätevää vianmääritysohjetta, mutta se ei ole tehtävä. Kun modelia pyydettiin ajattelemaan, se ajautui genreen, jota ”think step by step about this support ticket” eniten muistuttaa sen koulutusdatassa — ja vastasi sitten luokittelukysymykseen viidensadan merkin verran asiaankuulumatonta päättelyä omassa contextissaan. Chain of thought auttaa ongelmissa, joissa on laskemisen arvoinen välitila: aritmetiikka, monihyppyiset haut, rajoitteiden ratkaisu. Lauseen reitittäminen yhteen neljästä ämpäristä ei sisällä välitilaa. Chainillä ei ole mitään pidettävää, joten se vain lisää uskottavaa tekstiä, josta lopullisen päätöksen täytyy sitten selviytyä.

Kaksi käytännön seurausta. Ensinnäkin modelille, joka on koulutettu päättelemään — luvun 12 RLVR-modelit — ohje on pahempi kuin turha: se voi korvata pitkän chainin, jonka model olisi tuottanut, lyhyellä promptin näköisellä. Ja useiden chainien samplettaminen ja äänestäminen, eli self-consistency,¹¹ ei voi pelastaa tehtävää, jossa ei ole mitään erimielisyyden aihetta: se moninkertaistaa kustannuksen samplejen määrällä ratkaistakseen tasapelejä, joita ei ole. Luku 12 mittasi tuon kaupan siellä, missä se pätee. Toiseksi huomaa, mitä itse vertailurakenne maksoi. Vastauksen pakottaminen Final queue:-riville pudotti ilman päättelyä olevan haaran 76,7 %:sta 61,7 %:iin. Viisitoista pistettä, maksettuna siitä, että kaksi haaraa saatiin vertailukelpoisiksi. Rakenne, joka on olemassa mukavuuttasi varten, ei sekään ole ilmainen.

Vielä yksi mittaus, koska tätä kaikki kysyvät ensimmäisen yllättävän tuloksen jälkeen. Kuusikymmentä promptia, greedy decoding, ajettuna toistuvasti:

• Sama kutsu toistettuna kaiken pysyessä samana palautti bitilleen identtiset todennäköisyydet. Determinististä.
• Sama kutsu batchattuna eri naapureiden kanssa — batch-koot 1, 4, 12, 30 ja 60 — palautti todennäköisyyksiä, jotka erosivat enintään 0,0128. Valittu label ei muuttunut kertaakaan, 0 tapauksessa 60:stä.

Label säilyi, koska sillä oli tilaa säilyä: kuudenkymmenen tapauksen pienin väli kahden parhaan jonon välillä oli 0,0459, kolme ja puoli kertaa drift. Vakaus ei ollut algoritmin ominaisuus. Se oli marginaali, ja marginaalit loppuvat. Luku 17 sisältää aritmeettisen syyn ja purkaa sampling-säätimet, jotka leventävät ja kaventavat näitä välejä. Syy istuttaa se tähän on, että se rajaa, mitä mikään prompt-mittaus voi tarkoittaa: bench mittaa järjestelmää, joka on toistettava vain toleranssiin asti, ja kahden pisteen ero varianttien välillä on huonona päivänä toleranssin sisällä.

Kaikki yllä oleva on ihmisen valitsema variantti ja koneen arvioima tulos. Ilmeinen seuraava askel on antaa koneen valita myös variantit.

APE tekee juuri niin: model ehdottaa ehdokasohjeita, ne pisteytetään held-out-esimerkeillä, ja parhaat säilyvät.⁸ Sen löytämät ohjeet ovat usein sellaisia, joita yksikään ihminen ei kirjoittaisi, mikä on pointti — haku kohdistuu siihen, mikä saa pisteitä, ei siihen, mikä kuulostaa ammattimaiselta.

DSPy menee pidemmälle ja on tuotteelle hyödyllisempi idea.¹² Määrittelet, mitä kukin pipeline-vaihe ottaa ja palauttaa, ja framework kääntää sen prompteiksi, valitsee demonstraatiot ja optimoi ohjeet metriikkaasi vasten. Vaihda modelia, ja käännät uudelleen sen sijaan, että kirjoittaisit uudelleen. Prompt lakkaa olemasta lähdekoodia, jota joku hienosäätää käsin, ja muuttuu artefaktiksi, joka generoidaan metriikkaa vasten — mitä sen olisi pitänyt olla alusta asti.

Kumpikaan ei poista benchin tarvetta. Molemmat tekevät siitä ainoan tarvitsemasi asian, koska optimizer ilman metriikkaa ei optimoi mitään.

Jäljelle jää kuri. Promptit kuuluvat versionhallintaan, tiedostoihin, sen koodin viereen, joka ne lähettää — eivät tietokantariville, jota joku muokkasi tiistaina. Ne tarvitsevat versiotunnisteen, joka tallennetaan jokaisen niiden tuottaman outputin rinnalle, tai kun jokin regressio tapahtuu, et voi selvittää, mikä muuttui. Ne tarvitsevat benchin continuous integrationissa, koska prompt on järjestelmäsi ainoa osa, jonka toimittaja voi hiljaa invalidoida deployaamalla uuden modelin. Ja ne tarvitsevat tapauksia: ei sataa nokkelaa, vaan ne tylsät kaksikymmentä, jotka hajosivat viime kvartaalilla, säilytettynä ikuisesti. Bench on toimitettava tuotos. Prompt on sen sivutuote.

Kaikki tässä luvussa mitattiin tarkkuutena. Jokaisella näistä varianteista on myös hinta.

System prompt, joka toi 21,7 pistettä, lähetetään jokaisella kutsulla ikuisesti. Kaksi esimerkkiä, jotka toivat seitsemän pistettä, lähetetään jokaisella kutsulla ikuisesti. Kuusitoista, jotka toivat kaksitoista, lähetetään jokaisella kutsulla ikuisesti, ja ne ovat suunnilleen kymmenen kertaa pidempiä kuin käyttäjän oikeasti kysymä kysymys. Chain of thought, joka ei tuonut mitään, tuotti 98 ylimääräistä tokenia per request, ja output-tokenit ovat kalliimpaa lajia.

Mikään siitä ei näy tarkkuustaulukossa, ja kaikki siitä näkyy laskulla.

Luku 16 käsittelee yksikköä, jossa nämä päätökset oikeasti hinnoitellaan. Token billing-yksikkönä, context window budjettina eikä muistina, miksi neljänkymmenen vuoron keskustelu maksaa paljon enemmän kuin neljäkymmentä kertaa ensimmäinen vuoro, mitä prompt caching maksaa ja mitä ei, ja miksi promptisi järjestys päättää, osuuko cache lainkaan — mikä osoittautuu toiseksi, täysin taloudelliseksi syyksi laittaa vakaa materiaali ensin ja muuttuva materiaali viimeiseksi.

Bench ja jokainen taulukko tuotettiin Qwen/Qwen2.5-0.5B-Instruct:llä greedy decodingin alla, joten ne toistuvat täsmälleen. Hugging Face -dokumentaatio chat templateista on viite sille, mihin luvun 11 template-markkerit oikeasti laajenevat, ja sille tosiasialle, että väärällä templatella toimitettu model on todellinen ja toistuva vika. Tuotantomittakaavan sijainti- ja formaattivaikutuksista laboratoriomittakaavan sijaan yllä olevat viitteet ovat ensisijaiset lähteet; toimittajien prompting-oppaat ovat hyödyllisiä esimerkkiensä vuoksi, ja ne kannattaa lukea muistaen, ettei yksikään niistä julkaise väliä.