Luokittelu, ristientropia ja miten et huijaa itseäsi

Sama tehdas kuin luvussa 1, vaikeampi kysymys. Sen sijaan, että kysyttäisiin hyväksy vai hylkää, kysymys on onko tämä osa viallinen — ja viat ovat harvinaisia, mikä tekee tämän luvun mittauspuolesta vaikean ja mallinnuspuolesta petollisen helpon.

import numpy as np

rng = np.random.default_rng(4)
N = 20_000
width  = rng.normal(22.0, 0.9, N)      # millimetres
weight = rng.normal(57.0, 3.0, N)      # grams

z_true = -5.90 + 1.90 * (width - 22.0) + 0.42 * (weight - 57.0)
y = (rng.random(N) < 1 / (1 + np.exp(-z_true))).astype(float)

perm = rng.permutation(N)
train, val, test = perm[:12_000], perm[12_000:16_000], perm[16_000:]

N = 20000  defects = 337  base rate = 0.0169
defects per split = 203 60 74

Kolme jakoa, ei kahta. Syy ansaitsee oman osionsa ja saa sellaisen alempana; toistaiseksi opeta ensimmäisellä, säädä toisella äläkä katso kolmanteen.

Piirteet standardoidaan — keskiarvo vähennetään ja jaetaan keskihajonnalla — käyttäen vain opetusjoukon tilastoja, siitä syystä jonka luku 1 näytti perceptronin konvergenssirajalla: keskittämätön data tekee geometriasta vihamielisen. Miltä riveiltä tuon keskiarvon saa laskea, muuttuu myöhemmin tässä luvussa eläväksi kysymykseksi.

Perceptron palautti etumerkin. Etumerkki ei erota tapausta hylkää tapauksesta hylkää, mutta juuri ja juuri, ja juuri sitä eroa tehdas tarvitsee päättääkseen, mitkä osat ihmisen pitäisi tarkastaa uudelleen ensin.

Seuraa siis luvun 2 reseptiä kirjaimellisesti. Kirjoita ylös väitteesi siitä, miten label syntyy, ota likelihood, ota logaritmi, vaihda etumerkki, ja sinulla on häviö. Kyllä/ei-tulokselle väite on Bernoulli-jakauma: on todennäköisyys $p$, että osa on viallinen, ja

mikä on vain tiivis tapa kirjoittaa "$p$ jos $y = 1$, ja $1-p$ jos $y = 0$". Ota siitä logaritmi ja vaihda etumerkki, ja yhden esimerkin häviö on

Tämä on binäärinen ristientropia. Sitä ei valittu siksi, että se olisi kätevä; se on ainoa mahdollinen kolikonheiton jakauman negatiivinen log-likelihood. Mitään muuta ei ollut tarjolla.

Vielä puuttuu, mistä $p$ tulee. Malli laskee painotetun summan $s = \mathbf{w}\cdot\mathbf{x} + b$, joka on reaaliluku ja kulkee koko lukusuoran yli, kun taas todennäköisyyden täytyy elää välillä $(0,1)$. Funktio, joka liikkuu niiden välillä, on logistinen sigmoid:

logit -4.0  ->  p = 0.0180        loss when y=1 and p=0.9  : 0.1054
logit -1.0  ->  p = 0.2689        loss when y=1 and p=0.5  : 0.6931
logit  0.0  ->  p = 0.5000        loss when y=1 and p=0.01 : 4.6052
logit  4.0  ->  p = 0.9820

Lue oikeanpuoleinen sarake hinnastona. Oikeassa oleminen 90 % varmuudella maksaa 0,105. Kieltäytyminen sitoutumasta maksaa 0,693 — eli $\log 2$, olankohautuksen hinta. Varmasti väärässä oleminen maksaa 4,6, neljäkymmentäneljä kertaa enemmän, ja hinta nousee rajatta, kun malli tulee yhä varmemmaksi virheestään. Ristientropia ei vain laske virheitä: se veloittaa ylimielisyydestä.

Luku 3 sanoi: jotta voit opettaa mitä tahansa, hanki häviön derivaatta kunkin parametrin suhteen. Tee se yhdelle esimerkille. Kun $s = \mathbf{w}\cdot\mathbf{x} + b$ ja $p = \sigma(s)$:

Päivitys on siis ennuste miinus totuus, kertaa syöte. Ei muuta. Tässä on koko trainer, joka on luvun 3 descent yhdellä muutetulla rivillä:

def sigmoid(z):
    return np.where(z >= 0, 1.0 / (1.0 + np.exp(-z)),
                    np.exp(np.minimum(z, 0)) / (1.0 + np.exp(np.minimum(z, 0))))


def fit_logistic(X, y, lr=0.5, epochs=4000):
    w, b = np.zeros(X.shape[1]), 0.0
    for _ in range(epochs):
        p = sigmoid(X @ w + b)
        g = p - y                        
        w -= lr * (X.T @ g) / len(y)     
        b -= lr * g.sum() / len(y)       
    return w, b

np.where kohdassa sigmoid ei ole kosmeettinen. Laskeminen $1/(1+e^{-s})$ suoraan ylivuotaa suurilla negatiivisilla $s$-arvoilla; haara valitsee sen algebrallisesti identtisen muodon, joka pitää eksponentin negatiivisena. Tämä on luvun 2 liukulukulaatikko perimässä ensimmäistä velkaansa, ja se perii isomman kahden osion päästä.

Tavanomainen selitys ristientropian suosimiselle neliövirheen sijaan on yllä oleva likelihood-argumentti: neliövirhe on se, mitä saat olettamalla Gaussista kohinaa, labelit eivät ole Gaussisia, joten älä tee niin. Se on oikein eikä vakuuta ketään, koska voit kirjoittaa $L = (p - y)^2$ sigmoidin päälle, ja se kyllä oppii.

Perille menevä argumentti koskee gradienttia. Laita neliövirhe sigmoidin päälle, ja ketjusääntö antaa

Tuo ylimääräinen $p(1-p)$ on se, joka aiemmin kumoutui. Nyt se ei kumoudu, ja se menee nollaan aina, kun malli on varma — myös silloin, kun malli on varmasti väärässä. Arvioi molemmat muutamalla pisteellä esimerkille, jonka todellinen label on 1:

Kohdassa $s = -8$ malli on niin väärässä kuin mahdollista, ja neliövirhe vastaa gradientilla, joka on 1 491 kertaa pienempi kuin ristientropian. Mitä pahempi virhe, sitä vähemmän malli oppii siitä. Ristientropian gradientti puolestaan saturoituu arvoon $-1$: maksimaalisen väärä tuottaa maksimaalisen suuren signaalin, eikä suurempaa.

Aja kilpailu. Kaksituhatta tasapainotettua pistettä, identtiset aloituspainot valittuina olemaan varmasti väärässä ($\mathbf{w} = [-6, -6]$), identtinen oppimisnopeus, vain häviö eroaa. Molemmat ajot pisteytetään ristientropialla, jotta sarakkeet ovat vertailukelpoisia.

Ristientropia on valmis epochilla 50. Neliövirhe on vielä 24 % accuracyssa epochilla 100 — eikä ollut liikkunut 23 %:sta epochilla 10 — arvaamista huonompi, koska se aloitti varmasti väärässä ja sen pelastava gradientti oli kerrottu luvulla 0,0007. Se pääsee pakoon noin epochilla 500 ja päätyy samaan paikkaan. Rehellinen yhteenveto on siis, että neliövirhe sigmoidin päällä ei ole väärin; se on hidas juuri siellä, missä nopeudella on eniten väliä. Kahden parametrin mallissa menetät 450 epochia. Sadan kerroksen verkossa, jossa jokin yksikkö jossakin on aina varmasti väärässä, menetät koko opetuksen.

Kolme suuretta, joita tarvitaan kunnolla luvussa 8 perplexityyn ja luvussa 11 rangaistukseen, joka pitää fine-tuned policy lähellä referenssiään. Ne ovat helpompia kuin maineensa.²

Entropia on bittien keskimääräinen määrä, joka sinun täytyy käyttää jakaumasta tehdyn arvonnan viestimiseen, jos käytät sille parasta mahdollista koodia:

Ristientropia on se, mitä käytät, kun käytät jakaumalle $q$ rakennettua koodia dataan, joka oikeasti tulee jakaumasta $p$:

KL-divergenssi on ylijäämä — hukka bitteinä, jonka aiheuttaa uskominen jakaumaan $q$, kun totuus on $p$:

Tarkista kaikki kolme hihnalla:

test defect rate                                = 0.0185
entropy of that coin                            = 0.1329 bits
cross-entropy of the constant predictor on test = 0.1330 bits
KL(test coin || fair coin)                      = 0.8671 bits
H + KL                                          = 1.0000 bits
cross-entropy of the p=0.5 predictor on test    = 1.0000 bits

Kaksi asiaa näkyy siinä. Ensinnäkin malli, joka vain raportoi opetusjoukon perusosuuden, 1,69 %, saavuttaa ristientropian 0,1330 bittiä, melkein täsmälleen testilabelien entropian — kuten pitääkin, koska sillä on oikea jakauma eikä mitään muuta tietoa. Entropia on lattia, jonka yksilöstä tietämättömyys ostaa sinulle. Toiseksi malli, joka kohauttaa olkiaan ja sanoo 0,5, maksaa täsmälleen 1 bitin, ja näiden kahden väli, 0,8671 bittiä, on täsmälleen KL-divergenssi. $H + D_{\mathrm{KL}} = H(p,q)$ ei ole identiteetti ulkoa opeteltavaksi; se on lasku, jonka kertymistä voit katsoa.

Ja yhteys takaisin opetukseen: kun label on yksi tunnettu luokka, "todellinen" jakauma on one-hot, sen entropia on nolla, ja ristientropia on yhtä kuin KL-divergenssi. Ristientropian minimointi ja mallin jakauman vetäminen kohti totuutta ovat sama teko.

Viallinen ei ole yksi asia. Valussa osa voi tulla ulos vajaatäyttönä (liian vähän materiaalia), purseena (liikaa, puristuneena ulos muotista) tai palamana. Neljä tulosta, siis neljä logits, ja niistä täytyy tulla neljä todennäköisyyttä, joiden summa on yksi. Se on softmax:

Sillä on ominaisuus, joka näyttää vahingolta mutta on itse asiassa koko toteutus:

millä tahansa vakiolla $c$, koska $e^{z_i + c} = e^{c} e^{z_i}$ ja $e^c$ kumoutuu ylhäällä ja alhaalla. Vain logitsien erot merkitsevät mitään. Absoluuttinen taso ei ole informaatiota.

Onneksi, koska absoluuttinen taso on se, joka rikkoo tietokoneen:

logits            = [800. 801. 799.]
naive softmax     = [nan nan nan]
shifted by -max   = [0.2447 0.6652 0.09  ]
same softmax after adding 1000 to every logit: True

$e^{800}$ ylivuotaa 64-bittisen liukuluvun, summa muuttuu äärettömäksi, ja ääretön jaettuna äärettömällä on nan — ei virhe, ei kaatuminen, vain hiljainen aukko siinä, missä kolmen todennäköisyyden piti olla. Suurimman logit vähentäminen ei muuta matemaattisesti mitään ja numeerisesti kaiken, koska suurimmasta eksponentista tulee täsmälleen $e^0 = 1$. Tämä on luvun 2 logsumexp-temppu työvaatteissaan, ja jokainen vakava toteutus tekee sen:

def softmax(Z):
    Z = Z - Z.max(axis=1, keepdims=True)   
    E = np.exp(Z)
    return E / E.sum(axis=1, keepdims=True)


def fit_softmax(X, Y, lr=1.0, epochs=6000):
    W, b = np.zeros((X.shape[1], Y.shape[1])), np.zeros(Y.shape[1])
    for _ in range(epochs):
        G = (softmax(X @ W + b) - Y) / len(X)   
        W -= lr * (X.T @ G)
        b -= lr * G.sum(0)
    return W, b

Gradientti on taas ennuste miinus totuus, nyt kun $Y$ on one-hot. Binääritapaus oli koko ajan erikoistapaus.

Opetettuna 3 000 osalla ja testattuna 1 000:lla, kolmella mittauksella kullekin (leveys, paino, sulalämpötila), se saavuttaa 94,00 % accuracyn. Tässä on, mitä tuo luku piilottaa:

Malli löytää alle puolet vajaatäytöistä. Accuracy ei näe tätä, koska 86 % osista on kunnossa, ja niiden oikein saaminen riittää kantamaan keskiarvon. Macro F1 — luokkakohtaisten F1-pisteiden keskiarvo, joka painottaa harvinaista luokkaa samalla tavalla kuin yleistä — on 0,7983, kun micro F1 on 0,9400 ja määritelmän mukaan identtinen accuracyn kanssa. Aina kun joku raportoi yhden F1-luvun, kysy mikä.

Siihen päättyy mallinnus. Luvun loppu käsittelee lukuja.

Ota opetettu binäärimalli ja tee kaksi varianttia kertomalla jokainen logit vakiolla: 0,35 epäröivälle versiolle, 4 ylivarmalle. Positiivisella luvulla kertominen ei voi muuttaa yhtään etumerkkiä, joten kaikki kolme mallia ennustavat täsmälleen saman labelin kaikille 4 000 testiosalle. Accuracy ei erota niitä toisistaan. Ristientropialla ei ole minkäänlaista vaikeutta:

Epäröivä malli maksaa pienen veron jokaisesta osasta, myös niistä tuhansista, jotka se saa oikein. Ylivarma malli on lähes ilmainen ollessaan oikeassa ja katastrofaalinen ollessaan väärässä — yksi osa tuossa testijoukossa maksaa sille yksin 27,63 natsia. Nämä kaksi päätyvät lähes samaan kokonaismäärään vastakkaisia reittejä, ja opetettu malli, jonka todennäköisyydet on kalibroitu dataan, istuu kolme kertaa alempana kuin molemmat.

Tämä on terävin tapa sanoa ero häviön ja metriikan välillä. Häviö on se, mitä optimoit: sen täytyy olla derivoituva, ja se näkee kaiken, mitä malli sanoi, myös sen kuinka varma se oli. Metriikka on se, jolla sinut arvioidaan: se voi olla askelfunktio, liiketoimintasääntö, laskuri ohitetuista vioista. Ne eivät ole sama objekti eivätkä aina ole samaa mieltä — siksi määrittelet molemmat ennen aloittamista etkä koskaan anna häviön korvata metriikkaa vain siksi, että se sattuu olemaan ruudulla.

Ennen mitään mallia vaatimus: mihin laiskin mahdollinen vastaus yltää? Tällä hihnalla sano aina kunnossa:

always-say-fine baseline: accuracy = 0.9815
confusion (tn, fp, fn, tp) = (3926, 0, 74, 0)

98,15 %. Nyt opetettu logistinen malli, oletuskynnyksellä 0,5:

logistic @0.5: accuracy=0.9830 precision=0.8000 recall=0.1081 F1=0.1905
confusion (tn, fp, fn, tp) = (3924, 2, 66, 8)

98,30 %. Se voitti baselinen 0,15 prosenttiyksiköllä, ja mikä tahansa raportti, joka pysähtyy accuracyyn, kutsuu sitä voitoksi. Sekaannusmatriisi kertoo, mitä oikeasti tapahtui:

Kolme lukua nimeää kolme tapaa lukea tuota taulukkoa:

• Precision $= \mathrm{TP}/(\mathrm{TP}+\mathrm{FP}) = 8/10 = 0.800$. Kuinka moni sen merkitsemistä osista oli oikeasti viallinen. Tämä on hukattujen tarkastusten kustannus.
• Recall $= \mathrm{TP}/(\mathrm{TP}+\mathrm{FN}) = 8/74 = 0.108$. Kuinka monta viallisista osista se sai kiinni. Tämä on huonon osan asiakkaalle lähettämisen kustannus.
• F1 $= 2PR/(P+R) = 0.190$, niiden harmoninen keskiarvo, joka pysyy lähellä pienempää ja kieltäytyy siksi tulemasta imarrelluksi vain toisesta.

Mikä merkitsee, riippuu tehtaasta, ei matematiikasta: tarkastus maksaa muutaman sekunnin ja toimitettu viallinen osa maksaa takaisinkutsun, joten tässä recall hallitsee ja 0,108 on epäonnistuminen.

Mutta malli ei ole ongelma. Kynnys on, eikä kynnys ole osa mallia — se on liiketoimintapäätös, joka sovelletaan jälkikäteen todennäköisyyteen. Pyyhkäise se:

Lue accuracy-saraketta alaspäin. Se laskee koko matkan — 98,30 %:sta 65,93 %:iin — samalla kun malli siirtyy löytämään 8 vikaa 71 vikaan 74:stä. Jokainen hyödyllinen asia, jonka tämä malli voi tehdä, tekee sen accuracysta huonomman. Tiimi, joka optimoi otsikkolukua, lähettäisi version, joka ei löydä mitään.

Miksi kolme jakoa eikä kaksi? Koska sillä hetkellä, kun käytät esimerkkijoukkoa valitsemaan jotakin — kynnyksen, oppimisnopeuden, minkä kuudesta mallista toimitat — sitä joukkoa on käytetty sovittamiseen, ja sen pistemäärä lakkaa olemasta harhaton.³ Tällä hihnalla mitattuna: kynnyksen pyyhkäisy validointijoukolla valitsee 0,196, ja malli saa sitten koskemattomalla testijoukolla F1 = 0,4122. Jos pyyhkäisy olisi ajettu suoraan testijoukolla, paras siellä saavutettavissa oleva oli 0,4186 — luku, jota kenelläkään ei ole oikeutta raportoida.

Ero on tässä pieni, 0,006, koska kyseessä on yksi hyperparametri, joka pyyhkäistiin kerran 4 000 validointiesimerkkiä vasten. Se kasvaa jokaisella lisäpäätöksellä ja jokaisella validointijoukon kutistumisella. Huomaa myös, ettei suunta ole taattu yksittäisessä ajossa: valittu kynnys sai validoinnissa 0,3902 ja testissä 0,4122, joten validointi aliraportoi sen tällä kertaa. Harha on systemaattinen monien päätösten yli, ei näkyvä yhdessä.⁴

Nyt harjoitus. Hihnaloki saapuu kolmannen sarakkeen kanssa, station_seconds: kuinka kauan kukin osa vietti tarkastusasemalla. Sen lisääminen on yhden rivin muutos esikäsittelyyn. Tässä, mitä se tekee:

Recall nousee 10,8 %:sta 77,0 %:iin. F1 yli nelinkertaistuu. Ja huomaa, mitä accuracy teki: 98,30 % → 99,20 %, yhdeksän kymmenesosan voitto, eli sellainen luku, joka pyöristetään yhteenvetokalvolla muotoon "noin 99 % joka tapauksessa". Accuracy ei nähnyt epäonnistumista aiemmin eikä nyt näe petosta.

Ennen kuin luet eteenpäin: malli huijaa. Selvitä miten.

station = 1.8 + rng.exponential(0.35, N)                     # a part just passing through
audited = rng.random(N) < 0.006                              # random spot checks
station[audited] += rng.uniform(6.0, 26.0, audited.sum())
station[y == 1] = 9.0 + rng.exponential(7.0, (y == 1).sum())  

Korostettu rivi on vuoto: viallisen osan viipymäaika arvotaan eri jakaumasta, koska ihminen otti sen pois hihnalta. Tämä on sovelletun koneoppimisen yleisin vakava bugi, ja sillä on nimi: target leakage — opetuspiirteissä oleva informaatio, joka ei olisi saatavilla sillä hetkellä, kun ennuste täytyy tehdä.⁵ Se ei heitä poikkeusta. Se tuottaa paremman luvun. Jokainen projektin kannustin osoittaa sen säilyttämiseen.

Puolustus on yksi kysymys, joka kysytään jokaisesta sarakkeesta: sillä hetkellä, kun tarvitsen tämän ennusteen, onko tämä arvo jo olemassa? Elävällä hihnalla station_seconds on tuntematon siihen asti, kun osa on tarkastettu — mikä oli asia, jonka mallin piti korvata.

Oletetaan, että pisteytät mallin 20 esimerkillä ja se saa 17 oikein. Raportoit 85 %.

17 correct out of 20 -> accuracy 0.8500
  Wilson    95% CI : [0.6396, 0.9476]
  bootstrap 95% CI : [0.7000, 1.0000]
  P(a 65% model scores 17 or more out of 20) = 0.0444
  P(an 85% model scores 17 or more out of 20) = 0.6477

Rehellinen lukutapa 17/20:lle on jossakin 64 %:n ja 95 %:n välillä. Aidosti 65 %:n malli tuottaa tämän tuloksen 4,4 % ajasta — yksi ajo kahdestakymmenestäkolmesta — ja jos kokeilit kourallista prompts ja raportoit parhaan, valmistit tuon ajon itse. Seitsemäntoista kahdestakymmenestä ei erota 85 %:n mallia 65 %:n mallista.

Kaksi tapaa asettaa väli osuudelle, ja molemmat kuuluvat työkalupakkiisi:

def wilson(k, n, z=1.959963985):
    """95% interval for k successes in n trials. Correct at small n; no simulation."""
    ph, d = k / n, 1 + z * z / n
    centre = (ph + z * z / (2 * n)) / d
    half = z * (ph * (1 - ph) / n + z * z / (4 * n * n)) ** 0.5 / d
    return centre - half, centre + half


def bootstrap_ci(correct, n_resamples=10_000, alpha=0.05, seed=0):
    """95% interval for the mean of any per-example score array. Works on F1 too."""
    rng = np.random.default_rng(seed)
    correct = np.asarray(correct, dtype=float)
    draws = correct[rng.integers(0, len(correct), size=(n_resamples, len(correct)))]
    lo, hi = np.quantile(draws.mean(axis=1), [alpha / 2, 1 - alpha / 2])
    return float(correct.mean()), float(lo), float(hi)

Käytä Wilsonia⁶ tavalliselle onnistumisprosentille; se pysyy hyvin käyttäytyvänä millä tahansa $n$ eikä tarvitse satunnaisuutta. Huomaa yllä, että kohdassa $n = 20$ bootstrapin yläpää on 1,0000 — 20 pisteen uudelleenotanta voi helposti nostaa 20 oikeaa, joten se ei voi esittää väliä, joka olisi kapeampi kuin sen oma rakeisuus. Käytä bootstrapia⁷, kun kaavaa ei ole, mikä kattaa useimmat kiinnostavat tapaukset: F1, makrokeskiarvot, BLEU, pass@1, rubriikkipohjaisen tuomarin piste. Tällä hihnalla säädetyn mallin F1 0,4122 kantaa bootstrap-väliä [0.3009, 0.5156] — ja juuri tuon luvun pitäisi näkyä raportissa, koska pelkkä piste-estimaatti kutsuu vertailuun, jota se ei voi tukea.

Vielä yksi mittaus, koska se muuttaa sitä, miten kahta mallia pitäisi verrata. Kaksi mallia pisteytettynä samoilla 500 esimerkillä:

model A: 0.8580  95% CI [0.8260, 0.8880]
model B: 0.8120  95% CI [0.7780, 0.8460]
the two intervals overlap: True
paired difference A-B: 0.0460  95% CI [0.0260, 0.0680]
they disagree on 31 of 500 examples (A right 27, B right 4)

Niiden välit menevät päällekkäin, ja kansansääntö — päällekkäiset virhepalkit tarkoittavat, ettei merkittävää eroa ole — kutsuisi vertailua epäselväksi. Se ei ole. Kaksi mallia ajettiin samoilla esimerkeillä, joten oikea suure on esimerkkikohtainen ero, jonka väli on [0.0260, 0.0680], mukavasti nollan yläpuolella. Ne ovat eri mieltä vain 31:stä 500 kohteesta, ja A voittaa 27 noista erimielisyyksistä; yhteiset esimerkit, helpot ja vaikeat, kumoutuvat sen sijaan että lisäisivät kohinaa. Vertaa malleja pareittain, ja pääset samaan johtopäätökseen murto-osalla datasta.

Sinulla on nyt malli, joka tuottaa kalibroituja todennäköisyyksiä, häviö, joka on johdettu väitteestä dataa koskien eikä valittu kätevyyden vuoksi, gradientti, joka on kirjaimellisesti ennuste miinus totuus, ja — tärkeämpänä — koneisto sen selvittämiseen, toimiiko mikään siitä. Yllä oleva kymmenen rivin Wilson-väli käytetään sellaisenaan uudelleen: se kantaa prompt-variantit luvussa 15, retrieval-taulukot luvussa 19 ja golden setin luvussa 29. Bootstrap on se, johon tartut, kun kaavaa ei ole.

Mutta malli on yhä yksi kerros. Se piirtää viivan, ja luku 1 todisti neljällä XOR-rivillä, ettei viiva riitä. Korjaus on pinota: ensimmäinen kerros, joka taivuttaa avaruutta, toinen, joka piirtää viivan taivutettuun avaruuteen.

Siihen tämän luvun siisti gradientti loppuu. Kaikki yllä toimi, koska $\partial L/\partial s = p - y$ voitiin kirjoittaa käsin kerran mallille, jossa on yksi kerros syötteen ja häviön välissä. Laita toinen kerros keskelle, ja kysymys muuttaa muotoaan: mikä on häviön derivaatta sellaisen painon suhteen, joka ei koske ulostuloa lainkaan — jonka vaikutus saapuu vain toisen kerroksen kautta, mahdollisesti useita polkuja yhtä aikaa?

Tuo derivaatta on olemassa. Sen laskeminen käsin on toivotonta kaikelle lelua suuremmalle, ja sen laskeminen parametri kerrallaan on toivotonta eri mittakaavassa. Tarvitaan menetelmä, joka saa jokaisen verkon derivaatan yhdestä backward passista saman graafin yli, jonka forward pass juuri kulki.

Se on luku 5, ja se on moottori, jolla loppu kurssi käy.

Tämän luvun rinnalla kannattaa lukea myös: Bishop, Pattern Recognition and Machine Learning §1.2, §1.5, §1.6 ja §4.3, joka käsittelee todennäköisyyttä, päätösteoriaa, informaatioteoriaa ja lineaarista luokittelua siinä järjestyksessä, jota tämä luku seuraa; Murphy, Probabilistic Machine Learning: An Introduction, luvut 6 ja 10; Prince, Understanding Deep Learning §5.4–5.7; sekä Saito ja Rehmsmeier, The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets (PLOS ONE, 2015) — miksi yllä lainatun AUC:n ei pitäisi olla ainoa kynnyksetön luku, jota katsot, kun 1,7 % osista on viallisia.