Jak síť přimět trénovat a generalizovat

Začněte tím, že se podíváte, místo abyste hádali. Prožeňte batch vstupů sítí a vypište směrodatnou odchylku aktivací v každé vrstvě a potom směrodatnou odchylku gradientů vah:

def profile(model, x):
    h = x
    for layer in model:
        h = layer(h)
        if isinstance(layer, (nn.Tanh, nn.ReLU)):
            print(f"activation std: {h.std().item():.4f}")
    model(x).sum().backward()
    for p in model.parameters():
        if p.dim() == 2:
            print(f"gradient std: {p.grad.std().item():.2e}")

Tři inicializace, stejná architektura, šest vrstev $\tanh$:

První řádek je síť výše a neučí se pomalu — už jí nezbyl žádný signál. Ve čtvrté vrstvě směrodatná odchylka aktivací podteče na nulu při zobrazení na čtyři desetinná místa. Každý vstup produkuje stejný výstup, výstup je konstanta a gradient konstanty je nic. Váhy byly inicializovány malé, aby to bylo „bezpečné“, a malé bylo fatální.

Druhý řádek je opačné selhání a stojí za pochopení, protože je proti intuici. Aktivace vypadají zdravě — kolem 0,96 — ale to je $\tanh$ saturovaný, přitisknutý blízko své meze, přesně režim, u kterého kapitola 5 naměřila ztrátu faktoru téměř deset tisíc v gradientu. A přesto jsou gradienty obrovské: 1940 v první vrstvě. Obojí platí současně. Každý krok zpět násobí $W^\top$ a se 128 vstupy s jednotkovou variancí má tento faktor zesílení asi $\sqrt{128} \approx 11$, které přebije zmenšení ze saturovaného $\tanh$. Gradienty na cestě zpět rostou geometricky. To je exploding gradient a v každém skutečném trénovacím běhu během několika kroků vyrobí hodnoty loss nan.

Třetí řádek je to, co chcete: aktivace mají napříč hloubkou zhruba konstantní škálu, gradienty mají napříč hloubkou zhruba konstantní škálu. Nic neumírá, nic neexploduje.

Dobrá inicializace opraví škálu v kroku nula. Neudrží ji pevně: váhy se hýbou a v kroku pět tisíc už pečlivý argument s variancí neplatí.

Normalizační vrstvy vynucují škálu průběžně. Vezměte vektor aktivací, odečtěte průměr, vydělte směrodatnou odchylkou a potom aplikujte naučenou škálu $\gamma$ a posun $\beta$, aby vrstva mohla normalizaci zrušit, pokud zjistí, že právě to chce:

Jediná skutečná otázka je přes co průměrujete. Batch normalizace³ bere $\mu$ a $\sigma$ přes dimenzi batche, jednu statistiku na feature. Layer normalizace⁴ je bere přes features, jednu statistiku na příklad.

Ta volba vypadá drobně a rozhoduje téměř o všem dál:

Proto je LayerNorm ta, se kterou se v kapitole 9 setkáte znovu beze změny: používá ji transformer blok a používá ji z důvodů v pravém sloupci, ne proto, že by abstraktně fungovala lépe.

Čtyři kandidátní opravy mrtvé sítě: Xavier inicializace, LayerNorm, reziduální spojení a Adam místo SGD. Pokušení je aplikovat všechny čtyři a jít dál. Udělejte to a nikdy nebudete vědět, která z nich rozhodla, a příště, až se to stane, nebudete mít metodu — jen rituál.

Tak je aplikujte po jedné. Stejný seed, stejná data, stejná architektura, 800 kroků:

Čtěte tu tabulku tak, jak byste ji četli ve dvě ráno, a závěr zní: nic nefunguje samo, všechno funguje dohromady, takže deep learning je alchymie. Ten závěr je špatně a zjistit proč je nejužitečnější věc v této kapitole.

Dejte každému běhu šestkrát větší rozpočet — 5000 kroků místo 800 — a všechno se úplně změní:

Teď je obraz ostrý a je to diagnóza, ne rituál.

Inicializace sama to opraví. Normalizace sama to opraví. Každá řeší skutečnou nemoc — zhroucení dopředného signálu na nulu — a kterákoli z nich stačí. Při 800 krocích jen vypadaly jako částečný úspěch, protože problém už vyřešily a síť se teprve škrábala ven.

Reziduální spojení a Adam to neopraví při žádném rozpočtu. Ne proto, že by byly špatné, ale protože léčí jinou nemoc. Reziduální spojení dá gradientu cestu kolem blokující vrstvy; to má velkou hodnotu, když je problémem gradient, a žádnou hodnotu, když už je dopředný signál nula, protože zkratka kolem mrtvé vrstvy pořád nese mrtvou hodnotu. Adam přeškáluje krok každého parametru podle jeho vlastní historie gradientů; to pomáhá, když mají gradienty divoce odlišné velikosti, a neumí to vzkřísit síť, jejíž výstup nezávisí na vstupu.

A „nic“ je po pěti tisících krocích pořád přesně 0.6931. Ne 0.6929. Není to pomalé; je to mrtvé, a tento rozdíl je teď vidět způsobem, který předtím vidět nebyl, protože máte řádek s fungující opravou pro srovnání.

Odteď tento kurz používá PyTorch. To by mělo být zasloužené, ne jen oznámené, takže tady je přesně to, co dělá a co už umíte udělat.

Optimalizér je pravidlo pro převod gradientů na aktualizace parametrů. Prostý gradient descent používá gradient. Momentum používá jeho průběžný průměr, což vyhlazuje šum a nabírá rychlost ve směrech, které zůstávají konzistentní:

v = beta * v + p.grad          
p -= lr * v                    

Adam⁵ udržuje dva průběžné průměry — gradientu a gradientu na druhou — a jeden dělí odmocninou druhého, takže každý parametr dostane krok škálovaný podle vlastní nedávné velikosti gradientu:

m = b1 * m + (1 - b1) * g          # mean of the gradient          
v = b2 * v + (1 - b2) * g * g      # mean of the squared gradient  
m_hat = m / (1 - b1 ** t)          # bias correction: both averages start at zero
v_hat = v / (1 - b2 ** t)
p -= lr * m_hat / (v_hat.sqrt() + eps)   

Deset řádků. Spusťte oba proti torch.optim na stejném problému na 50 kroků:

SGD+momentum   by hand [2.7781870365142822, -1.0304985046386719]
               torch   [2.7781870365142822, -1.0304983854293823]   max |diff| = 1.19e-07
Adam           by hand [0.4893140196800232, -0.46317872405052185]
               torch   [0.48931416869163513, -0.46317875385284424]   max |diff| = 1.49e-07

Shodné na přesnost float32. torch.optim.Adam je těchto pět řádků plus desítky let péče o okrajové případy a C++ kernel. To je obchod, který odteď děláte: ne magie výměnou za porozumění, ale rychlost výměnou za řádky, které už jste napsali.

Obvyklé vysvětlení Adamu je „adaptivní learning rate pro každý parametr“, což je popis, ne důvod. Důvodem je geometrie a dá se měřit.

Vezměte loss, jehož zakřivení se mezi směry liší: strmý v jednom, mělký v druhém. SGD má jeden globální learning rate, takže musí zvolit hodnotu dost malou na to, aby byla stabilní v nejstrmějším směru — a tato hodnota je pak příliš malá pro mělký směr, kde postup leze. To způsobuje klasický obrázek gradient descent, který cikcak sestupuje úzkým údolím.

Dva poměry zakřivení, tři optimalizéry, 300 kroků a každý optimalizér dostane nejlepší learning rate ze sweepu, aby nikdo nebyl znevýhodněn:

Při poměru deset funguje všechno a není o čem mluvit. Při tisíci prosté SGD nedosáhne odpovědi při žádném vyzkoušeném learning rate — jeho nejlepší výsledek má stále chybu 1,93 — a při polovině hodnot rovnou diverguje. Adam dopadne přesně na target a nediverguje u žádné.

Ten poslední sloupec je praktický důvod, proč je Adam výchozí volba. Není to tak, že by Adam nacházel lepší řešení; na dobře podmíněných problémech se vyladěné SGD často vyrovná nebo ho překoná. Jde o to, že Adam je mnohem méně citlivý na learning rate, který jste zvolili, a skutečné sítě mají napříč svými miliony parametrů poměry zakřivení mnohem horší než tisíc.

Patří sem ještě dva díly a oba jsou jeden řádek. Gradient clipping přeškáluje vektor gradientu pokaždé, když jeho norma překročí práh, což z řádku „loss náhle vyskočí na obrovskou hodnotu“ v diagnostické tabulce udělá neudálost. A learning rate schedules: krátký warmup od téměř nuly během prvních několika set kroků, protože Adamovy odhady variance jsou odpad, dokud neviděly nějaké gradienty, a plnohodnotný krok provedený na odpadu může zničit inicializaci; potom cosine decay směrem k nule, protože končit běh se stejnou velikostí kroku, s jakou jste začali, znamená chvět se kolem minima místo toho, abyste se do něj usadili.

Všechno dosud bylo o tom dostat loss dolů. Teď ta těžší polovina, protože klesající loss není cíl — je to zástupná veličina pro cíl a ta zástupná veličina selhává konkrétním a slavným způsobem.

Dvanáct bodů z hladké funkce s trochou šumu. Fitujte polynomy rostoucího stupně:

Stupeň 11 skrz 12 bodů projde každým jednotlivým přesně — trénovací chyba nula na šest desetinných míst — a na datech, která neviděl, je osmkrát horší než stupeň 5. Požádejte stupeň 3 a stupeň 11 o predikci v $x = 3.25$, těsně mimo trénovací rozsah:

degree  3: predicts   -1.053   (truth -0.012)
degree 11: predicts  +61.224   (truth -0.012)

Šedesát jedna, kde je odpověď přibližně nula. Model se nenaučil funkci; naučil se dvanáct bodů a mezi nimi dělá to, co si aritmetika vynutí.

To je overfitting a jeho opak — stupeň 1, který křivku vůbec neumí reprezentovat a je špatný všude — je underfitting. Klasický výklad dělí očekávanou chybu modelu na tři části: bias, chyba z toho, že je model příliš tuhý na reprezentaci pravdy; variance, chyba z toho, že je model tak flexibilní, že honí šum v tomto konkrétním vzorku; a neredukovatelný šum, který neopraví nic. Jednoduché modely mají bias, flexibilní modely vysokou variance a klasický předpis je najít sladké místo uprostřed — stupeň 5 v tabulce výše.

Standardní nástroje všechny útočí na člen variance:

• L2 regularizace (weight decay) přidá $\lambda \lVert w \rVert^2$ k loss, táhne váhy k nule a činí funkci hladší. V tabulce výše dělá škodu největší koeficient stupně 11; penalizace velikosti ho zneškodní.
• L1 místo toho přidá $\lambda \sum |w_i|$. Rozdíl není kosmetický: gradient L2 je úměrný váze, a tedy se s váhou zmenšuje, blíží se nule, aniž by do ní došel, zatímco gradient L1 je konstanta $\pm\lambda$, která tlačí celou cestu. L1 proto vytváří váhy, které jsou přesně nulové — vybírá features. L2 vytváří malé váhy. Použijte L2, když chcete hladkost, L1, když chcete řídkost.
• Dropout⁷ v každém trénovacím kroku vynuluje náhodnou podmnožinu aktivací, takže se žádná jednotka nemůže spoléhat na přítomnost žádné konkrétní jiné jednotky.
• Early stopping sleduje validační loss a zastaví, když se otočí nahoru.
• Data augmentation vyrábí další trénovací příklady z těch, které máte, čímž útočí na problém u zdroje: overfitting je nedostatek dat stejně jako přebytek parametrů.
• Cross-validation rozdělí data $k$ způsoby a trénuje $k$krát, což koupí spolehlivý odhad testovací chyby, když máte příliš málo dat na samostatnou odloženou sadu.

Teď fakt, který ten obrázek rozbije.

Příběh bias-variance říká, že za sladkým místem více parametrů znamená horší generalizaci. Moderní jazykové modely mají mnohem více parametrů, než klasická pravidla pro data, která vidí, dovolují, a generalizují skvěle. Obě tvrzení jsou pravdivá a sladit je je nejužitečnější věc v této kapitole.

Čtyřicet trénovacích bodů, dvacetirozměrné vstupy, náhodné ReLU features a počet features $P$ projetý od 2 do 5000 — s vybraným řešením s minimální normou pokaždé, když existuje mnoho řešení, která fitují:

Čtěte to ve třech částech. Až do $P/n = 0.5$ klasický příběh platí přesně: chyba klesá, potom začne růst. V $P = n = 40$ — na interpolačním prahu, kde má model přesně dost parametrů na to, aby prošel každým trénovacím bodem — testovací chyba vrcholí, na 5,81, pětkrát hůř než malý model. Ten vrchol je klasické varování a je skutečný.

Pak znovu klesá. A klesá dál, za $P = 5n$, za $P = 37n$, až po $P = 125n$, kde je testovací chyba 0,5664 lepší než nejlepší výsledek, kterého kdy dosáhl podparametrizovaný model. Model s 5000 parametry fitovaný na 40 bodů je nejlepší model v tabulce.

To je double descent,⁸⁹ a mechanismus je vidět v posledním sloupci. Jakmile $P > n$, existuje nekonečně mnoho nastavení parametrů, která přesně fitují trénovací data, a které získáte, závisí na tom, jak vybíráte. Řešení s minimální normou vybere to nejmenší a $\lVert w \rVert$ ukazuje, co to znamená: vrcholí na 14,83 přesně na prahu — kde existuje právě jedno interpolující řešení a jste s ním zaseknutí, jakkoli extrémní je — a potom monotónně klesá, jak $P$ roste, protože více parametrů znamená více interpolujících řešení na výběr, což znamená, že nejmenší dostupné řešení se zmenšuje. Při $P = 5000$ je norma 0,18, osmdesátkrát menší než na prahu.

Dodatečné parametry tedy nepřidávají složitost. Přidávají volbu a výběrové pravidlo tuto volbu utratí za jednoduchost. Regularizace není v loss funkci; je v algoritmu. Gradient descent z malé inicializace má zdokumentovaný sklon k řešením s malou normou, což je důvod, proč se toto chování objevuje ve skutečných sítích trénovaných běžným způsobem, a nejen v lineární algebře výše.

Praktický důsledek, na kterém závisí kapitola 10: „model má více parametrů než dat, takže bude overfitovat“ není platný argument. Bylo to dobré pravidlo, když modely žily vlevo od prahu. Všechno zajímavé teď žije daleko vpravo od něj, kde se pravidlo obrací.

Nástroje v této kapitole stačí k natrénování sítě, která funguje na datech, jež můžete dát do tabulky: řádky čísel, sloupec labelů.

Jazyk takový není. Než může model predikovat další slovo, musí něco rozhodnout, co vlastně „slovo“ je — a odpovědí nejsou ani písmena, ani slova, ale slovník, který se model naučí ze surových bytů trénovacích dat. Toto rozhodnutí, učiněné jednou před začátkem trénování, určuje, kolik věcí může model říct, kolik stojí požadavek a proč modely, které dokážou složit zkoušku z práva, neumí spolehlivě spočítat písmena ve slově strawberry.

Kapitola 7 staví tokenizer.

Pro reziduální spojení použitá výše viz He et al., Deep Residual Learning for Image Recognition (arXiv:1512.03385). Andrej Karpathy a jeho Building makemore Part 3: Activations & Gradients, BatchNorm prochází diagnostiku histogramů aktivací na skutečném modelu a je nejlepším praktickým zpracováním první poloviny této kapitoly. Přednášky 8 a 11–13 Yasera Abu-Mostafy Learning From Data podávají klasickou teorii generalizace pořádně, včetně částí, které tato kapitola zkomprimovala do odstavce.