Eğitmek ve Genellemesini Sağlamak

Tahmin etmek yerine bakarak başla. Bir input batch’ini ağdan geçir, her katmandaki aktivasyonların standart sapmasını ve sonra ağırlık gradyanlarının standart sapmasını yazdır:

def profile(model, x):
    h = x
    for layer in model:
        h = layer(h)
        if isinstance(layer, (nn.Tanh, nn.ReLU)):
            print(f"activation std: {h.std().item():.4f}")
    model(x).sum().backward()
    for p in model.parameters():
        if p.dim() == 2:
            print(f"gradient std: {p.grad.std().item():.2e}")

Üç başlatma, aynı mimari, altı katman $\tanh$:

İlk satır yukarıdaki ağ ve yavaş öğrenmiyor — geriye sinyal kalmamış. Dördüncü katmana gelindiğinde aktivasyon standart sapması dört ondalık basamakta sıfıra underflow etmiş. Her input aynı output’u üretiyor, output sabit ve sabitin gradyanı hiçbir şeydir. Ağırlıklar “güvenli olsun” diye küçük başlatılmıştı; küçük olmak ölümcül oldu.

İkinci satır bunun ters yöndeki hatası ve sezgiye aykırı olduğu için anlamaya değer. Aktivasyonlar sağlıklı görünüyor — 0.96 civarı — ama bu, sınırına çivilenmiş, doymuş $\tanh$; tam da Bölüm 5’in gradyanda neredeyse on bin kat kayıp ölçtüğü rejim. Yine de gradyanlar devasa: ilk katmanda 1940. İkisi aynı anda doğru. Her geri adım $W^\top$ ile çarpar ve birim varyanslı 128 input ile bu faktörün kazancı yaklaşık $\sqrt{128} \approx 11$ olur; bu da doymuş $\tanh$ kaynaklı küçülmeyi bastırır. Gradyanlar geriye doğru geometrik olarak büyür. Bu exploding gradient’tir ve gerçek bir eğitim koşusunda birkaç adım içinde nan kayıp değerleri üretir.

Üçüncü satır istediğin şeydir: aktivasyonlar derinlik boyunca kabaca sabit ölçekte, gradyanlar derinlik boyunca kabaca sabit ölçekte. Hiçbir şey ölmez, hiçbir şey patlamaz.

İyi başlatma, sıfırıncı adımda ölçeği düzeltir. Onu sabit tutmaz: ağırlıklar hareket eder ve beş bininci adıma gelindiğinde dikkatli varyans argümanı artık geçerli değildir.

Normalizasyon katmanları ölçeği sürekli olarak dayatır. Bir aktivasyon vektörü verildiğinde ortalamayı çıkar, standart sapmaya böl, sonra öğrenilmiş bir ölçek $\gamma$ ve kaydırma $\beta$ uygula; böylece katman, istediği şeyin bu olduğu anlaşılırsa normalizasyonu geri alabilir:

Asıl soru yalnızca neyin üzerinden ortalama aldığındır. Batch normalizasyon³, $\mu$ ve $\sigma$ değerlerini batch boyutu boyunca alır; feature başına bir istatistik. Layer normalizasyon⁴ ise bunları feature’lar boyunca alır; örnek başına bir istatistik.

Bu seçim küçük görünür ve aşağı akıştaki neredeyse her şeyi belirler:

Bu yüzden LayerNorm’u Bölüm 9’da değişmeden yeniden göreceksin: transformer bloğu onu kullanır ve soyut olarak daha iyi çalıştığı için değil, sağ sütundaki nedenlerden dolayı kullanır.

Ölü ağ için dört aday düzeltme: Xavier başlatması, LayerNorm, residual bağlantılar ve SGD yerine Adam. Cazip olan, dördünü birden uygulayıp devam etmektir. Bunu yaparsan hangisinin önemli olduğunu asla bilemezsin ve bir sonraki sefer yöntemin olmaz — yalnızca ritüelin olur.

Bu yüzden tek tek uygula. Aynı seed, aynı veri, aynı mimari, 800 adım:

Bu tabloyu gece 2’de okuyacağın gibi oku; varacağın sonuç şudur: tek başına hiçbir şey çalışmıyor, her şey birlikte çalışıyor, demek ki deep learning simya. Bu sonuç yanlış ve nedenini bulmak bu bölümdeki en faydalı şey.

Her koşuya altı kat bütçe ver — 800 yerine 5000 adım — ve tablo tamamen değişir:

Artık resim net ve bu bir ritüel değil, teşhis.

Tek başına başlatma düzeltir. Tek başına normalizasyon düzeltir. Her biri gerçek hastalığı — ileri sinyalin sıfıra çökmesini — hedefler ve ikisi de yeterlidir. 800 adımda yalnızca kısmi başarı gibi görünmüşlerdi; çünkü problemi çözmüş ama hâlâ çukurdan çıkıyorlardı.

Residual bağlantılar ve Adam hiçbir bütçede bunu düzeltmez. Kötü oldukları için değil, farklı bir hastalığı tedavi ettikleri için. Residual bağlantı, gradyana tıkayan katmanın etrafından bir yol verir; problem gradyansa bu çok değerlidir, ama ileri sinyal zaten sıfırsa hiçbir işe yaramaz, çünkü ölü katmanın etrafındaki kestirme de ölü bir değer taşır. Adam, her parametrenin adımını kendi gradyan geçmişine göre yeniden ölçekler; gradyanlar çok farklı büyüklüklerde olduğunda yardımcı olur ve output’u input’una bağlı olmayan bir ağı diriltemez.

Ve “hiçbir şey” beş bin adımdan sonra hâlâ tam olarak 0.6931. 0.6929 değil. Yavaş değil; ölü. Bu ayrım artık daha önce görünmediği kadar görünür, çünkü karşılaştırmak için bir düzeltmenin işe yaradığını söyleyen satırın var.

Buradan sonra bu kurs PyTorch kullanıyor. Bunun ilan edilmek yerine hak edilmesi gerekir; bu yüzden, onun yaptıklarının senin zaten yapmayı bildiğin kısmı tam olarak şöyle.

Optimizer, gradyanları parametre güncellemelerine dönüştüren kuraldır. Düz gradient descent gradyanı kullanır. Momentum, gradyanın hareketli ortalamasını kullanır; bu da gürültüyü yumuşatır ve tutarlı kalan yönlerde hız biriktirir:

v = beta * v + p.grad          
p -= lr * v                    

Adam⁵ iki hareketli ortalama tutar — gradyanın ve gradyanın karesinin — ve birini diğerinin kareköküne böler; böylece her parametre kendi yakın dönem gradyan büyüklüğüne göre ölçeklenmiş bir adım alır:

m = b1 * m + (1 - b1) * g          # mean of the gradient          
v = b2 * v + (1 - b2) * g * g      # mean of the squared gradient  
m_hat = m / (1 - b1 ** t)          # bias correction: both averages start at zero
v_hat = v / (1 - b2 ** t)
p -= lr * m_hat / (v_hat.sqrt() + eps)   

On satır. İkisini de aynı problemde 50 adım boyunca torch.optim karşısında çalıştır:

SGD+momentum   by hand [2.7781870365142822, -1.0304985046386719]
               torch   [2.7781870365142822, -1.0304983854293823]   max |diff| = 1.19e-07
Adam           by hand [0.4893140196800232, -0.46317872405052185]
               torch   [0.48931416869163513, -0.46317875385284424]   max |diff| = 1.49e-07

Float32 hassasiyetinde aynı. torch.optim.Adam bu beş satırdır; üstüne uç durumlar için onlarca yıllık özen ve bir C++ kernel’i. Buradan sonra yaptığın takas bu: anlamak yerine sihir değil, zaten yazdığın satırlar karşılığında hız.

Adam’ın olağan açıklaması “parametre başına adaptive learning rate”tir; bu bir neden değil, betimlemedir. Neden geometridir ve ölçülebilir.

Eğriliği yönler arasında farklı olan bir kayıp al: bir yönde dik, diğerinde sığ. SGD’nin tek bir global learning rate’i vardır; bu yüzden en dik yönde kararlı olacak kadar küçük bir değer seçmek zorundadır — ve bu değer sığ yönde fazlasıyla küçük kalır, ilerleme sürünür. gradient descent’in dar bir vadide zikzak çizerek aşağı inmesini gösteren klasik resim bu yüzden oluşur.

İki eğrilik oranı, üç optimizer, 300 adım ve kimse dezavantajlı olmasın diye her optimizer’a bir sweep’ten çıkan en iyi learning rate:

On oranında her şey çalışır ve tartışacak bir şey yoktur. Binde ise düz SGD denenen hiçbir learning rate’te cevaba ulaşamaz — en iyi sonucu hâlâ 1.93 hatadır — ve oranların yarısında doğrudan diverge eder. Adam hedefin tam üstüne iner ve hiçbirinde diverge etmez.

Son sütun, Adam’ın varsayılan olmasının pratik nedenidir. Adam’ın daha iyi çözümler bulması değil; iyi koşullandırılmış problemlerde ayarlanmış SGD çoğu zaman ona yetişir veya onu geçer. Mesele, Adam’ın seçtiğin learning rate’e çok daha az hassas olmasıdır ve gerçek ağlarda milyonlarca parametre boyunca eğrilik oranları binden çok daha kötüdür.

Buraya ait iki parça daha var ve ikisi de tek satır. Gradient clipping, normu bir eşiği aştığında gradyan vektörünü yeniden ölçekler; bu da teşhis tablosundaki “kayıp aniden devasa bir değere sıçrar” satırını olay olmaktan çıkarır. Ve learning rate schedules: ilk birkaç yüz adımda sıfıra yakından başlayan kısa bir warmup, çünkü Adam’ın varyans tahminleri birkaç gradyan görmeden çöptür ve çöp üzerinde atılan tam boy bir adım başlatmayı mahvedebilir; sonra sıfıra doğru cosine decay, çünkü bir koşuyu başladığın adım boyutuyla bitirmek minimuma yerleşmek yerine onun etrafında titremek demektir.

Şimdiye kadarki her şey kaybı düşürmekle ilgiliydi. Şimdi daha zor yarı geliyor; çünkü kaybın düşmesi hedef değildir — hedefin proxy’sidir ve proxy belirli, meşhur bir şekilde başarısız olur.

Biraz gürültülü pürüzsüz bir fonksiyondan on iki nokta. Artan derecelerde polinomlar uydur:

12 nokta üzerinden derece 11, her birinden tam olarak geçer — train hatası altı ondalık basamakta sıfır — ve görmediği veride derece 5’ten sekiz kat daha kötüdür. Derece 3 ve derece 11’den, eğitim aralığının hemen dışında $x = 3.25$ noktasında tahmin yapmasını iste:

degree  3: predicts   -1.053   (truth -0.012)
degree 11: predicts  +61.224   (truth -0.012)

Cevabın yaklaşık sıfır olduğu yerde altmış bir. Model fonksiyonu öğrenmedi; on iki noktayı öğrendi ve aralarında aritmetiğin gerektirdiği her şeyi yapıyor.

Bu overfitting’dir; tersi — eğriyi hiç temsil edemeyen ve her yerde kötü olan derece 1 — underfitting’dir. Klasik anlatım, bir modelin beklenen hatasını üç parçaya ayırır: bias, modelin gerçeği temsil edemeyecek kadar katı olmasından kaynaklanan hata; variance, modelin bu belirli örnekteki gürültüyü kovalayacak kadar esnek olmasından kaynaklanan hata; ve indirgenemez gürültü, ki hiçbir şey onu düzeltmez. Basit modeller bias’lıdır, esnek modeller yüksek variance’lıdır ve klasik reçete ortadaki tatlı noktayı bulmaktır — yukarıdaki tabloda derece 5.

Standart araçların hepsi variance terimine saldırır:

• L2 regularisation (weight decay), kayba $\lambda \lVert w \rVert^2$ ekler; ağırlıkları sıfıra doğru çeker ve fonksiyonu daha pürüzsüz yapar. Yukarıdaki tabloda derece 11’in en büyük katsayısı hasarı verir; büyüklüğü cezalandırmak bunu etkisizleştirir.
• L1 bunun yerine $\lambda \sum |w_i|$ ekler. Fark kozmetik değildir: L2’nin gradyanı ağırlıkla orantılıdır, bu yüzden ağırlık küçüldükçe o da küçülür ve sıfıra varamadan yaklaşır; L1’in gradyanı ise sabit $\pm\lambda$’dir ve sonuna kadar itmeye devam eder. Bu yüzden L1 tam olarak sıfır olan ağırlıklar üretir — feature seçer. L2 küçük ağırlıklar üretir. Pürüzsüzlük istediğinde L2, seyreklik istediğinde L1 kullan.
• Dropout⁷, her eğitim adımında aktivasyonların rastgele bir alt kümesini sıfırlar; böylece hiçbir birim belirli başka bir birimin varlığına güvenemez.
• Early stopping, validation kaybını izler ve yukarı döndüğünde durur.
• Data augmentation, sahip olduğun örneklerden daha fazla eğitim örneği üretir; bu problemi kaynağından hedefler: overfitting, parametre fazlalığı kadar veri eksikliğidir.
• Cross-validation, veriyi $k$ parçaya böler ve $k$ kez eğitir; ayrı bir held-out set ayıracak kadar verin olmadığında test hatasının güvenilir bir tahminini satın alır.

Şimdi resmi bozan gerçek.

Bias-variance hikâyesi, tatlı noktanın ötesinde daha fazla parametrenin daha kötü genelleme anlamına geldiğini söyler. Modern dil modelleri, gördükleri veri için klasik kuralların izin verdiğinden çok daha fazla parametreye sahiptir ve mükemmel geneller. Bu iki ifade de doğrudur ve onları uzlaştırmak bu bölümdeki en faydalı şeydir.

Kırk eğitim noktası, yirmi boyutlu input’lar, rastgele ReLU feature’lar ve feature sayısı $P$, 2’den 5000’e taranıyor — sığan birçok çözüm olduğunda minimum-norm çözüm seçilerek:

Üç parça halinde oku. $P/n = 0.5$ değerine kadar klasik hikâye tam olarak geçerli: hata düşer, sonra yükselmeye başlar. $P = n = 40$ noktasında — modelin her eğitim noktasından geçmeye tam yetecek kadar parametresi olduğu interpolation threshold — test hatası 5.81 ile zirve yapar, küçük modelden beş kat kötüdür. Bu zirve klasik uyarıdır ve gerçektir.

Sonra yeniden iner. Ve inmeye devam eder; $P = 5n$ ötesine, $P = 37n$ ötesine, ta $P = 125n$ noktasına kadar. Orada 0.5664 test hatası, en iyi under-parameterised modelin ulaştığından bile daha iyidir. 40 noktaya uydurulmuş 5000 parametreli model, tablodaki en iyi modeldir.

Bu double descent’tir,⁸⁹ ve mekanizma son sütunda görünür. $P > n$ olduktan sonra eğitim verisine tam olarak uyan sonsuz sayıda parametre ayarı vardır ve hangisini elde ettiğin nasıl seçtiğine bağlıdır. Minimum-norm çözüm en küçüğü seçer ve $\lVert w \rVert$ bunun ne anlama geldiğini gösterir: eşikte 14.83 ile zirve yapar — çünkü orada tam uyan tek çözüm vardır ve ne kadar uç olursa olsun ona mahkûmsundur — sonra $P$ büyüdükçe monoton olarak düşer, çünkü daha fazla parametre, aralarından seçilecek daha fazla tam uyan çözüm demektir; bu da eldeki en küçük çözümün küçülmesi demektir. $P = 5000$ noktasında norm 0.18’dir; eşiktekinin seksende biri.

Yani ekstra parametreler karmaşıklık eklemiyor. Seçenek ekliyorlar ve seçim kuralı bu seçeneği sadeliğe harcıyor. Regularisation kayıp fonksiyonunda değil; algoritmanın içinde. Küçük bir başlatmadan yapılan gradient descent’in küçük normlu çözümlere doğru belgelenmiş bir eğilimi vardır; bu yüzden bu davranış yalnızca yukarıdaki lineer cebirde değil, sıradan şekilde eğitilen gerçek ağlarda da ortaya çıkar.

Chapter 10’un dayandığı pratik sonuç şu: “modelin veriden daha fazla parametresi var, bu yüzden overfit edecek” geçerli bir argüman değildir. Modeller eşiğin solunda yaşarken iyi bir kuraldı. Şimdi ilginç olan her şey onun çok sağında yaşıyor; orada kural tersine dönüyor.

Bu bölümdeki araçlar, tabloya koyabileceğin veriler üzerinde çalışan bir ağ eğitmek için yeterli: sayı satırları, etiket sütunu.

Dil öyle değildir. Bir model bir sonraki kelimeyi tahmin etmeden önce, bir şeyin “kelime”nin ne olduğuna karar vermesi gerekir — ve cevap ne harflerdir ne de kelimeler; modelin eğitim verisinin ham byte’larından öğrendiği bir vocabulary’dir. Eğitim başlamadan önce bir kez verilen bu karar, modelin kaç şey söyleyebileceğini, bir isteğin ne kadar tuttuğunu ve hukuk sınavını geçebilen modellerin strawberry içindeki harfleri neden güvenilir biçimde sayamadığını belirler.

Bölüm 7 bir tokenizer inşa eder.

Yukarıda kullanılan residual bağlantılar için: He ve diğerleri, Deep Residual Learning for Image Recognition (arXiv:1512.03385). Andrej Karpathy’nin Building makemore Part 3: Activations & Gradients, BatchNorm çalışması, gerçek bir model üzerinde aktivasyon histogramı teşhisinden geçer ve bu bölümün ilk yarısının en iyi uygulamalı anlatımıdır. Yaser Abu-Mostafa’nın Learning From Data dersleri 8 ve 11–13, klasik genelleme teorisini, bu bölümün bir paragrafa sıkıştırdığı kısımlar dahil, hakkıyla verir.