Membuatnya Belajar, Lalu Membuatnya Menggeneralisasi

Mulailah dengan melihat, bukan menebak. Dorong satu batch input melewati jaringan dan cetak deviasi standar aktivasi di tiap layer, lalu deviasi standar gradien bobot:

def profile(model, x):
    h = x
    for layer in model:
        h = layer(h)
        if isinstance(layer, (nn.Tanh, nn.ReLU)):
            print(f"activation std: {h.std().item():.4f}")
    model(x).sum().backward()
    for p in model.parameters():
        if p.dim() == 2:
            print(f"gradient std: {p.grad.std().item():.2e}")

Tiga inisialisasi, arsitektur yang sama, enam lapis $\tanh$:

Baris pertama adalah jaringan di atas, dan ia bukan belajar lambat — ia sudah tidak punya sinyal tersisa. Pada lapis keempat, deviasi standar aktivasi sudah underflow menjadi nol hingga empat angka desimal. Setiap input menghasilkan output yang sama, outputnya konstan, dan gradien dari konstanta adalah kosong. Bobot diinisialisasi kecil "agar aman", dan kecil ternyata fatal.

Baris kedua adalah kegagalan yang berlawanan, dan layak dipahami karena terasa kontraintuitif. Aktivasinya tampak sehat — sekitar 0.96 — tetapi itu adalah $\tanh$ yang saturasi, tertahan dekat batasnya, persis rezim yang diukur Bab 5 sebagai kehilangan faktor hampir sepuluh ribu pada gradien. Namun gradiennya sangat besar: 1940 di lapis pertama. Keduanya benar sekaligus. Setiap langkah backward mengalikan dengan $W^\top$, dan dengan 128 input pada varians satuan, faktor itu punya gain sekitar $\sqrt{128} \approx 11$, yang mengalahkan penyusutan dari $\tanh$ yang tersaturasi. Gradien tumbuh secara geometris saat bergerak mundur. Ini adalah exploding gradient, dan menghasilkan nilai loss nan dalam beberapa langkah pada training run sungguhan apa pun.

Baris ketiga adalah yang kamu inginkan: aktivasi kira-kira konstan skalanya sepanjang kedalaman, gradien kira-kira konstan skalanya sepanjang kedalaman. Tidak ada yang mati, tidak ada yang meledak.

Inisialisasi yang baik memperbaiki skala pada langkah nol. Ia tidak menjaganya tetap tetap: bobot bergerak, dan pada langkah lima ribu argumen varians yang rapi tadi tidak lagi berlaku.

Layer normalisasi menegakkan skala secara terus-menerus. Diberi sebuah vektor aktivasi, kurangi dengan mean, bagi dengan deviasi standar, lalu terapkan skala yang dipelajari $\gamma$ dan shift $\beta$ agar layer bisa membatalkan normalisasi jika ternyata itu yang diinginkannya:

Satu-satunya pertanyaan nyata adalah apa yang kamu rata-ratakan. Batch normalisation³ mengambil $\mu$ dan $\sigma$ melintasi dimensi batch, satu statistik per fitur. Layer normalisation⁴ mengambilnya melintasi fitur, satu statistik per contoh.

Pilihan itu terlihat kecil dan menentukan hampir semua hal setelahnya:

Inilah mengapa LayerNorm adalah yang akan kamu temui lagi di Bab 9 tanpa berubah: blok transformer menggunakannya, dan menggunakannya karena alasan di kolom kanan, bukan karena ia lebih baik secara abstrak.

Empat kandidat perbaikan untuk jaringan mati: inisialisasi Xavier, LayerNorm, residual connections, dan Adam alih-alih SGD. Godaannya adalah menerapkan keempatnya lalu lanjut. Lakukan itu dan kamu tidak akan pernah tahu mana yang penting, dan saat ini terjadi lagi kamu tidak punya metode — hanya ritual.

Jadi terapkan satu per satu. Seed sama, data sama, arsitektur sama, 800 langkah:

Baca tabel itu seperti kamu membacanya pukul 2 pagi dan kesimpulannya adalah: tidak ada yang bekerja sendiri, semuanya bekerja bersama, jadi deep learning adalah alkimia. Kesimpulan itu salah, dan mencari tahu alasannya adalah hal paling berguna dalam bab ini.

Beri setiap run anggaran enam kali lipat — 5000 langkah, bukan 800 — dan gambarnya berubah total:

Sekarang gambarnya tajam, dan ini diagnosis, bukan ritual.

Inisialisasi saja memperbaikinya. Normalisasi saja memperbaikinya. Masing-masing menangani penyakit sebenarnya — sinyal forward yang runtuh ke nol — dan salah satunya sudah cukup. Pada 800 langkah, keduanya hanya tampak seperti nilai parsial, karena keduanya sudah memecahkan masalah dan masih sedang merangkak naik keluar.

Residual connections dan Adam tidak memperbaikinya, pada anggaran berapa pun. Bukan karena keduanya buruk, tetapi karena keduanya mengobati penyakit yang berbeda. Residual connection memberi gradien jalur di sekitar layer yang memblokir; itu sangat berharga saat gradien adalah masalahnya, dan tidak bernilai saat sinyal forward sudah nol, karena shortcut di sekitar layer mati tetap membawa nilai mati. Adam menskalakan ulang langkah tiap parameter dengan riwayat gradiennya sendiri; itu membantu saat gradien punya magnitudo yang sangat berbeda-beda, dan tidak bisa membangkitkan jaringan yang outputnya tidak bergantung pada inputnya.

Dan "tidak ada" masih persis 0.6931 setelah lima ribu langkah. Bukan 0.6929. Ia tidak lambat; ia mati, dan perbedaan itu terlihat dengan cara yang sebelumnya tidak terlihat, karena kamu punya baris pembanding yang menunjukkan perbaikan bekerja.

Mulai dari sini kursus ini memakai PyTorch. Itu seharusnya diperoleh, bukan sekadar diumumkan, jadi inilah persisnya apa yang ia lakukan yang kamu sudah tahu cara melakukannya.

Optimiser adalah aturan untuk mengubah gradien menjadi update parameter. gradient descent polos menggunakan gradien. Momentum menggunakan running average dari gradien, yang menghaluskan noise dan membangun kecepatan di sepanjang arah yang tetap konsisten:

v = beta * v + p.grad          
p -= lr * v                    

Adam⁵ menyimpan dua running average — dari gradien dan dari gradien kuadrat — lalu membagi yang satu dengan akar kuadrat yang lain, sehingga setiap parameter mendapat langkah yang diskalakan menurut magnitudo gradien terbarunya sendiri:

m = b1 * m + (1 - b1) * g          # mean of the gradient          
v = b2 * v + (1 - b2) * g * g      # mean of the squared gradient  
m_hat = m / (1 - b1 ** t)          # bias correction: both averages start at zero
v_hat = v / (1 - b2 ** t)
p -= lr * m_hat / (v_hat.sqrt() + eps)   

Sepuluh baris. Jalankan keduanya terhadap torch.optim pada masalah yang sama selama 50 langkah:

SGD+momentum   by hand [2.7781870365142822, -1.0304985046386719]
               torch   [2.7781870365142822, -1.0304983854293823]   max |diff| = 1.19e-07
Adam           by hand [0.4893140196800232, -0.46317872405052185]
               torch   [0.48931416869163513, -0.46317875385284424]   max |diff| = 1.49e-07

Identik hingga presisi float32. torch.optim.Adam adalah lima baris itu, ditambah puluhan tahun perhatian pada edge case dan kernel C++. Itulah pertukaran yang kamu lakukan mulai sekarang: bukan sihir sebagai ganti pemahaman, tetapi kecepatan sebagai ganti baris yang sudah kamu tulis.

Penjelasan Adam yang biasa adalah "learning rate adaptif per parameter", yang merupakan deskripsi, bukan alasan. Alasannya adalah geometri, dan itu bisa diukur.

Ambil sebuah loss yang kelengkungannya berbeda antar arah: curam di satu arah, landai di arah lain. SGD punya satu learning rate global, sehingga harus memilih nilai yang cukup kecil agar stabil di arah paling curam — dan nilai itu kemudian terlalu kecil untuk arah yang landai, tempat progres merayap. Inilah yang menyebabkan gambar klasik gradient descent zig-zag menuruni lembah sempit.

Dua rasio kelengkungan, tiga optimiser, 300 langkah, dan setiap optimiser diberi learning rate terbaik dari sweep agar tidak ada yang dirugikan:

Pada rasio sepuluh, semuanya bekerja dan tidak ada yang perlu dibahas. Pada seribu, SGD polos tidak bisa mencapai jawaban pada learning rate mana pun yang dicoba — hasil terbaiknya masih error 1.93 — dan benar-benar divergen pada setengah rate. Adam mendarat tepat di target dan tidak divergen pada satu pun.

Kolom terakhir itulah alasan praktis Adam menjadi default. Bukan karena Adam menemukan solusi yang lebih baik; pada masalah yang well-conditioned, SGD yang dituning sering menyamai atau mengalahkannya. Alasannya Adam jauh kurang sensitif terhadap learning rate yang kamu pilih, dan jaringan nyata punya rasio kelengkungan yang jauh lebih buruk daripada seribu di antara jutaan parameternya.

Dua bagian lagi perlu ada di sini dan keduanya satu baris. Gradient clipping menskalakan ulang vektor gradien setiap kali norm-nya melewati ambang, yang mengubah baris "loss tiba-tiba meloncat ke nilai sangat besar" pada tabel diagnostik menjadi bukan peristiwa. Dan learning rate schedules: warmup singkat dari hampir nol selama beberapa ratus langkah pertama, karena estimasi varians Adam buruk sampai ia melihat beberapa gradien dan langkah ukuran penuh yang diambil berdasarkan sampah bisa merusak inisialisasi; lalu cosine decay menuju nol, karena mengakhiri run dengan ukuran langkah yang sama seperti saat memulai berarti bergetar di sekitar minimum alih-alih menetap di sana.

Semua sejauh ini tentang membuat loss turun. Sekarang paruh yang lebih sulit, karena loss turun bukan tujuan — itu proxy untuk tujuan, dan proxy itu gagal dengan cara yang spesifik dan terkenal.

Dua belas titik dari fungsi mulus dengan sedikit noise. Fit polinomial dengan derajat meningkat:

Derajat 11 melalui 12 titik melewati setiap titik persis — train error nol hingga enam angka desimal — dan delapan kali lebih buruk daripada derajat 5 pada data yang belum dilihatnya. Minta derajat 3 dan derajat 11 memprediksi pada $x = 3.25$, tepat di luar rentang training:

degree  3: predicts   -1.053   (truth -0.012)
degree 11: predicts  +61.224   (truth -0.012)

Enam puluh satu, padahal jawabannya kira-kira nol. Model tidak mempelajari fungsinya; ia mempelajari dua belas titik, dan di antara titik-titik itu ia melakukan apa pun yang diminta aritmetika.

Ini adalah overfitting, dan kebalikannya — derajat 1, yang sama sekali tidak bisa merepresentasikan kurva dan buruk di mana-mana — adalah underfitting. Penjelasan klasik membagi error harapan model menjadi tiga bagian: bias, error karena model terlalu kaku untuk merepresentasikan kebenaran; variance, error karena model begitu fleksibel sampai mengejar noise dalam sampel khusus ini; dan noise tak-tereduksi, yang tidak bisa diperbaiki apa pun. Model sederhana bias, model fleksibel high-variance, dan resep klasiknya adalah menemukan titik manis di tengah — derajat 5 pada tabel di atas.

Alat standar semuanya menyerang komponen variance:

• Regularisasi L2 (weight decay) menambahkan $\lambda \lVert w \rVert^2$ ke loss, menarik bobot menuju nol dan membuat fungsi lebih mulus. Pada tabel di atas, koefisien terbesar derajat 11 yang menyebabkan kerusakan; menghukum ukuran menjinakkannya.
• L1 menambahkan $\lambda \sum |w_i|$ sebagai gantinya. Perbedaannya bukan kosmetik: gradien L2 sebanding dengan bobot sehingga menyusut saat bobot menyusut, mendekati nol tanpa pernah tiba, sementara gradien L1 adalah konstanta $\pm\lambda$ yang terus mendorong sampai akhir. Karena itu L1 menghasilkan bobot yang persis nol — ia memilih fitur. L2 menghasilkan bobot kecil. Gunakan L2 saat kamu menginginkan kemulusan, L1 saat kamu menginginkan sparsity.
• Dropout⁷ menolkan subset acak aktivasi pada setiap langkah training, sehingga tidak ada unit yang bisa mengandalkan unit tertentu lain selalu hadir.
• Early stopping memantau validation loss dan berhenti saat loss itu berbalik naik.
• Data augmentation membuat lebih banyak contoh training dari yang kamu punya, menyerang masalah pada sumbernya: overfitting adalah kekurangan data sama besarnya dengan kelebihan parameter.
• Cross-validation membagi data menjadi $k$ bagian dan melatih $k$ kali, yang membeli estimasi test error yang andal saat datamu terlalu sedikit untuk menyisihkan held-out set.

Sekarang fakta yang mematahkan gambarnya.

Kisah bias-variance mengatakan bahwa setelah titik manis, lebih banyak parameter berarti generalisasi lebih buruk. Model bahasa modern punya jauh lebih banyak parameter daripada yang diizinkan aturan klasik untuk data yang mereka lihat, dan menggeneralisasi dengan sangat baik. Keduanya benar, dan mendamaikannya adalah hal paling berguna dalam bab ini.

Empat puluh titik training, input dua puluh dimensi, fitur ReLU acak, dan jumlah fitur $P$ disapu dari 2 hingga 5000 — dengan solusi minimum-norm dipilih setiap kali ada banyak solusi yang fit:

Baca dalam tiga bagian. Hingga $P/n = 0.5$, cerita klasik berlaku persis: error turun, lalu mulai naik. Pada $P = n = 40$ — interpolation threshold, saat model punya parameter persis cukup untuk melewati setiap titik training — test error memuncak, di 5.81, lima kali lebih buruk daripada model kecil. Puncak itu adalah peringatan klasik, dan itu nyata.

Lalu ia turun lagi. Dan terus turun, melewati $P = 5n$, melewati $P = 37n$, sampai ke $P = 125n$, tempat test error 0.5664 lebih baik daripada model under-parameterised terbaik yang pernah dicapai. Model dengan 5000 parameter yang di-fit pada 40 titik adalah model terbaik di tabel.

Ini adalah double descent,⁸⁹ dan mekanismenya terlihat di kolom terakhir. Begitu $P > n$, ada tak hingga banyaknya pengaturan parameter yang fit data training secara persis, dan mana yang kamu dapat bergantung pada cara memilih. Solusi minimum-norm memilih yang terkecil, dan $\lVert w \rVert$ menunjukkan artinya: ia memuncak di 14.83 tepat pada threshold — ketika hanya ada satu solusi interpolasi dan kamu terjebak dengannya, seberapa ekstrem pun — lalu turun monoton saat $P$ tumbuh, karena lebih banyak parameter berarti lebih banyak solusi interpolasi untuk dipilih, yang berarti solusi terkecil yang tersedia makin kecil. Pada $P = 5000$ norm-nya 0.18, delapan puluh kali lebih kecil daripada di threshold.

Jadi parameter tambahan tidak menambah kompleksitas. Mereka menambah pilihan, dan aturan seleksi membelanjakan pilihan itu untuk kesederhanaan. Regularisasi tidak berada di fungsi loss; ia berada di algoritme. gradient descent dari inisialisasi kecil punya bias terdokumentasi menuju solusi norm kecil, itulah sebabnya perilaku ini muncul di jaringan nyata yang dilatih dengan cara biasa, bukan hanya pada aljabar linear di atas.

Konsekuensi praktisnya, yang menjadi sandaran Bab 10: "model punya lebih banyak parameter daripada data, jadi ia akan overfit" bukan argumen yang valid. Itu aturan yang baik saat model hidup di kiri threshold. Semua yang menarik sekarang hidup jauh di kanannya, tempat aturan itu berbalik.

Alat dalam bab ini cukup untuk melatih jaringan yang bekerja pada data yang bisa kamu masukkan ke tabel: baris angka, satu kolom label.

Bahasa bukan itu. Sebelum model bisa memprediksi kata berikutnya, sesuatu harus memutuskan apa sebenarnya "kata" itu — dan jawabannya bukan huruf ataupun kata, melainkan vocabulary yang dipelajari model dari byte mentah data training. Keputusan itu, yang dibuat sekali sebelum training dimulai, menentukan berapa banyak hal yang bisa dikatakan model, berapa biaya sebuah request, dan mengapa model yang bisa lulus ujian hukum tidak bisa menghitung huruf dalam strawberry dengan andal.

Bab 7 membangun tokenizer.

Untuk residual connections yang digunakan di atas, He et al., Deep Residual Learning for Image Recognition (arXiv:1512.03385). Building makemore Part 3: Activations & Gradients, BatchNorm dari Andrej Karpathy menjelaskan diagnostik histogram aktivasi pada model nyata dan merupakan pembahasan praktik terbaik untuk paruh pertama bab ini. Kuliah 8 dan 11–13 dari Learning From Data oleh Yaser Abu-Mostafa memberikan teori generalisasi klasik dengan benar, termasuk bagian-bagian yang bab ini padatkan menjadi satu paragraf.