Як змусити мережу навчатися — і узагальнювати

Почніть із погляду на факти, а не з припущень. Пропустіть batch входів крізь мережу й виведіть стандартне відхилення активацій на кожному шарі, а потім стандартне відхилення градієнтів ваг:

def profile(model, x):
    h = x
    for layer in model:
        h = layer(h)
        if isinstance(layer, (nn.Tanh, nn.ReLU)):
            print(f"activation std: {h.std().item():.4f}")
    model(x).sum().backward()
    for p in model.parameters():
        if p.dim() == 2:
            print(f"gradient std: {p.grad.std().item():.2e}")

Три ініціалізації, та сама архітектура, шість шарів $\tanh$:

Перший рядок — це мережа вище, і вона не навчається повільно: у ній не лишилося сигналу. До четвертого шару стандартне відхилення активацій у чотирьох десяткових знаках провалилося до нуля. Кожен вхід дає той самий вихід, вихід є константою, а градієнт константи — ніщо. Ваги ініціалізували малими «для безпеки», і ця малість виявилася фатальною.

Другий рядок — протилежний збій, і його варто зрозуміти, бо він контрінтуїтивний. Активації виглядають здоровими — близько 0.96 — але це $\tanh$ у насиченні, притиснута до своєї межі, саме той режим, який у розділі 5 був виміряний як втрата майже десяти тисяч разів у градієнті. І все ж градієнти величезні: 1940 на першому шарі. Обидві речі істинні одночасно. Кожен зворотний крок множить на $W^\top$, а з 128 входами одиничної дисперсії цей множник має підсилення приблизно $\sqrt{128} \approx 11$, що перекриває стискання від насиченого $\tanh$. Градієнти геометрично зростають на шляху назад. Це вибуховий градієнт, і в реальному навчальному запуску він за кілька кроків дає значення втрати nan.

Третій рядок — те, що потрібно: активації мають приблизно сталий масштаб уздовж глибини, градієнти мають приблизно сталий масштаб уздовж глибини. Нічого не вмирає, нічого не вибухає.

Добра ініціалізація виправляє масштаб на нульовому кроці. Вона не тримає його фіксованим: ваги змінюються, і до п’ятитисячного кроку акуратний аргумент про дисперсію вже не діє.

Шари нормалізації підтримують масштаб постійно. Для вектора активацій: відніміть середнє, поділіть на стандартне відхилення, а потім застосуйте навчуваний масштаб $\gamma$ і зсув $\beta$, щоб шар міг скасувати нормалізацію, якщо виявиться, що саме цього він хоче:

Єдине справжнє питання — по чому усереднювати. Batch normalization³ бере $\mu$ і $\sigma$ уздовж batch-виміру, по одній статистиці на feature. Layer normalization⁴ бере їх уздовж features, по одній статистиці на приклад.

Цей вибір виглядає дрібним, але визначає майже все далі:

Саме тому LayerNorm знову зустрінеться вам у розділі 9 без змін: transformer block використовує його, і використовує з причин у правій колонці, а не тому, що він абстрактно «кращий».

Чотири кандидати на виправлення мертвої мережі: ініціалізація Xavier, LayerNorm, residual connections і Adam замість SGD. Спокуса — застосувати всі чотири й рухатися далі. Зробіть так — і ви ніколи не дізнаєтеся, що саме мало значення; наступного разу у вас не буде методу, лише ритуал.

Тому застосовуйте їх по одному. Той самий seed, ті самі дані, та сама архітектура, 800 кроків:

Читайте цю таблицю так, як читали б її о 2-й ночі, і висновок буде: ніщо не працює окремо, усе працює разом, отже deep learning — алхімія. Цей висновок хибний, і з’ясувати чому — найкорисніше в цьому розділі.

Дайте кожному запуску вшестеро більший бюджет — 5000 кроків замість 800 — і картина повністю зміниться:

Тепер картина чітка, і це вже діагностика, а не ритуал.

Сама ініціалізація це виправляє. Сама нормалізація це виправляє. Кожна з них лікує справжню хворобу — колапс прямого сигналу до нуля — і будь-якої достатньо. На 800 кроках вони просто виглядали як частковий успіх, бо вже розв’язали проблему, але ще вибиралися назовні.

Residual connections і Adam не виправляють це за жодного бюджету. Не тому, що вони погані, а тому, що лікують іншу хворобу. Residual connection дає градієнту шлях в обхід заблокованого шару; це дуже цінно, коли проблема в градієнті, і нічого не варте, коли прямий сигнал уже нульовий, бо короткий шлях навколо мертвого шару все одно несе мертве значення. Adam масштабує крок кожного параметра за його власною історією градієнтів; це допомагає, коли градієнти мають дуже різні масштаби, але не може воскресити мережу, чий вихід не залежить від входу.

А «нічого» після п’яти тисяч кроків усе ще рівно 0.6931. Не 0.6929. Це не повільно; це мертво, і тепер цю різницю видно так, як раніше не було видно, бо є рядок із працюючим виправленням для порівняння.

Відтепер цей курс використовує PyTorch. Це має бути заслужено, а не просто оголошено, тож ось рівно те, що він робить із того, що ви вже вмієте робити.

Оптимізатор — це правило перетворення градієнтів на оновлення параметрів. Звичайний gradient descent використовує градієнт. Momentum використовує його ковзне середнє, що згладжує шум і набирає швидкість у напрямках, які лишаються узгодженими:

v = beta * v + p.grad          
p -= lr * v                    

Adam⁵ зберігає два ковзні середні — градієнта й градієнта у квадраті — і ділить одне на квадратний корінь з іншого, тож кожен параметр отримує крок, масштабований до його нещодавнього масштабу градієнта:

m = b1 * m + (1 - b1) * g          # mean of the gradient          
v = b2 * v + (1 - b2) * g * g      # mean of the squared gradient  
m_hat = m / (1 - b1 ** t)          # bias correction: both averages start at zero
v_hat = v / (1 - b2 ** t)
p -= lr * m_hat / (v_hat.sqrt() + eps)   

Десять рядків. Запустіть обидва проти torch.optim на тій самій задачі протягом 50 кроків:

SGD+momentum   by hand [2.7781870365142822, -1.0304985046386719]
               torch   [2.7781870365142822, -1.0304983854293823]   max |diff| = 1.19e-07
Adam           by hand [0.4893140196800232, -0.46317872405052185]
               torch   [0.48931416869163513, -0.46317875385284424]   max |diff| = 1.49e-07

Ідентично до точності float32. torch.optim.Adam — це ті п’ять рядків плюс десятиліття турботи про крайові випадки й C++ kernel. Ось обмін, який ви робите відтепер: не магія замість розуміння, а швидкість за рядки, які ви вже написали.

Звичне пояснення Adam — «адаптивні learning rates для кожного параметра», але це опис, а не причина. Причина — геометрія, і її можна виміряти.

Візьміть втрату, чия кривина відрізняється між напрямками: крута в одному, полога в іншому. SGD має один глобальний learning rate, тож мусить вибрати значення, достатньо мале для стабільності в найкрутішому напрямку, — і це значення стає набагато замалим для пологого напрямку, де прогрес ледь повзе. Саме це спричиняє класичну картинку, де gradient descent зигзагом спускається вузькою долиною.

Два співвідношення кривини, три оптимізатори, 300 кроків, і кожному оптимізатору дали найкращий learning rate із перебору, щоб ніхто не мав фори чи штрафу:

За співвідношення десять працює все, і обговорювати нічого. За тисячі звичайний SGD не може дійти до відповіді за жодного випробуваного learning rate — його найкращий результат усе ще має помилку 1.93 — і прямо розбігається на половині rates. Adam точно потрапляє в target і не розбігається на жодному.

Остання колонка — практична причина, чому Adam є стандартом. Не тому, що Adam знаходить кращі рішення; на добре обумовлених задачах налаштований SGD часто зрівнюється з ним або перемагає. А тому, що Adam набагато менш чутливий до вибраного вами learning rate, а реальні мережі мають співвідношення кривини набагато гірші за тисячу серед мільйонів своїх параметрів.

Тут доречні ще дві речі, і обидві — в один рядок. Gradient clipping перемасштабує вектор градієнта щоразу, коли його норма перевищує поріг, перетворюючи рядок діагностичної таблиці «втрата раптом стрибає до величезного значення» на не-подію. І learning rate schedules: короткий warmup від майже нуля протягом перших кількох сотень кроків, бо оцінки дисперсії в Adam — сміття, доки вони не побачили кілька градієнтів, а повнорозмірний крок на смітті може зруйнувати ініціалізацію; потім cosine decay до нуля, бо завершувати запуск із тим самим розміром кроку, з яким ви почали, означає тремтіти навколо мінімуму, а не осідати в ньому.

Досі все було про те, як змусити втрату знижуватися. Тепер складніша половина, бо зниження втрати — не мета; це proxy для мети, і цей proxy ламається конкретним і знаменитим способом.

Дванадцять точок із гладкої функції з невеликим шумом. Підженемо поліноми зростаючого степеня:

Степінь 11 через 12 точок проходить точно через кожну — train-помилка нуль до шести десяткових знаків — і на даних, яких вона не бачила, у вісім разів гірша за степінь 5. Попросіть степінь 3 і степінь 11 передбачити в $x = 3.25$, просто за межами навчального діапазону:

degree  3: predicts   -1.053   (truth -0.012)
degree 11: predicts  +61.224   (truth -0.012)

Шістдесят один, коли відповідь приблизно нуль. Модель не вивчила функцію; вона вивчила дванадцять точок, а між ними робить усе, чого вимагає арифметика.

Це overfitting, а його протилежність — степінь 1, який узагалі не може представити криву й поганий всюди, — це underfitting. Класичний опис розкладає очікувану помилку моделі на три частини: bias, помилка від того, що модель надто жорстка, щоб представити істину; variance, помилка від того, що модель настільки гнучка, що ганяється за шумом у цій конкретній вибірці; і незвідний шум, який не виправляє ніщо. Прості моделі мають bias, гнучкі моделі мають високу variance, а класичний рецепт — знайти золоту середину посередині: степінь 5 у таблиці вище.

Стандартні інструменти всі атакують складову variance:

• L2-регуляризація (weight decay) додає $\lambda \lVert w \rVert^2$ до втрати, притягуючи ваги до нуля й роблячи функцію гладкішою. У таблиці вище шкоди завдає найбільший коефіцієнт степеня 11; штраф за розмір його знешкоджує.
• L1 натомість додає $\lambda \sum |w_i|$. Різниця не косметична: градієнт L2 пропорційний вазі, тож зменшується разом із нею, наближаючись до нуля, але не доходячи до нього, тоді як градієнт L1 — це константа $\pm\lambda$, яка продовжує штовхати до кінця. Тому L1 дає ваги, що є точно нульовими, — вона відбирає features. L2 дає малі ваги. Використовуйте L2, коли потрібна гладкість, і L1, коли потрібна розрідженість.
• Dropout⁷ зануляє випадкову підмножину активацій на кожному навчальному кроці, тож жоден юніт не може покладатися на присутність будь-якого конкретного іншого юніта.
• Early stopping стежить за validation-втратою й зупиняє навчання, коли вона повертає вгору.
• Data augmentation створює більше навчальних прикладів із тих, що вже є, атакуючи проблему в її джерелі: overfitting — це нестача даних не менше, ніж надлишок параметрів.
• Cross-validation ділить дані $k$ способами й навчає $k$ разів, що купує надійну оцінку test-помилки, коли даних замало, щоб виділити окремий held-out набір.

Тепер факт, який ламає картинку.

Історія bias-variance каже: після золотої середини більше параметрів означає гірше узагальнення. Сучасні language models мають набагато більше параметрів, ніж дозволяють класичні правила для даних, які вони бачать, і узагальнюють чудово. Обидва твердження істинні, і примирити їх — найкорисніша річ у цьому розділі.

Сорок навчальних точок, двадцятивимірні входи, випадкові ReLU features, і кількість features $P$ перебрано від 2 до 5000 — з вибором minimum-norm розв’язку щоразу, коли існує багато розв’язків, які підходять:

Читайте це у трьох частинах. До $P/n = 0.5$ класична історія працює точно: помилка падає, а потім починає зростати. На $P = n = 40$ — порозі інтерполяції, де модель має рівно стільки параметрів, щоб пройти через кожну навчальну точку, — test-помилка досягає піку, 5.81, уп’ятеро гірше за малу модель. Цей пік — класичне попередження, і він реальний.

Потім вона знову спускається. І продовжує спускатися: повз $P = 5n$, повз $P = 37n$, аж до $P = 125n$, де test-помилка 0.5664 краща за найкращий результат, якого будь-коли досягала недопараметризована модель. Модель із 5000 параметрами, підлаштована до 40 точок, — найкраща модель у таблиці.

Це double descent,⁸⁹ і механізм видно в останній колонці. Щойно $P > n$, існує нескінченно багато налаштувань параметрів, які точно підганяють навчальні дані, а те, яке саме ви отримаєте, залежить від вибору. Minimum-norm розв’язок обирає найменший, і $\lVert w \rVert$ показує, що це означає: він досягає піку 14.83 рівно на порозі — де є рівно один інтерполяційний розв’язок, і ви застрягли з ним, хоч би яким екстремальним він був, — а потім монотонно падає зі зростанням $P$, бо більше параметрів означає більше інтерполяційних розв’язків на вибір, а отже найменший доступний стає меншим. На $P = 5000$ норма дорівнює 0.18, у вісімдесят разів менше, ніж на порозі.

Отже, додаткові параметри не додають складності. Вони додають вибір, а правило відбору витрачає цей вибір на простоту. Регуляризація не у функції втрат; вона в алгоритмі. Gradient descent з малої ініціалізації має задокументований bias до розв’язків із малою нормою, саме тому така поведінка проявляється в реальних мережах, навчених звичайним способом, а не лише в лінійній алгебрі вище.

Практичний наслідок, від якого залежить розділ 10: «у моделі більше параметрів, ніж даних, отже вона overfit» — невалідний аргумент. Це було хорошим правилом, коли моделі жили ліворуч від порога. Усе цікаве тепер живе далеко праворуч від нього, де правило розвертається.

Інструментів із цього розділу достатньо, щоб навчити мережу, яка працює на даних, що їх можна покласти в таблицю: рядки чисел, колонка міток.

Мова — не така. Перш ніж модель зможе передбачити наступне слово, щось має вирішити, що таке «слово» взагалі, — і відповідь не літери й не слова, а словник, який модель вивчає з сирих байтів навчальних даних. Це рішення, ухвалене один раз до початку навчання, визначає, скільки речей модель може сказати, скільки коштує запит і чому моделі, здатні скласти іспит із права, не можуть надійно порахувати літери у strawberry.

Розділ 7 будує tokenizer.

Для residual connections, використаних вище, див. He та ін., Deep Residual Learning for Image Recognition (arXiv:1512.03385). Building makemore Part 3: Activations & Gradients, BatchNorm Андрія Карпатого проходить діагностику гістограм активацій на реальній моделі й є найкращим практичним поясненням першої половини цього розділу. Лекції 8 і 11–13 з Learning From Data Ясера Абу-Мостафи належно викладають класичну теорію узагальнення, включно з частинами, які цей розділ стиснув до одного абзацу.