Early Stopping

Що таке рання зупинка?

Рання зупинка - це стратегія уникнення "перенавчання" вашої моделі. Насправді, для навчання моделей машинного навчання ми ділимо наші дані на два набори: навчальний набір і валідаційний (або тестовий) набір. Перший використовується для навчання, а другий - для оцінки того, наскільки ефективно функціонує модель.

Просто, якщо модель перестає розвиватися і починає погано працювати під час навчання, ми припиняємо навчання. В результаті ми "достроково закінчуємо" модель.

• Це регуляризаційний підхід, який слід використовувати з особливою обережністю. Основною метою є використання ранньої зупинки для запобігання надмірному пристосуванню.

При зниженні рівня часто використовується рання зупинка. Як наслідок, переважна більшість прикладів може бути знайдена в нейронних мережах і повинна залишитися там, щоб не забруднювати основні дані.

• Раннє зупинення в машинному навчанні передбачає запобігання збіжності процесу оптимізації в очікуванні, що ваші прогнози будуть точнішими за рахунок більшої упередженості (регуляризація).

Рання зупинка передбачає, що ваш підхід до оптимізації є ітераційним, наприклад, метод Ньютона, градієнтний спуск, LBFGS та багато інших, і що ви зупиняєте алгоритм до досягнення збіжності. Зазвичай, кількість ітерацій перед зупинкою просто зберігається як константа. Перехресна перевірка може бути використана для точного налаштування цього значення. Існують і більш розумні підходи, засновані на теоретичних висновках.

Однак, існує тисяча різних підходів до регуляризації, які не включені у вашу процедуру оптимізації. Як правило, ви повинні тримати модель і оцінку окремо. Рання зупинка усуває цю різницю і включає специфікацію моделі в її оцінку. Раннє зупинення не має теоретичної обґрунтованості в багатьох сценаріях використання, і його результатам не можна довіряти.

В результаті, це все одно, що збирати гриби, не розуміючи, як відрізнити смертельно небезпечні (оцінки параметрів ранньої зупинки) від їстівних (оптимальні параметри моделі). Перш ніж їх з'їсти, варто попросити когось іншого (наприклад, колегу) спробувати їх (перехресна перевірка).

Техніки ранньої зупинки

Існує три основні методи досягнення ранньої зупинки. Давайте подивимося на них ближче:

• Стратегія для валідаційних наборів- Ця геніальна стратегія є найбільш часто використовуваним методом ранньої зупинки. Щоб зрозуміти, як вона працює, розглянемо, як змінюються помилки валідації та навчання зі збільшенням кількості епох. Помилка навчання падає експоненціально до тих пір, поки вплив збільшення кількості епох на цю помилку не перестане бути значущим. Помилка валідації, з іншого боку, спочатку зменшується зі збільшенням кількості епох, а потім зростає до певного моменту. Це момент, коли модель слід зупинити, оскільки після цієї точки вона почне підганятись.
• Заздалегідь визначена кількість епох - Ця стратегія є прямим, але нерозумним шляхом до раннього завершення. Ми наражаємося на небезпеку не досягти прийнятної точки навчання, провівши фіксовану кількість епох. Модель може збігатися з більш короткими епохами, якщо збільшити швидкість навчання, але цей метод передбачає багато спроб і помилок. Ця стратегія стає все більш застарілою з розвитком машинного навчання.
• Пауза, коли зміна функції втрат стає незначною - Ця стратегія складніша за першу, оскільки базується на тому, що коли модель наближається до мінімуму, зміни ваги при градієнтному спуску стають набагато меншими. Зазвичай навчання припиняється, коли оновлення стає меншим за 0.001, оскільки це зменшує втрати та економить обчислювальні ресурси, уникаючи даремних епох. Втім, перенавчання все ще можливе.

Незважаючи на те, що метод валідаційної множини найкраще запобігає надмірному пристосуванню, іноді потрібно кілька епох, щоб модель показала надмірне пристосування, що може забирати багато обчислювальних ресурсів. Щоб досягти найкращого з обох світів, створіть гібридну методику, яка поєднує стратегію тестових наборів, а потім зупиняється, коли оновлення функції втрат стає крихітним. Наприклад, коли досягається одна з цих умов, навчання може бути припинено.