Underfitting in Machine Learning

Що таке недофітнес у машинному навчанні?

Невідповідність - це модель, яка не може одночасно моделювати та підсумовувати підготовлені та свіжі набори даних. Модель, що не підходить, безумовно, не є придатною, про що свідчить її погана продуктивність на підготовчому наборі даних. Невідповідність у машинному навчанні рідко обговорюється, оскільки її легко виявити за допомогою хорошої метрики виконання.

• Недопасування можна уникнути, зібравши додаткові дані та використавши визначення ознак, щоб зменшити виділення. По суті, недостатня підгонка характеризується низькою дисперсією та високою упередженістю.

Іншими словами, коли модель машинного навчання недостатньо складна, щоб точно вловити кореляції між ознаками набору даних і цільовою змінною, це називається недостатньою пристосованістю. На нових даних або даних, на яких вона не навчалася, недостатньо пристосована модель дає проблематичні або помилкові результати, і часто вона погано працює навіть на навчальних даних.

Неправильно підібрана модель може стверджувати, що збільшення витрат на маркетинг завжди призведе до збільшення продажів, хоча вона не враховує ефект насичення. Якщо ваша компанія використовує цю модель для формування маркетингового бюджету, ви перевитратите кошти на маркетинг.

Як уникнути недостатньої підгонки?

Виявлення надмірної та недостатньої відповідності корисне, але це не є рішенням проблеми. На щастя, у вас є безліч варіантів на вибір. Ось кілька ідей для початку:

• Підвищення складності моделі- Можливо, ваша модель недостатньо пристосована, тому що вона занадто проста для виявлення закономірностей у даних. Часто проблему можна вирішити за допомогою більш складної моделі, наприклад, перейти від лінійної до нелінійної моделі або додати приховані шари до вашої нейромережевої моделі, що не підходить.

• Додайте нові функції - Ваша модель може бути недостатньо пристосована, а не надто пристосована, тому що навчальні дані занадто прості. Можливо, відсутні елементи, які дозволяють моделі розпізнавати відповідні закономірності та генерувати точні прогнози. Недостатню пристосованість можна пом'якшити, додавши до ваших даних додаткові характеристики та складність.
• Мінімізація регуляризації - Налаштування регуляризації за замовчуванням включені в алгоритми, які ви обираєте, щоб запобігти надмірній пристосованості в машинному навчанні. Іноді вони можуть зупинити навчання алгоритму. Загалом, зменшення їхніх значень є корисним.

Стратегії вирішення проблеми невідповідності не передбачають додавання нових даних. Дійсно, якщо вашим даним бракує критичних властивостей, які дозволяють вашій моделі виявляти закономірності, збільшення розміру навчальної вибірки в 15, 20 або навіть 100 разів не покращить ваш алгоритм!

На жаль, у галузі це стало рутиною. Багато інженерів вважають, що додавання більшої кількості даних у модель вирішить проблему, незалежно від її складності. Це помилка, яка може сильно погіршити або навіть знищити проект, особливо враховуючи, наскільки трудомістким і дорогим може бути збір даних.

Здатність діагностувати та вирішувати проблеми недостатньої/надмірної відповідності є важливим аспектом процесу розробки моделі. Звичайно, окрім тих, що ми щойно згадали, існує безліч різних методів для вирішення подібних проблем.

Висновок

Різниця між надмірною та недостатньою підгонкою полягає в тому, що надмірна підгонка - це помилка моделювання, яка виникає, коли потужність надто щільно підігнана до невеликої кількості точок даних, тоді як недостатня підгонка стосується моделі, яка не може моделювати підготовчі дані або підсумовувати свіжі дані.

Ситуація, за якої модель генерує очікування з нульовою похибкою, називається повним збігом з даними. Поточна ситуація можлива десь між надмірною та недостатньою відповідністю. Щоб з'ясувати це, ми повинні подивитися на те, як наша модель поводиться в часі, коли вона навчається на підготовчому наборі даних.

З плином часу наші моделі перенавчання та недонавчання продовжуватимуть навчатися, а похибка моделі на підготовчих та тестових даних продовжуватиме зменшуватися. Через наявність шуму та менш корисних деталей модель перенавчання та недонавчання виявиться більш схильною до перенавчання, якщо вона навчається протягом тривалого часу.

В ідеальному світі ви б обрали модель, яка знаходиться десь між недостатньою та надмірною посадкою.

Це бажаний результат, але на практиці його надзвичайно важко досягти.

Ми можемо подивитися на продуктивність системи машинного навчання з плином часу, коли вона вивчає навчальні дані, щоб зрозуміти цю мету. Ми можемо побудувати графік навички як на навчальних даних, так і на тестовому наборі даних, які були відокремлені від процедури навчання.

Точка рівноваги - це точка, де модель має хороші навички як на навчальному наборі даних, так і на невидимому тестовому наборі даних, безпосередньо перед тим, як помилка на тестовому наборі даних починає зростати.