Validation Set in Machine Learning

Машинне навчання - це тема, яка привернула до себе багато уваги і щодня використовується в інноваційних формах. Однак з такою широкою увагою приходить багато невизначеності в тих сферах, які, можливо, ніхто не помітив, наприклад, розбиття наборів даних.

• Мета розробки моделі керованого машинного навчання полягає у створенні програмного забезпечення, яке може узагальнювати вхідні зразки, яких воно ніколи раніше не бачило

Це завдання вимагає, щоб під час навчання модель піддавалася впливу певної кількості варіантів вхідних зразків, що, ймовірно, призведе до достатньої точності. Це тягне за собою кілька етапів, які модель повинна пройти, перш ніж її можна буде використовувати:

1. Змусити модель оцінювати дані
2. Навчити модель вчитися на своїх помилках
3. Зробити висновок про ефективність моделі

Оскільки ці процеси настільки різні, дані в кожному з них будуть оброблятися по-різному.

Як наслідок, ми повинні визначити, яка точка збору даних відноситься до якої з фаз.

Набір для тренувань

Цей набір даних відповідає кроку 1 попереднього розділу. Він містить набір вхідних даних, до яких модель буде підбиратися - або навчатися - шляхом зміни параметрів.

• Набір навчальних даних - це колекція екземплярів, які використовуються в процесі навчання для підбору параметрів (наприклад, ваг) класифікатора

Метод керованого навчання для задач класифікації досліджує навчальний набір даних, щоб виявити або вивчити найкращі комбінації змінних, які дозволять створити надійну прогнозну модель.

Мета полягає в тому, щоб створити пристосовану модель, яка добре узагальнює нові, невідомі дані. Для оцінки точності моделі в класифікації нових даних використовуються "нові" приклади з відкладених наборів даних, щоб оцінити пристосовану модель. Приклади з валідаційних і тестових наборів даних не слід використовувати для навчання моделі, щоб мінімізувати небезпеку перенавчання.

Більшість підходів до пошуку емпіричних зв'язків у навчальних даних, як правило, надмірно підлаштовуються під дані, що означає, що вони можуть знаходити і використовувати очевидні зв'язки в навчальних даних, які в загальному випадку не існують.

Валідаційний набір

Для того, щоб навчати модель, її потрібно регулярно оцінювати, і саме для цього існує валідаційний набір. Ми можемо визначити, наскільки точною є модель, обчислюючи втрати, які вона спричиняє на валідаційному наборі в кожній заданій точці. Це і є суть навчання.

Що таке валідаційний набір даних? Простими словами:

• Набір даних валідації - це набір екземплярів, які використовуються для точного налаштування гіперпараметрів класифікатора

Кількість прихованих одиниць у кожному шарі є гарною аналогією гіперпараметру для нейронних мереж машинного навчання. Вона повинна мати такий самий розподіл ймовірностей, як і навчальний набір даних, так само як і тестовий набір даних. Коли потрібно оновити змінну класифікації, в машинному навчанні потрібен валідаційний набір даних, що включає тестовий і навчальний набори даних, щоб уникнути перенастроювання.

Якщо шукається найбільш підходящий класифікатор для вирішення проблеми, навчальний набір даних використовується для навчання різних класифікаторів-кандидатів, перевірка даних у машинному навчанні використовується для порівняння їхньої продуктивності та вибору найкращого, а тестовий набір даних використовується для отримання характеристик продуктивності, таких як F-міра, чутливість, точність або специфічність.

Валідаційний набір даних є гібридом: це навчальні дані, які використовуються для тестування, але вони не включаються ні в низькорівневе навчання, ні в фінальне тестування. Рання зупинка - це техніка, в якій моделі-кандидати є ітераціями однієї і тієї ж мережі, і навчання зупиняється, коли помилка на валідаційному наборі зростає, обираючи попередню модель - ту, що має найменшу помилку.

Тестовий набір

Мається на увазі остаточне оцінювання моделі після завершення етапу навчання. Цей етап має вирішальне значення для визначення узагальнюваності моделі. Ми можемо отримати робочу точність нашої моделі, використовуючи цю колекцію.

• Перевірка даних проти тестових даних = вибірка даних використовується для забезпечення неупередженої оцінки відповідності моделі навчальному набору даних проти вибірки даних, яка використовується для забезпечення неупередженої оцінки відповідності остаточної моделі навчальному набору даних

Варто зазначити, що ми повинні бути суб'єктивними - і правдивими - відкладаючи вплив моделі на тестовий набір до завершення етапу навчання. У цьому сенсі ми можемо вважати остаточну міру точності надійною.

• Верифікація машинного навчання vs тестування = Навчити модель вчитися на своїх помилках vs зробити висновок про ефективність моделі

Висновок

Під час навчання моделі ви дивитеся на навчальні приклади і дізнаєтеся, наскільки далеко відстає модель, періодично оцінюючи її на валідаційному наборі. Однак останнім - і найважливішим - показником правильності моделі є результат запуску моделі на тестовому наборі після того, як вона була навчена.