Holdout Data

Що таке дані про затримку?

При навчанні моделі машинного навчання, дані, що утримуються, - це дані, які навмисно виключаються з набору даних.

• Ефективність навченої моделі на нових, небачених даних оцінюється за допомогою методу утримання.

Валідація - це процес оцінки точності моделі шляхом порівняння її з контрольною множиною. Якщо модель занадто точно відповідає навчальним даним і не може узагальнити їх на нові дані, це називається перенавчанням, і для його виявлення та уникнення під час валідації використовується метод виключення.

Зазвичай, невелика підмножина даних видаляється як "пропуски" перед навчанням моделі, а решта даних використовується. Тривалість періоду вилучення та кількість спостережень, необхідних для моделі, впливають на розмір набору вилучених даних. Залежно від характеру проблеми, що розглядається, типовою практикою є відкладання 20-30% вибірки як пропущених даних.

Експерти з машинного навчання можуть перевірити, чи можуть їхні моделі узагальнювати нові дані, на яких вони вже навчалися, використовуючи для оцінки метод утримання. Це має вирішальне значення для підтримки точності та надійності моделей машинного навчання в практичних умовах.

Холдаут проти перехресної перевірки

Методи оцінки ефективності моделей машинного навчання включають утримання та перехресну перевірку.

• Holdout

  Набір даних поділяється на навчальну та перевірочну множини. Модель "навчається" на навчальній множині, а її "продуктивність" "перевіряється" на перевірочній множині. Хоча підхід "утримання" швидкий і простий у використанні, він може давати великі оцінки похибки, коли розмір набору даних невеликий.

• Перехресна перевірка

  На противагу цьому, перехресна перевірка вимагає розбиття набору даних на кілька "складок" або менших підгруп. Модель навчається на k мінус одному згині і тестується на останньому згині. Кожна складка використовується як валідаційний набір лише один раз протягом k ітерацій цієї процедури. Потім вихідні дані моделі нормалізуються протягом k ітерацій. Особливо, коли розмір набору даних обмежений, перехресна перевірка забезпечує більш точну оцінку ефективності моделі. Проте вона може бути ресурсомісткою на комп'ютері, особливо для великих даних і складних моделей.

Коли набір даних великий, а модель проста, тестування на виключення є підходящим варіантом, тоді як перехресна перевірка є кращою, коли розмір набору даних невеликий, а модель складна. Обидва методи мають переваги і недоліки, тому вибір одного з них над іншим в кінцевому підсумку зводиться до характеру проблеми, що розглядається, і наявності ресурсів.

Важливість даних про утримання

Існує кілька застосувань даних про утримання в машинному навчанні.

• Уникнення перенавчанняКоли модель занадто точно відповідає навчальним даним, кажуть, що вона перенавчена, і це може призвести до неякісних результатів при застосуванні до нових даних. Надмірне припасування можна виявити та уникнути за допомогою методу утримання, який використовується для оцінки того, наскільки добре модель працює з додатковою інформацією.
• Оцінка ефективності моделіВиміряйте ефективність моделі машинного навчання на раніше невідомих даних за допомогою методу утримання. Це важливо для того, щоб переконатися, що модель може адаптуватися до нової інформації, а не є просто прославленою "губкою" даних.
• Порівняння моделейЕфективність декількох моделей машинного навчання на одному і тому ж наборі даних можна порівняти за допомогою методу утримань. Це може бути корисно для пошуку найефективнішої моделі для певної проблеми.
• Налаштування параметрів моделіДля точного налаштування параметрів моделі машинного навчання, таких як її швидкість навчання або сила регуляризації, може бути використаний метод утримання. В результаті можна підвищити ефективність і точність моделі на свіжих даних.

Загалом, дані затримки мають вирішальне значення для тестування надійності та точності моделей машинного навчання у виробничих умовах. Фахівці з машинного навчання можуть переконатися, що їхні моделі можуть узагальнювати нові дані, використовуючи підхід з утриманням для тестування та покращення продуктивності своїх моделей.