Failure Analysis Machine Learning

Сьогодні інженери з машинного навчання та дослідники даних зазвичай створюють прототип ML-моделі, навчають її на конкретному навчальному наборі даних, а потім оцінюють модель на тестовому наборі, використовуючи середні показники точності. Однак застосування такої моделі у виробничих умовах автоматично підвищує очікування щодо її довговічності та надійності. Моделі, які, здається, добре працюють на етапі прототипу, можуть зіткнутися з різними механізмами збоїв у сценарії.

Три основні причини невдач моделей машинного навчання, які вчені часто не помічають під час створення прототипів моделей - ці невдачі можуть переслідувати вас під час виробництва. Помилки зсуву продуктивності, помилки моделі та помилки надійності - ось три типи помилок.

Збої в роботі

Перша помилка - це помилки, пов'язані з упередженням продуктивності, які науковці рідко оцінюють під час робочого процесу рецензування.

Упередженість моделі на користь певних угруповань можна приховати за допомогою цих базових методів. Існує значна кількість літератури, яка розглядає багато причин упередженості, починаючи від аналізу даних про збої і закінчуючи архітектурою моделі. Ми коротко розглянемо деякі з наслідків упередженості:

• Певні підгрупи мають приховані довгострокові наслідки. Якщо системна модель погано працює для частини нових користувачів, недостатня ефективність буде накопичуватися з часом, що потенційно може призвести до зниження довгострокового залучення та утримання користувачів.
• Неочікувані розбіжності між підгрупами даних. Цілком можливо, що низькі показники за певним аспектом здаються незрозумілими і неочікуваними. Дуже важливо звернути на це увагу розробника, щоб він міг дослідити причину невідповідності.

Недоліки моделі

Будь-яка організація, яка хоче використовувати алгоритми машинного навчання в комерційних цілях, повинна спочатку створити робочий конвеєр даних. Унікальність конвеєра машинного навчання полягає в тому, що коригування обробки даних на попередньому етапі може мати приховані, шкідливі наслідки для продуктивності моделі та збору даних у майбутньому.

Це може статися кількома способами. Інженер даних може помилково змінити розподіл ознаки, змінивши спосіб її обчислення, або внести помилку, яка призводить до того, що ознаки відображаються як нанорозмірні. В результаті налаштування конвеєра даних ваші значення параметрів можуть оброблятися як рядки, а не як числа з плаваючою точкою.

Кінцеві користувачі можуть надавати безглузді або помилкові значення, які потім можуть бути використані як функції.

Ми помітили, що звичайні інструменти машинного навчання не можуть перевірити, чи є дані "валідними", перш ніж видавати результат "з коробки". Достовірність може мати різні форми та розміри:

• Числові значення, які знаходяться в розумному діапазоні.
• Переконатися, що на модель не впливають перетворення типів.
• З'ясувати, чи не бракує моделі якихось особливостей.

Коли вхідний елемент порушує обмеження валідності, інструменти машинного навчання демонструють непослідовну поведінку і не попереджають про це користувача.

Провали стійкості

І, нарешті, остання помилка - це помилка, пов'язана з надійністю. Такі помилки є проблемою не лише в конкурентному середовищі; той факт, що недобросовісні гравці можуть ними скористатися, є лише одним із аспектів проблеми. Загалом, вони стосуються відсутності міцності в моделі.

Існує кілька причин, чому вас повинні турбувати такі збої. По-перше, збурення призводять до того, що ваша модель робить помилки. У вхідному просторі є області, де ваша модель не видає очікуваного результату; якщо вам пощастить, це може призвести до розчарування і втрати віри в систему; в гіршому випадку, цим може скористатися зовнішній зловмисник. Крім того, збої в робастності часто пов'язані з різкими змінами у вашому просторі виводу.

Якщо коротко, то збої в роботі, збої в роботі моделі та збої у відмовостійкості - це три основні фактори, на які слід звертати увагу при визначенні того, чи готова модель машинного навчання до запуску у виробництво. Загалом, інструменти та практики data scientist не враховують ці недоліки.