Drift monitoring

Використання штучного інтелекту прискорюється в різних сферах. Однак складність застосування машинного навчання стримує продуктивність систем штучного інтелекту. MLOps, і особливо створення моделей машинного навчання, стикаються з проблемами, які можна порівняти з тими, що переслідували програмне забезпечення до появи DevOps Monitoring.

• Виявлення дрейфу моделі - це лише один з аспектів моніторингу MLOps

Дрейф

Дрейф - це зміна положення об'єкта відносно точки відліку. Зсув у розподілі даних, який лежить в основі дрейфу моделі, називається дрейфом даних. Це різниця між виробничими даними в реальному часі та базовим набором даних, найімовірніше, навчальним набором, який відображає завдання, для виконання якого призначена модель у випадку виробничих моделей ML. Через зміни в реальному світі виробничі дані можуть з часом відхилятися або дрейфувати від базових даних. Частота перенавчання моделі може бути визначена на основі дрейфу прогнозованих значень, що є корисним індикатором дрейфу концепції або проблем цілісності даних.

Різні типи дрейфу МЛ

Залежно від того, який розподіл даних порівнюється, розрізняють чотири форми дрейфу:

• Дрейф прогнозу - зсув у прогнозах моделі. Наприклад, якщо ваш продукт був представлений у більш заможному регіоні, ви можете побачити більшу кількість кредитоспроможних заявників. Хоча валідація вашої моделі залишається дійсною, ваша компанія може виявитися неготовою до цієї обставини
• Дрейф мітки - Зміна вихідних даних моделі

• Функціональний дрейф - зсув у розподілі вхідних даних моделі. Наприклад, доходи всіх кандидатів зростають на 2%, але економічні показники залишаються незмінними.
• Дрейф концепції - зміна реального співвідношення між вхідними та вихідними даними моделі. Коли макроекономічні умови роблять кредитування більш ризикованим і встановлюється вища планка для отримання кредиту, це є прикладом дрейфу ідей. Рівень доходу, який раніше вважався кредитоспроможним, за таких обставин більше не є кредитоспроможним.

Різниця між справжньою та вивченою межею рішення - це і є дрейфом концепції. Він потребує повторного вивчення даних, щоб зберегти рівень помилок і точність попереднього режиму. Дрейф продуктивності є найсильнішою ознакою цього, якщо надаються мітки базової істини, причому в достатній мірі в режимі реального часу. За відсутності базової істини в реальному часі, дрейф у прогнозах і розподілах ознак часто свідчить про значні зміни у світі. Ці значення, на відміну від дрейфу продуктивності, можуть дрейфувати відносно належним чином змодельованої межі прийняття рішень. У цьому випадку продуктивність моделі залишатиметься постійною.

Причини виникнення дрейфу

Існують різні причини дрейфу ай-моделі у виробництві:

• Коли зовнішні фактори спричиняють справжній зсув у розподілі даних. Це може вимагати розробки нової моделі з оновленою репрезентативною навчальною вибіркою. Зрушення в розподілі базової інформації або вхідних даних, наприклад, зміна вподобань клієнтів через пандемію, запуск продукту на новому ринку тощо. Зміна концепції, наприклад, коли конкурент випускає нову послугу.
• Коли виникають проблеми з цілісністю даних. Це вимагає більшої людської експертизи. У джерелі вводяться правильні дані, але через неправильну інженерію даних вони помилково оновлюються. Наприклад, у вхідних даних моделі міняються місцями змінні "борг-дохід" та "вік". У джерелі вводяться неправильні дані. Наприклад, форма на веб-сайті підтримує залишення поля незаповненим через проблему з інтерфейсом.

Без правильних інструментів моніторинг прогнозування та дрейфу функцій може зайняти багато часу. Фахівець з даних або інженер з машинного навчання, відповідальний за підтримку виробничих моделей, повинен регулярно порівнювати певне вікно реального трафіку з базовою лінією, використовуючи один з перерахованих вище підходів.

Після фіксації відхилення вихідних даних моделі наступним кроком є визначення того, які саме характеристики спричинили це відхилення. У багатьох випадках значне відхилення вхідної характеристики може не призвести до значних змін у вихідних даних моделі через низьку релевантність цієї характеристики в моделі. Оцінка основного відхилення характеристик відносно їхньої вхідної релевантності необхідна для визначення причини відхилення.

Нижче наведено кілька практичних кроків, які слід здійснити, щоб виявити дрейф:

• Подивіться на продуктивність фрагмента трафіку, що зазнав впливу, для отримання додаткової інформації про зсув.
• Порівняйте розподіл даних, щоб побачити реальні зміни і зрозуміти, чи потрібне перенавчання моделі.
• Швидко виявляйте зсув прогнозу в результатах моделі в реальному часі в порівнянні з навчальним або базовим набором.
• Заглибтеся у вказаний часовий проміжок, щоб побачити зсув в основних характеристиках. Використовуйте пояснюваність, щоб оцінити релевантність зміщених характеристик і зосередьтеся лише на тих, які мають значний вплив, відсіваючи помилковий дрейф.