MLOps Monitoring

Багато з найважливіших бізнес-дій відбуваються завдяки моделям машинного навчання. Як наслідок, після розгортання у виробництві дуже важливо, щоб ці моделі залишалися актуальними в контексті найновіших даних.

Якщо дані викривлені, модель може бути вирвана з контексту, оскільки розподіл даних у виробництві відрізняється від того, що використовувався під час навчання. Також можливо, що певна функція більше не доступна у виробничих даних, або що модель більше не може бути застосована, оскільки змінилося реальне середовище, або, інакше кажучи, змінилася поведінка користувачів.

Фідбек

Механізми зворотного зв'язку мають вирішальне значення в багатьох сферах життя, в тому числі й у бізнесі. Концепція циклу зворотного зв'язку проста: ви щось робите, вимірюєте інформацію про це і використовуєте ці знання для покращення результату. Це нескінченний цикл спостереження і прогресу. Петля зворотного зв'язку може бути включена в будь-що, що має спостережувані дані і потенціал для розвитку, і моделі ML, безсумнівно, можуть отримати від них користь.

Збір даних, попередня обробка, побудова та оцінка моделей і, зрештою, розгортання - все це процеси типового робочого процесу ML. Однак відсутня одна важлива особливість: зворотний зв'язок.

Основна мета будь-якого підходу до моніторингу моделі полягає у створенні критично важливого зворотного зв'язку від етапу розгортання до етапу розробки моделі. Це дозволяє моделі ML вдосконалюватися з часом, визначаючи, чи варто оновлювати модель, чи залишатися на поточному рівні. Щоб допомогти з цим вибором, система моніторингу моделі повинна відстежувати та звітувати за кількома метриками моделі у двох ситуаціях, описаних нижче.

• Надаються навчальні дані, і фреймворк обчислює метрики моделі як на навчальних, так і на виробничих даних після розгортання, порівнюючи результати, щоб зробити висновок.

Оскільки навчальні дані відсутні, фреймворк обчислює метрики моделі, використовуючи лише дані, доступні після розгортання.

Метрики, зазначені в наступному розділі, генеруються на основі того, яка з двох ситуацій застосовується для визначення того, чи потребує модель у виробництві оновлення або інших втручань.

Заміри

Найкращі метрики моніторингу моделей штучного інтелекту поділяють метрики на три категорії на основі їхньої залежності від даних та/або моделей машинного навчання.

Система моніторингу продуктивності моделі машинного навчання повинна переважно включати одну або дві метрики з кожної з трьох категорій, але якщо є компроміси, можна почати з операційних метрик і просуватися вгору з точки зору зрілості моделі. Крім того, операційні показники слід перевіряти в режимі реального часу або принаймні щодня, а стабільність і продуктивність моделі - щотижня або навіть частіше, залежно від предметної області та бізнес-середовища.

• Метрики стабільності - Ми можемо використовувати ці показники для виявлення двох типів зсувів розподілу даних:

• Метрики стабільності - Ми можемо використовувати ці показники для виявлення двох типів зсувів розподілу даних

1. Зсув ранньої ймовірності - фіксує зсув у розподілі очікуваних результатів та/або залежної змінної між навчальними та виробничими даними, а також між різними часовими інтервалами виробничих даних.
2. Зсув коваріації - фіксує зсув у розподілі кожної незалежної змінної між навчальними та виробничими даними або між різними часовими інтервалами виробничих даних, залежно від обставин.

• Показники оцінки - Ці показники допомагають виявити концептуальні зміни в даних, тобто визначити, чи змінився зв'язок між незалежними і залежними змінними. Вони роблять це, порівнюючи якість поточної розгорнутої моделі з тим, коли вона була навчена або в попередній період часу після розгортання. В результаті можна зробити вибір, чи варто переробляти розгорнуту модель.
• Показники для операцій - Ці показники допомагають нам визначити, наскільки добре функціонує розгорнута модель з точки зору її використання. Як наслідок, вони не залежать від типу моделі, даних і не потребують жодних вхідних даних, на відміну від попередніх двох показників.

Висновок

Для зрілих систем ВК моніторинг життєвого циклу MLOps, конвеєрів MLOps і платформи MLOps став необхідністю. Розробка такої системи має вирішальне значення для забезпечення узгодженості та надійності системи ML, оскільки в іншому випадку існує ризик втрати кінцевої "довіри" користувачів, що може бути смертельно небезпечним. Як наслідок, дуже важливо включити таку систему в загальну архітектуру рішення для реалізації будь-якого сценарію використання системи протидії відмиванню грошей і підготуватися до її впровадження.