Degradation Model

Уявлення про те, що проект ML завершено, коли розгорнуто навчену модель, є хибним. Тим не менш, це припущення є однією з найпоширеніших помилок, яких припускаються фірми, що запускають технології ШІ. На практиці ми бачимо полярну протилежність цьому уявленню. Тримайте своїх найкращих інженерів і дослідників над проектом ШІ, особливо після того, як він буде запущений у виробництво!

Якщо ви коли-небудь випускали серійну модель і почали її використовувати, ви знаєте, що вона поступово погіршує свої характеристики.

• Щоб зберегти початкову точність і уникнути деградації моделі, необхідно регулярно контролювати і оновлювати її!

В ідеалі, алгоритми отримують інструкції з кожним новим надходженням даних. Це створює накладні витрати на обслуговування, які неможливо автоматизувати. Догляд за моделями машинного навчання вимагає ретельної перевірки, критичних міркувань і ручної праці, яку можуть виконати лише висококваліфіковані фахівці з аналізу даних.

Це свідчить про те, що експлуатація рішень для протидії відмиванню грошей має більшу маржинальну вартість, ніж звичайне програмне забезпечення. Тоді як основною метою встановлення цих елементів є зменшення витрат на людську працю!

Причина деградації

Коли ваші моделі вперше вилітають з полігону, їхня точність часто досягає піку.

Побудова моделі з використанням відповідних та доступних даних і отримання точних прогнозів - це гарний початок. Однак, як довго ви очікуєте, що ці дані, які з кожним днем стають все старішими, будуть продовжувати робити правильні прогнози?

Прихована продуктивність моделі, ймовірно, зменшуватиметься з кожним днем.

Цей процес відомий як дрейф концепції, і він добре досліджений в академічних колах, але менш вивчений у бізнесі. Він виникає, коли статистичні характеристики цільової ознаки, яку модель намагається спрогнозувати, змінюються з часом у неочікуваний спосіб.

Простіше кажучи, ваша модель більше не моделює належним чином висновки, які вона колись робила. Це створює проблеми і призводить до деградації моделі машинного навчання.

Цей недолік, здається, особливо поширений у моделях людської поведінки.

Фундаментальна відмінність вашої ML-моделі від звичайного калькулятора полягає в тому, що вона взаємодіє з реальним світом. І дані, які вона створює та отримує, будуть змінюватися з часом. Прогнозування того, як будуть розвиватися ваші дані, має бути важливим аспектом будь-якого дослідження ML.

Як вирішити проблему деградації

Коли ви бачите деградацію моделі, ви повинні реструктурувати конвеєр моделі.

• Ручне навчання - один з таких методів тестування на деградацію. Тут ми завантажуємо свіжозібрані дані в нашу систему і знову тренуємо і розгортаємо її так само, як ми це робили при першому створенні. Ви маєте рацію, якщо вважаєте, що це займе багато часу. Крім того, найскладнішим елементом є не оновлення та перенавчання системи, а придумування нових функцій для боротьби з дрейфом ідей.
• Другий варіант - це масштабування даних. Деякі алгоритми роблять це досить просто. Інші вимагають, щоб ви створили шкалу самостійно. Одна із запропонованих схем зважування полягає у використанні обернено пропорційного віку даних. Одна із запропонованих схем зважування полягає у використанні обернено пропорційного віку даних. Таким чином, більшу вагу матимуть найновіші поточні статистичні дані, а меншу вагу - найстаріші дані у вашому навчальному наборі даних. Таким чином, якщо ви дрейфували, ваша система виявить це і виправить.
• Третя і найкраща відповідь - спроектувати вашу виробничу систему таким чином, щоб ваші моделі постійно оцінювалися і перенавчалися. Така система безперервного навчання має перевагу в тому, що вона є високоавтоматизованою, що знижує витрати на людську працю.

Моделі машинного навчання у виробництві функціонують інакше, ніж під час навчання, через зміщення концепції. Це суттєва проблема, яка, якщо її не передбачити належним чином, може призвести до погіршення споживчого досвіду або навіть до відмови моделі.

Коли ваші дані змінюються з часом, це є найпоширенішою причиною відходу ідей у виробництві. Моніторинг даних і виявлення дрейфу якнайшвидше є критично важливим.

Щоб уникнути дрейфу, в першу чергу, використовуйте такі тактики, як часте перенавчання або об'єднання в ансамблі.

Перш ніж люди почнуть скаржитися на ваш продукт, ви повинні вирішити проблему дрейфу машинного навчання. Якщо це станеться, то незабаром це призведе до зниження довіри, а також до дуже великих витрат на подальший ремонт. Візьміть ініціативу в свої руки!