AI Model Validation

Ця нова революція, яку ми називаємо машинним навчанням і штучним інтелектом (ML/AI), вже не є лише справою ентузіастів та науковців, які прагнуть вирішити складну проблему; вона увійшла в мейнстрім. І це не випадково. Підходи до ML/AI постійно вдосконалювалися і ставали дедалі складнішими з моменту їх появи.

З ростом технологій, обчислювальних потужностей та обсягів пам'яті зросла і здатність компаній вирішувати складні реальні бізнес-завдання, використовуючи підходи та алгоритми машинного навчання та штучного інтелекту.

Фреймворк

Для класифікації системи валідації моделей ШІ/МЛ можуть бути використані наступні виміри:

1. Релевантність даних - навчання моделей ШІ зазвичай потребує великої кількості даних, значна частина яких є неструктурованою. Для цього потрібно забезпечити наступне:

• Захист PII або будь-яких інших персональних даних. Крім того, слід враховувати процедуру збору та обробки даних.
• Підтвердження цілісності та придатності даних, щоб їх можна було використовувати за призначенням і належним чином.
• Будь-яка попередня обробка (наприклад, перетворення, нормалізація, обчислення відсутніх значень тощо) виконується як для тренувальних, так і для тестових даних.
• Вивчіть повноту даних, проаналізувавши часові періоди, джерела та розподіл, і, якщо необхідно, перегляньте визначення маркування.

2. Тестування моделі та процедури - АІ/МЛ моделі, на відміну від традиційних моделей, зазвичай є чорними скриньками. Як наслідок, перевірка параметрів моделі, вихідних даних та чутливості до вхідних даних стає складною.

• Зрозумійте цілі методології, а також бізнес-вимоги, щоб гарантувати, що модель забезпечує очікувані результати і є стабільною в часі.
• Налаштуйте модель, переглянувши гіперпараметри: функції оптимізації, функції активації та функції втрат.
• Впевніться, що гіперпараметри відповідають меті моделі та її застосуванню.
• Визначити, чи метрики валідації моделі, такі як помилкові спрацьовування, точність і відгук, адекватно встановлені відповідно до бізнес-вимог.
• Використовувати більш обчислювально затратні підходи для оцінки коректності та стабільності моделі.
• Підтвердити, що повний аналіз чутливості був завершений, що дозволяє оцінити вплив кожної функції. Існують більш складні підходи для глобальної інтерпретації, такі як графіки часткової залежності (PDP), які візуалізують середній частковий зв'язок між прогнозованою реакцією і однією або декількома характеристиками для виявлення закономірностей.
• Після збору даних про чутливість оцініть правдоподібність ситуації та її вплив. Аналіз сценаріїв необхідний для того, щоб гарантувати, що модель є стійкою до будь-яких серйозних подій або звуків.
• Порівняйте і зіставте бенчмаркінгові моделі або моделі-конкуренти з остаточною моделлю.

3. Тлумачуваність та концептуальна узгодженість

Підходи ШІ/МЛ все ще не є широко прийнятими регуляторними органами або практиками, якщо порівнювати їх з класичними методами валідації моделей. Це пов'язано з їхнім характером "чорної скриньки", що унеможливлює визначення пояснюваності та придатності до конкретного модельного чи комерційного середовища.

SHAP, LIME або Explainable Boost Machines (EBM), які є діагностичними моделями, а також пропонують термін взаємодії для моделей, зазвичай використовуються для кількісної оцінки прозорості, пояснюваності та значущості ознак моделі "чорної скриньки".

Валідатори повинні підтвердити, що таке дослідження було завершено і що результати аналізу відповідають бізнес-задачі.

4. Безпека моделі та реалізація моделі

Після того, як модель побудована, наступним кроком є запуск її у виробництво, або на сервері, або в хмарі, наприклад, Azure або GCP. На цьому етапі валідатори повинні ретельно проаналізувати готовність і дизайн плану впровадження моделі. Валідатори також повинні оцінити, чи придатні додатки, включаючи бібліотеки, модулі та налаштування, для розгортання, беручи до уваги потенційні наслідки майбутніх випусків.

Крім реалізації, ця перевірка фреймворку ai-моделей, ймовірно, включатиме точку зору на безпеку моделі, таку як ворожа атака, крадіжка моделі тощо. З цією метою, при визначенні прозорості рішення слід враховувати рівні ризиків.

5. Керування версіями та документація моделі - документація має бути зрозумілою та достатньо повною, щоб валідатори могли відтворити модель.

При дотриманні відповідних правил документування моделі, документація повинна детально описувати вилучення та попередню обробку даних розробки, теорію та дизайн моделі, стратегію розробки та продуктивність моделі, включаючи моделі-конкуренти.

6. Аудит та управління - Виконавці повинні вивчити стратегію моніторингу, щоб переконатися, що в ній враховано обсяг, цілі, зацікавлені сторони, а також ролі та обов'язки. Крім того, слід оцінити частоту і тривалість запланованих перевірок або повторних калібрувань. Органи управління з ефективним наглядом гарантують, що керівництво буде обізнане про всі небезпеки моделі.

Оскільки компанії розширюють використання нового режиму AI/ML, система MRM повинна стати більш надійною і розгалуженою, ніж будь-коли раніше. Під час валідації ШІ-моделей валідатори повинні оцінювати моделі за всіма основними параметрами.