ML Interpretability

Хоча моделі ML неймовірно ефективні у створенні прогнозів, вони часто не можуть дати чітких пояснень своїм прогнозам. Дослідникам може бути складно визначити точні причини результатів роботи алгоритму, оскільки змінних, на основі яких вони роблять висновки, може бути дуже багато, а їхні обчислення дуже складні.

Однак можна з'ясувати, як алгоритм ML прийшов до своїх висновків.

Дослідники, які вивчають ШІ в науці та бізнесі, дуже зацікавлені в цій здатності, яку часто називають "інтерпретованістю". Вона суттєво відрізняється від "пояснюваності", яка ставить запитання "чому", оскільки може визначити фактори, які сприяють змінам у поведінці моделі, навіть якщо внутрішня робота моделі все ще невідома.

ШІ

• З'ясовність- Якщо алгоритмічний вибір можна чітко пояснити у світлі наявної інформації та обставин, то вважається, що він є зрозумілим. Інакше кажучи, можливо пов'язати значення, яких набувають певні змінні, і вплив цих значень на прогноз, наприклад, на результат, а згодом і на вибір.
• Інтерпретованість- Якщо можливо визначити риси або змінні, які найбільше впливають на вибір, або навіть кількісно оцінити їхню значущість, алгоритмічний вибір вважається таким, що піддається інтерпретації.

Тлумачуваність та пояснюваність АІ

• Інтерпретованість - ступінь, до якого можна побачити причину і наслідок всередині системи - це те, що мається на увазі під інтерпретованістю. Це означає, наскільки добре ви можете передбачити, що станеться при зміні вхідних або обчислювальних параметрів. Це здатність вивчити алгоритм і зробити висновок: "Так, я розумію, що тут відбувається".
• Пояснюваність - ступінь, до якого внутрішню роботу машини або системи глибокого навчання можна сформулювати в людських термінах. Інтерпретованість - це здатність розуміти механізми, не обов'язково розуміючи чому.Здатність описати те, що відбувається - це пояснюваність.

Важливість інтерпретованості

Важливість інтерпретованості машинного навчання неможливо переоцінити. Наприклад, дослідникам може бути складно інтегрувати нові знання в більший масив знань, якщо вони не до кінця розуміють, як працює та чи інша модель.

• Інтерпретоване машинне навчання також має вирішальне значення для запобігання прихованим упередженням або налагодження алгоритмів.
• Допомагає вимірювати наслідки компромісів всередині моделі. Загалом, оскільки алгоритми стають все більш значущими в суспільстві, розуміння того, як вони генерують свої рішення, стає все більш життєво важливим.
• Вигідно, оскільки це може підвищити довіру. Без розуміння того, як функціонують моделі машинного навчання, люди можуть вагатися, чи варто покладатися на них у деяких важливих видах діяльності. Впровадження нових технологій може бути сповільнене або відкладене через схильність людей боятися невідомого і довіряти будь-чому, що є непрозорим. Прозорі підходи до інтерпретованого ML можуть допомогти розвіяти деякі з цих побоювань.
• Безпека- Під час навчання моделі та розгортання моделі розподіли майже завжди певним чином змінюються. Нездатність до узагальнення - це видатна тема, яка може спричинити проблеми в майбутньому. Стратегії інтерпретованості ШІ, які уточнюють форми моделі або визначають найважливіші аспекти, можуть допомогти діагностувати ці проблеми на ранніх стадіях і запропонувати більше шансів на вирішення.

Недоліки

Однак інтерпретованість глибокого навчання має свої недоліки, і бувають випадки, коли ми хотіли б мати модель, яку можна пояснити.

• Легко піддаються маніпуляціям - Системи ВК є вразливими до шахрайства та маніпуляцій. Для ілюстрації розглянемо систему автоматичного схвалення кредитів на транспортні засоби. Кількість кредитних карток може бути вирішальним компонентом. Чим більше карток має споживач, тим більше він ризикує. Якби споживач знав про це, він міг би тимчасово анулювати всі свої картки, позичити гроші на автомобіль, а потім знову активувати всі свої кредитні картки. Коли споживач скасовує свої кредитні картки, ймовірність того, що він поверне суму, залишається такою ж. Клієнт змінив модель, щоб отримати неточний прогноз. Чим прозоріша модель, тим легше нею маніпулювати і тим більше вона піддається інтерпретації. Це справедливо, навіть якщо внутрішня робота моделі тримається в таємниці. Зазвичай, зв'язки між атрибутами і цільовою змінною є більш простими, що полегшує отримання висновків.
• Потреба в знаннях - Без глибоких знань предметної області може бути складно будувати інтерпретовані моделі. Регресія є прикладом інтерпретованої моделі, яка часто може представляти лише структуру кореляції у ваших даних. Для представлення нелінійних зв'язків ми повинні використовувати функціональну інженерію. Наприклад, для моделі клінічного діагнозу ми можемо захотіти обчислити ІМТ, використовуючи зріст і вагу. Щоб визначити, які характеристики будуть прогностичними і, відповідно, які функції генерувати, потрібна експертиза в даному секторі.

Ця інформація може бути невідома вашій команді. З іншого боку, зрозуміла модель автоматично імітує нелінійні кореляції у ваших даних. Як наслідок, більше немає необхідності розробляти нові функції, тим самим передаючи прийняття рішень комп'ютеру. Недоліком є недостатнє розуміння того, як характеристики застосовуються до процесу прогнозування.

• Проблема навчання - Моделі, що піддаються інтерпретації, мають меншу ймовірність навчити людину. Взаємодія даних і нелінійні кореляції можуть бути автоматично змодельовані за допомогою пояснювальної моделі, наприклад, нейронної мережі. Ми можемо виявити ці зв'язки, про які ми не знали, інтерпретуючи ці моделі.

На відміну від них, алгоритми лінійної регресії можуть відображати лише лінійні зв'язки. Для моделювання нелінійних зв'язків нам потрібно було б застосувати функціональну інженерію, щоб включити кожну відповідну змінну в наш набір даних. Мета розуміння моделі була б досягнута, оскільки це вимагало б попередніх знань про взаємозв'язки.