Human in the Loop Machine Learning

Що таке машинне навчання "Людина в циклі"?

Моделі ML часто бувають недосконалими. При використанні модельних прогнозів з причин, що впливають на життя людей, наприклад, для класифікації кредитів, рекомендується, щоб принаймні частина прогнозів була перевірена людиною.

Крім того, контрольоване навчання часто важко запустити через брак адекватних маркованих даних. Один з методів реалізації напівкерованого навчання на немаркованих даних полягає в тому, що фахівці позначають деякі дані для створення моделі, а потім використовують високодостовірні прогнози початкової моделі для позначення більшої кількості даних, а прогнози з низькою достовірністю надсилають для оцінки людиною. Цю процедуру можна повторювати, і в дійсності вона значно покращується від одного проходу до іншого.

Навчання з участю людини залежить від зворотного зв'язку з людиною, щоб підвищити якість даних, які використовуються для навчання моделей ML. Метод навчання з участю людини включає вибірку відмінних даних для маркування (анотації) людиною, навчання моделі, а потім вибірку нових даних для анотації.

• Машинне навчання з використанням людського інтелекту - це дисципліна, що поєднує людський та машинний інтелект. Вона поєднує людське та машинне навчання.

Корисність штучного інтелекту

Машинне навчання із залученням людини можна використовувати для будь-якого проекту глибокого навчання ШІ, включаючи транскрипцію, комп'ютерний зір і НЛП. Це особливо корисно в наступних випадках:

• Коли ціна алгоритмічних помилок висока, наприклад, в обчислювальних моделях для медичної діагностики, прогнозування та терапії.
• Коли існує дефіцит поточних фактів, люди приймають кращі рішення, ніж алгоритми. Комп'ютери можуть знову взяти на себе відповідальність і приймати кращі рішення після того, як буде доступна певна кількість навчальних і тестових даних.

Переваги HITL

Ключова перевага HITL полягає в тому, що вона дає чудові результати.

• Ефективність ШІ/ММ моделей тісно пов'язана з якістю даних. Таким чином, маркування даних допомагає моделям ML робити більш точні прогнози.

Незважаючи на процедуру маркування даних, конструктивний зворотний зв'язок щодо результатів HITL підвищує точність моделей ML і гарантує високу якість результатів HITL. На відміну від ШІ, людський розум досить добре справляється з неповними або упередженими даними.

Наприклад, ми можемо сказати, собака це чи ні, лише дивлячись на його хвіст. Однак машини повинні бути розроблені для таких ситуацій. Як наслідок, людський внесок стає вирішальним компонентом HITL, що підвищує точність.

Недоліки HITL

• Аналіз даних за участі людини та постійний зворотній зв'язок підвищують якість результатів HITL. Однак ці процеси також є дорогими, трудомісткими та тривалими.
• Щоб маркувати дані, потрібно спочатку позначити фотографії, тексти чи аудіозаписи певною класифікацією. Таке завдання можна виконати внутрішніми, зовнішніми силами або за допомогою краудсорсингу. Всі вони є дорогими, незважаючи на різний рівень витрат.
• Для маркування даних також потрібне програмне забезпечення. Платформи для маркування баз даних з відкритим вихідним кодом надають безкоштовне програмне забезпечення, але вони також потребують команди ІТ-фахівців для управління та модифікації коду. З іншого боку, альтернативи платформам з відкритим кодом, які є закритими і розробляються власними силами, вже мають свою ціну.
• Друге, надання людям зворотного зв'язку щодо HITL вимагає багато роботи. Як наслідок, це дорого коштує.