Model Calibration

Що таке калібрування моделі?

Калібрування моделі машинного навчання передбачає внесення невеликих, але значущих змін до прогнозів моделі з метою підвищення точності та довіри до цих прогнозів. Зокрема, мета калібрування моделі полягає в тому, щоб передбачувані ймовірності моделі відповідали реальності.

Деякі популярні моделі машинного навчання, такі як логістична регресія та машини опорних векторів, побудовані для надання оцінок ймовірностей, що зумовлює необхідність калібрування моделі ML. Однак, можливо, що ці оцінки ймовірності відкалібровані не дуже добре, і в цьому випадку вони не відображають реальність.

Коли калібрувати моделі?

При прийнятті рішень на основі ймовірнісних оцінок або оцінці ефективності моделі калібрування має важливе значення. Логістична регресія, машини опорних векторів і нейронні мережі - це приклади моделей машинного навчання, які надають оцінки ймовірностей і, таким чином, отримують вигоду від калібрування.

• Прийняття рішень на основі ймовірності класу в задачах класифікації У контексті медичної діагностики, наприклад, очікувана ймовірність стану використовується для визначення того, чи потрібно додаткове обстеження або лікування.
• Задачі оцінки ризику У сфері фінансів, наприклад, оцінена ймовірність збільшення або зменшення ціни акцій може бути використана для прийняття рішень щодо інвестицій.
• Аналіз ефективності різних моделей Для надійного порівняння ефективності різних моделей дуже важливо спочатку гарантувати, що прогнозовані ймовірності належним чином відкалібровані.
• При навчанні моделі на незбалансованому наборі даних Проблеми з калібруванням є поширеною проблемою для моделей, які навчаються на незбалансованих наборах даних, особливо якщо модель зміщена в бік класу більшості.

Калібрування моделі слід розглядати як рутинний крок у створенні та розгортанні моделей машинного навчання щоразу, коли для прийняття рішень або оцінки продуктивності потрібні оцінки ймовірності.

Методи калібрування моделей

Моделі машинного навчання можуть бути відкалібровані кількома способами. Зазвичай існує три підходи:

• Гістограма розбиття- Розбиття прогнозованих ймовірностей на розбиття і обчислення середньої ймовірності для кожного розбиття - це гістограма розбиття, простий підхід до калібрування моделей. У цьому випадку каліброваною оцінкою ймовірності є середня ймовірність.
• Шкала Платта- При калібруванні моделей для бінарної класифікації часто використовується шкала Платта. Воно передбачає використання іншого набору даних для калібрування, щоб підігнати логістичну регресію модель до вихідних даних вихідної моделі.
• Ізотонічна регресія- На відміну від параметричних методів калібрування моделей, ізотонічна регресія не передбачає жодних припущень про розподіл прогнозованих ймовірностей. Прогнозовані ймовірності використовуються для підбору монотонної функції на основі іншого набору калібрувальних даних. Ця функція перетворює оцінки ймовірності в оцінки, які більше відповідають реальності.

Зауважте, що калібрування моделі МНК можна також здійснити за допомогою перехресної валідації, коли дані розбиваються на певну кількість "згинів". При цьому функція калібрування підбирається до "навчальних" згинів, а "перевірочні" згини слугують для оцінювання. Цей метод має потенціал для покращення оцінки продуктивності моделі за рахунок зменшення ймовірності надмірного припасування.

Майте на увазі, що моделі, які надають ймовірність для декількох класів, потребують іншого методу калібрування, ніж моделі бінарної класифікації, для яких можна використовувати логістичну регресію або ізотонічну регресію для коригування прогнозованих ймовірностей. Калібрування кривої - це метод калібрування моделей машинного навчання, які виводять оцінки ймовірності для декількох класів.

Загалом, потреби моделі та контекст, в якому вона буде використовуватися, визначають, який метод калібрування буде використано. Щоб підтвердити, що калібрування покращило точність і надійність моделі, її необхідно протестувати на окремому наборі даних.

Підсумок

Неточні висновки та прогнози можуть бути результатом використання моделі машинного навчання, яка не була належним чином відкалібрована. Надмірна самовпевненість і недооцінка небезпеки можуть виникнути, наприклад, якщо модель постійно видає надмірно високі ймовірності. Ризик втратити можливості та недооцінити можливу винагороду зростає, якщо модель регулярно видає занадто низькі ймовірності.

Калібрування моделі є важливою процедурою при створенні та випуску моделей машинного навчання, оскільки вона підвищує їхню точність, надійність і достовірність.