True Positive Rate

Вам просто потрібно розподілити бізнес-цінність комерційних застосувань на чотири типи результатів: істинно негативні, істинно позитивні, хибно негативні та хибно позитивні. Ви можете переконатися, що використовуєте найкращу модель, помноживши кількість результатів у кожному відрі на відповідну бізнес-цінність.

Значення достовірності, які пропонує модель, ще більше ускладнюють справу. Майже всі моделі машинного навчання можна запрограмувати так, щоб вони надавали певний рівень достовірності своїх результатів. Множення цього значення на отримані результати є високорівневою технікою для застосування його у вимірюванні точності, ефективно винагороджуючи модель за надання високого рівня впевненості для її правильних оцінок.

• Істинно-позитивний показник, також відомий як чутливість або "відгук" у машинному навчанні, - це метрика, яка вимірює відсоток фактичних позитивних результатів, які точно ідентифікуються

З іншого боку, більш досконалі методи є можливими. Якщо всі прогнози з низьким рівнем достовірності перевірятимуться вручну, розподіл витрат на ручну працю та виключення їх результатів з оцінки точності моделі є більш точним наближенням до вартості бізнесу, створеної моделлю.

Результати в моделі машинного навчання

Окремі прогнози в моделі можуть бути істинними або хибними, що вказує на те, чи є модель правильною або неправильною. Фактичне значення точки даних також має велике значення. Ви можете запитати, навіщо нам потрібна модель, яка прогнозує значення, якщо ми вже знаємо, якими вони є. Ми говоримо про ефективність моделі на навчальних даних, відповіді на які ми вже знаємо.

Фактичне значення точок даних може бути як значеннями, які ми шукаємо в наборі даних (позитивні), так і чимось зовсім іншим (негативні). Як результат, чотири можливі результати окремих прогнозів моделі є наступними:

• Дійсно позитивний: Прогноз правильний, і значення позитивне.
• Хибнопозитивний: Прогноз невірний, але значення додатне.
• Істинне від'ємне: Прогноз правильний, але значення від'ємне.
• Негативне хибне: Прогнозування невірне, а значення від'ємне.

Якщо ви дійсно хочете правильно прогнозувати випадки в істинному класі, вам потрібно знати про відсоток позитивних результатів. Наприклад, якщо у вас є тест на серйозну форму раку, ви хочете, щоб він міг виявити всі ситуації, коли у людини дійсно є рак. Тому вас дуже турбує відсоток позитивних результатів.

• НагадаємоякСправжня позитивна ставка= ТП / (ТП+ФН)

Найкращий можливий TPR дорівнює одиниці, тоді як найнижчий можливий рівень відкликання дорівнює нулю. За обставин, коли відкликання є критично важливим, є ще одна річ, яку ми можемо зробити, щоб точно передбачити більш правдиві випадки: скоригувати наш поріг прийняття рішення.

Поріг прийняття рішення класифікаційної моделі scikit-learn за замовчуванням встановлений на 0.5. Це означає, що якщо модель вважає, що спостереження має 50% або більше шансів належати до позитивного класу, воно буде віднесено до позитивного класу.

Якщо TPR важливий для нас, ми можемо зменшити поріг прийняття рішення, щоб зловити більше істинних ствердних випадків. Наприклад, припустимо, ви хочете, щоб модель передбачала істину з ймовірністю 20% або більше для кожного спостереження.

Зрештою, ви можете передбачити, що кожне спостереження буде сприятливим і матиме ідеальний 100-відсотковий TPR. Але це не завжди хороша ідея.

Коли ціна помилкових спрацьовувань велика, важливо знати про них. Вам знадобиться статистика, щоб відстежити, наскільки успішно ваша модель розрізняє справжні та хибні спрацьовування. Ви повинні звернути пильну увагу на точність.

Підсумки

Важливо пам'ятати, що позитивний показник також називають чутливістю або пригадуванням. Справжній негативний показник - це інша назва специфічності.

Ці два критерії зазвичай компромісують один з одним в рамках будь-якого інструменту статистичного оцінювання, хоча домінуючі підходи теоретично можливі в декількох процедурах статистичного висновку, де один спосіб забезпечує більший відсоток позитивних результатів, не обов'язково забезпечуючи більший відсоток хибнопозитивних результатів.

Частота хибнонегативних результатів дорівнює 1 мінус частота хибнопозитивних результатів, тоді як частота хибнонегативних результатів дорівнює 1 мінус частота позитивних результатів