ROC (Receiver Operating Characteristic) Curve

Крива операторної характеристики приймача (ROC) - це графічне представлення діагностичної здатності бінарного класифікатора. Вона походить з теорії виявлення сигналів, але в даний час використовується в різних галузях, включаючи медицину, радіографію, стихійні лиха і машинне навчання.

• Широке використання у цих галузях говорить про важливість roc.

Формула кривої ROC

Для створення ROC-кривої в машинному навчанні частота істинних спрацьовувань (TPR) порівнюється з частотою хибних спрацьовувань (FPR). Коефіцієнт істинних спрацьовувань (TP/(TP + FN)) - це відсоток усіх позитивних спостережень, які, як очікувалося, будуть позитивними.

Аналогічно, частота хибнопозитивних результатів (ЧП/(ВН + ЧП)) - це частка негативних спостережень, які помилково прогнозуються як позитивні. Наприклад, у медичному тестуванні частота істинно-позитивних результатів - це відсоток пацієнтів, які точно визнані позитивними на відповідну хворобу.

• ROC-крива використовує як TPR, так і FPR при різних критеріях категоризації. Зі зниженням порогу класифікації більше елементів класифікуються як позитивні, що призводить до збільшення як хибнопозитивних, так і істинно-позитивних результатів

Простір ROC, дискретний класифікатор, який дає лише передбачуваний клас, повертає один бал. Однак ми можемо згенерувати криву за допомогою імовірнісних класифікаторів, які дають ймовірність або оцінку, що вказує на ступінь приналежності екземпляра до одного класу, а не до іншого, регулюючи поріг оцінки.

Багато дискретних класифікаторів можна перетворити на класифікатори з оцінкою, вивчивши статистику їхніх екземплярів. Дерево рішень, наприклад, використовує пропорцію екземплярів у вузлі листя для визначення класу вузла.

Крива аналізу ROC

Баланс між TPR (чутливістю) і 1 - FPR (специфічністю) відображається кривою ROC. Класифікатори з кривими, які знаходяться ближче до лівого верхнього кута, працюють краще. Очікується, що випадковий класифікатор дасть точки, які є діагональними (FPR = TPR) в якості базової лінії. Тест стає менш точним, коли крива наближається до 45-градусної діагоналі ROC-простору.

Варто зазначити, що ROC не залежить від розподілу класів. Це робить його ідеальним для тестування класифікаторів, які передбачають нечасті події, такі як хвороби або стихійні лиха. З іншого боку, використання точності (TP + TN) / (FN + FP + TP + TN) для оцінки ефективності завжди надаватиме перевагу класифікаторам, які передбачають негативний результат для рідкісних подій.

Площа під кривою (AUC)

При порівнянні різних класифікаторів може бути корисним підсумувати ефективність кожного класифікатора в єдиний показник. Розрахунок площі під ROC-кривою, скорочено AUC, є типовим методом.

• Видатна модель має AUC близьку до 1, що свідчить про високий рівень відокремлюваності.

AUC, що наближається до 0, вказує на погану модель, що означає, що вона має найнижчу міру відокремлюваності. Вона передбачає, що 1s є 0s, а 0s є 1s. Коли площа під кривою дорівнює 0,5, це означає, що модель не здатна розрізняти класи.

Це ймовірність того, що випадково вибраний негативний екземпляр буде оцінений нижче, ніж випадково вибраний позитивний екземпляр.

Класифікатор з високим AUC іноді може працювати гірше в певному місці, ніж класифікатор з нижчим AUC. Однак, як загальна міра точності прогнозування, AUC добре працює на практиці.

Нижче наведено дві причини, чому AUC є бажаним:

На AUC не впливає масштабування. Замість того, щоб вимірювати абсолютні значення, він оцінює, наскільки добре впорядковані прогнози.

AUC нечутливий до порогів категоризації. Він оцінює точність прогнозів моделі незалежно від використовуваного рівня категоризації.

Однак обидва ці аргументи мають обмеження, які можуть обмежити корисність АМУ в конкретних ситуаціях:

Масштабна інваріантність - це не завжди добре. Наприклад, бувають випадки, коли нам абсолютно необхідні точно відкалібровані ймовірнісні результати, а AUC нас про це не інформує.

Інваріантність порогу класифікації не завжди бажана. Мінімізація одного з типів помилок класифікації може мати вирішальне значення в умовах, коли ціна помилкових спрацьовувань порівняно з хибнопозитивними є великою. Наприклад, коли йдеться про виявлення спаму в електронній пошті, ви, ймовірно, захочете зменшити кількість хибних спрацьовувань, навіть якщо це призведе до значного збільшення кількості помилкових спрацьовувань. Для цієї форми оптимізації AUC - не найкращий статистичний показник для використання.