Probabilistic classification

Що таке імовірнісна класифікація?

Класифікаційна мітка передбачається моделями класифікації в машинному навчанні на основі вхідної вибірки. Однак деякі методи класифікації надають ймовірність, а не передбачають клас для конкретної вибірки вхідних даних; така модель класифікації відома як імовірнісна класифікація в машинному навчанні.

Наприклад, він може передбачити, що існує 80% ймовірність того, що спостереження є позитивним. Оскільки очікувана ймовірність більша за 50%, логічно класифікувати спостереження як позитивне. Ми можемо змінити наш поріг і визначати дані як позитивні, лише якщо наші моделі вказують на ймовірність, більшу за 90%, тому ми не обмежуємося порогом у 50%. Підвищуючи бар'єр, наша модель буде генерувати позитивні прогнози лише тоді, коли вони є незвичайними і певними. Якщо ми зменшимо поріг, наша модель буде більш ліберально присуджувати позитивні ярлики. Налаштування порогу впливає на точність моделі та її запам'ятовуваність.

Добре відомо, що існує компроміс між запам'ятовуванням і точністю, і що цей компроміс підкреслюється імовірнісними моделями.

• Задача імовірнісної класифікації в машинному навчанні - це задача, яка може передбачити розподіл ймовірностей на множині класів на основі вхідного спостереження, замість того, щоб просто виводити найбільш ймовірний клас, до якого має належати спостереження. Імовірнісні класифікатори забезпечують категоризацію, яка може бути ефективною самостійно або в поєднанні з іншими класифікаторами для формування ансамблів.

AUC

Крива "точність-пригадування" відображає компроміс для певної моделі категоризації. Хоча між цими двома показниками завжди буде існувати компроміс, за ідеальних обставин він не повинен бути значним, оскільки модель не повинна жертвувати великою точністю заради невеликого покращення пригадування. Ми можемо побачити величину компромісу, побудувавши криву "точність-пригадування".

Загалом, ми прагнемо до моделі з меншим компромісом між пригадуванням і точністю, що призводить до кривої з меншим спадом зі збільшенням пригадування. Геометрично кращою є модель з більшим значенням AUC на графіку залежності точності від пригадування. AUC є мірою здатності класифікаційної моделі розрізняти класи.

• Що більший AUC, то краща здатність класифікаційної моделі розрізняти позитивні та негативні класифікації.

AUC можна визначити в sci-kit-learn за допомогою функції metrics. Статистика ROC-AUC, на додаток до AUC, базується на ROC - оцінці ефективності алгоритмів імовірнісної класифікації при різних порогових значеннях. На графіку ROC порівнюється частота істинно позитивних результатів і частота хибнонегативних результатів.

Логістична регресія та втрата логів

Варіантом класифікатора лінійної регресії є модель логістичної регресії. Використовуючи глибоке навчання імовірнісної класифікації, вона зможе прогнозувати значення ймовірностей, які можуть бути використані для визначення міток класів. Логістична регресійна модель функціонує, подаючи результат лінійної регресійної моделі в логістичну або сигмоїдну функцію.

Сигмоїдна функція використовується тут тому, що вона перетворює значення від додатної до від'ємної нескінченності у відліки лише від 0 до 1. В результаті, вихід сигмоїдної функції можна прочитати як ймовірність.

Функція логарифмічних втрат, часто відома як перехресна ентропія, є мірою, яка часто використовується для покращення імовірнісних класифікаторів ai зображень. Логарифмічна втрата враховує невизначеність прогнозів вашої моделі, в той час як точність не враховує.

Втрати логів складніше зрозуміти, ніж інші метрики, такі як точність, оскільки вони оцінюють, чи правильно модель класифікує подію, і нагороджують систему, якщо її впевненість у правильному прогнозі висока. І навпаки, вона суворо карає систему за надмірну впевненість у помилковому прогнозі.