Sensitivity and Specificity of Machine learning

Будь-яка програма машинного навчання покладається на точність. Щоб зробити її надійною для подальших операцій, обов'язково потрібно фільтрувати дані за допомогою процесу класифікації, відомого як Матриця плутанини. Матриця плутанини містить показники оцінки, що передаються машинному навчанню, такі як специфічність машинного навчання, точність машинного навчання та чутливість машинного навчання. Показники ефективності зазвичай відображаються 4 значеннями:

Істинно позитивний - ІП

Хибнопозитивне спрацьовування - FP

Істинно негативний - TN

Хибнонегативний - FN

Всі вони однаково важливі при обробці даних для оцінювання.

Але спочатку давайте визначимо ці терміни більш точно

Специфічність можна описати як здатність алгоритму/моделі передбачати істинно негативний результат у кожній з доступних категорій. У літературі вона також відома просто як істинно негативний показник. Формально його можна розрахувати за формулою нижче

Специфічність = TN / TN + FP (True Negative / True Negative + False Positive)

Чутливість у машинному навчанні можна описати як метрику, що використовується для оцінки здатності моделі передбачати істинно позитивні результати для кожної доступної категорії. У літературі цей термін також можна зустріти як показник істинно позитивних результатів, який можна обчислити за допомогою наступного рівняння:

Чутливість = TP / TP+FN (істинно позитивний / істинно позитивний + хибно негативний)

Специфічність і чутливість є важливими показниками, але не менш важливим терміном є точність машинного навчання - це фактично частка істинних результатів (істинно позитивних або істинно негативних), яка зазвичай використовується з термінами специфічності моделі та чутливості в галузі машинного навчання. Точність машинного навчання формально обчислюється за допомогою наступного рівняння:

Точність = TP + TN/TP+FP+TN+FN (істинно позитивний + істинно негативний/істинно позитивний + хибно позитивний + істинно негативний + хибно негативний)

Будь ласка, майте на увазі, що це рівняння дає цінну відповідь/результат лише в тому випадку, якщо кожен клас містить рівну кількість зразків.

Точність, чутливість і специфічність машинного навчання є складовими частинами навчання прогнозування. Прогностичне моделювання в машинному навчанні залежить від заданого розміру набору даних і характеристик моделі, включених у навчання. Потенційна проблема може виникнути, коли зв'язок невідомий або, можливо, навіть не існує для обраних наборів даних і характеристик моделі. Вирішити проблему можна за допомогою тестування чутливості моделі, яке часто дає приблизні межі наборів даних, необхідних для ефективної роботи на більших наборах даних. Спрощено кажучи, аналіз чутливості моделі - це процедура, яка може допомогти виявити, як змінюється ефективність ваших наборів даних залежно від кількості включених даних. Це корисно для оптимізації моделі, а також для економії часу та коштів.

На закінчення, всі перераховані вище показники (чутливість, точність і специфічність) дають нам однаково важливу інформацію про реальну цінність нашої класифікаційної моделі. Вони є важливими індикаторами, які слід розглядати з однаковою ретельністю і відданістю, оскільки, якщо ви, наприклад, опустите специфічність, але включите всі інші виміри, ви можете створити модель з високою точністю, але нагадаємо, що вона просто визнає все за істину, і не може бути прийнята як така, що заслуговує на довіру. Чутливість до метрик - один з основних стовпів обробки машинного навчання. Заощаджуйте свій час і ресурси, дотримуючись точних рівнянь для кожної оціночної метрики, щоб ваша робота була представлена і визнана у спільноті машинного навчання по всьому світу.