Average Precision

Щоб зрозуміти точність виявлення об'єктів, ми повинні спочатку зрозуміти результати роботи моделі виявлення. Модель використовується для прогнозування позитивного або негативного класу розпізнавання об'єкта, а припущення можуть бути правильними або помилковими. Наприклад, при визначенні наявності котів на зображенні, позитивним класом може бути "Кіт", а негативною категорією - "Без кота". Коли прогноз правильний, він називається істинним прогнозом; коли він помилковий, він називається хибним прогнозом.

• Істинно позитивний - модель правильно передбачила наявність дерева.
• Хибнопозитивний - модель неправильно передбачила наявність дерева.
• Хибнонегативний - модель неправильно передбачила, що дерева немає.
• Істинно негативний - модель точно вгадала, що дерева немає.

Якість і кількість навчальних наборів, вхідне зображення, гіперпараметри та поріг точності впливають на ефективність моделі ідентифікації об'єктів. Коефіцієнт IoU (Intersection over Union) використовується для визначення правильності чи неправильності прогнозованого результату. Ступінь перекриття між обмежувальною рамкою навколо прогнозованого об'єкта і обмежувальною рамкою навколо наземних опорних даних вимірюється за допомогою коефіцієнта IoU.

Метрики

• Точність - це частка правильних позитивних результатів, поділена на кількість зроблених прогнозів. Якщо модель розпізнала 100 котів і 90 з них були правильними, точність становить 90%.

Точність = (True Positive)/(True Positive + False Positive)

• Відношення кількості позитивних результатів до загальної кількості справжніх (релевантних) об'єктів називається впізнаваністю. Відтворення дорівнює 80%, якщо модель точно розпізнає 80 котів на зображенні, коли насправді на зображенні 100 дерев.

Recall = (True Positive)/(True Positive + False Negative)

• Оцінка F1 - середньозважене значення точності та відкликання дає оцінку F1. Діапазон від 0 до 1, де 1 означає найвищий рівень точності.

Оцінка F1 = (Точність × Пригадування)/[(Точність + Пригадування)/2]

• Крива "точність-відтворення" - зображення точності (вісь у) та відтворення (вісь х), що слугує мірою ефективності моделі розпізнавання об'єктів. Якщо точність моделі залишається високою зі збільшенням кількості згадувань, вона називається хорошою прогностичною моделлю.
• Середня точність - точність усереднюється за всіма згадуваннями в діапазоні від 0 до 1 при різних порогових значеннях IoU, щоб забезпечити середню точність (AP). AP можна розрахувати як площу під кривою точності-відповіді шляхом інтерполяції за всіма точками.

Середня точність вашої моделі показує, чи може вона точно ідентифікувати всі позитивні випадки, не помилково позначаючи занадто багато негативних випадків як позитивні. Отже, якщо ваша модель може обробляти позитивні результати належним чином, середня точність є високою. Область під кривою, яка показує компроміс між точністю і пригадуванням при різних порогах прийняття рішень, використовується для обчислення середньої точності.

• Середнє значення AP для різних порогових значень IoU відоме як середня точність (mAP).

Висновок

Точність - це точність вибору при певному пороговому значенні рішення. Наприклад, вважайте будь-які результати моделювання менше 0,5 негативними, а будь-які результати моделі більше 0,5 - позитивними. Однак ви можете час від часу змінювати цей поріг (особливо якщо ваші класи незбалансовані або якщо ви хочете надати перевагу точності над запам'ятовуванням чи навпаки). Середню точність можна порівняти з областю під кривою "точність-пригадування", оскільки вона пропонує вам середню точність при будь-яких потенційних порогах. Це хороший показник для порівняння того, наскільки ефективно моделі організовують прогнози, не беручи до уваги конкретний поріг прийняття рішень. Ми маємо модель із середньою точністю 0,5, якщо вона дає "збалансовані" прогнози, які не мають тенденції бути помилковими або правильними. Коли модель є "експертно-жахливою", це означає, що вона часто обирає неправильне рішення. Ці моделі настільки вправні у виборі неправильної відповіді, що інвертування їхніх суджень може перетворити їх на корисні моделі.