Top-1 error rate

Частота помилок Top-1 - це термін, який використовується для опису точності алгоритму в задачі класифікації.

Зазвичай класифікатор виводить оцінку або значення достовірності для кожного класу ("Я на 90% впевнений, що це зображення тварини", "Я на 0,1% впевнений, що це зображення людини" і т.д.).

Правильна відповідь вважається такою, що потрапила в Топ-1, якщо класифікатор правильно розпізнав її (наприклад, найвищий бал отримав клас "тварина", а на тестовому зображенні дійсно зображена тварина).

Правильна відповідь вважається такою, що потрапила до Топ-5, якщо вона є принаймні однією з п'яти найкращих здогадок класифікатора.

Помилка Top-1 - це відсоток випадків, коли класифікатор не дав найвищу оцінку правильному класу. Коефіцієнт помилок Top-5 - це відсоток випадків, коли класифікатор не включив правильний клас до п'ятірки найкращих вгадувань.

• Коефіцієнт помилок Top-1показує, скільки разів мережа передбачила правильну мітку з найбільшою ймовірністю

Простіше кажучи, коли ви використовуєте нейронну мережу для класифікації чого-небудь, ви отримуєте щось схоже на розподіл ймовірностей для всіх класів.

Наприклад, ви можете отримати щось на кшталт

80% - коти

55% - собаки

30% - птахи

10% - олені

Число top-1 показує, скільки разів мережа передбачила правильну мітку з найбільшою ймовірністю.

• Число топ-5 показує, скільки разів правильна мітка з'являється в першій п'ятірці передбачених мережею класів.

Розпізнавання об'єктів

Алгоритми машинного навчання широко використовуються в сучасних підходах до розпізнавання об'єктів. Ми можемо збирати більші набори даних, будувати потужніші моделі та використовувати кращі підходи до запобігання перенавчання, щоб покращити їхню продуктивність. Донедавна набори анотованих зображень були скромними - порядку десятків тисяч фотографій.

Прості задачі розпізнавання, особливо якщо їх доповнити перетвореннями зі збереженням міток, можна досить успішно розв'язувати з наборами даних такого розміру. Наприклад, у задачі розпізнавання цифр MNIST поточний найкращий рівень помилок (0,3 відсотка) наближається до людської продуктивності.

Хоча недоліки невеликих наборів зображень давно визнані, анотовані набори даних, що містять мільйони фотографій, стали практично доступними лише нещодавно. LabelMe, що містить сотні тисяч повністю сегментованих фотографій, та ImageNet, що містить понад 15 мільйонів маркованих фотографій високої роздільної здатності у більш ніж 22 000 категоріях, є двома новими великими наборами даних.

Класифікація ImageNet

ImageNet - це колекція з приблизно 15 мільйонів фотографій з високою роздільною здатністю, які були класифіковані у близько 22 000 категорій. За допомогою технології краудсорсингу Amazon Mechanical Turk фотографії були зібрані з інтернету і позначені етикетками, які наносили люди.

Щорічний конкурс під назвою ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) проводиться в рамках Pascal Visual Object Challenge з 2010 року. ILSVRC використовує підмножину ImageNet, що містить приблизно 1000 фотографій у кожній з 1000 категорій. Загалом доступно 1,2 мільйона навчальних фотографій, 50 000 перевірочних зображень і 150 000 тестових фотографій.

На ImageNet зазвичай звітують про дві частоти помилок: топ-1 і топ-5, де топ-5 - це відсоток тестових зображень, для яких правильна мітка не потрапила до п'ятірки найбільш ймовірних міток моделі.

• У великомасштабному конкурсі з візуального розпізнавання ImageNet термін top-1 rate відноситься до методу тестування моделей машинного навчання

Якщо цільова мітка є найкращим прогнозом моделі, вважається, що модель правильно класифікувала зображення.

• Рівень топ-5 вимагає, щоб модель визначила правильну етикетку лише серед 5 найкращих прогнозів

Для початку ви використовуєте CNN для генерації прогнозу і отримуєте мультиноміальний розподіл прогнозованого класу → ∑pclass = 1

Тепер ви перевіряєте, чи найкращий клас (той, що має найбільшу ймовірність) збігається з цільовою міткою у випадку з оцінкою топ-1.

Якщо ви шукаєте топ-5 результатів, вам потрібно перевірити, чи цільова мітка входить до п'ятірки ваших найкращих прогнозів (5 з найвищою ймовірністю).

Найкращий результат обчислюється шляхом ділення кількості збігів спроектованої мітки з цільовою міткою на кількість точок даних, проаналізованих в обох ситуаціях.

Нарешті, використовуючи 5 ШНМ, ви повинні спочатку усереднити їхні прогнози, а потім обчислити найкращі 1 і 5 результатів, використовуючи той самий підхід.