Machine Learning Model Evaluation

Що таке оцінка моделі машинного навчання?

Цей підхід до оцінювання допомагає нам визначити, який алгоритм найкраще відповідає наданому набору даних для вирішення певної проблеми. Аналогічно, в машинному навчанні він називається Best Fit (найкраща відповідність). Він порівнює продуктивність різних моделей машинного навчання, використовуючи один і той самий набір вхідних даних. Підхід до оцінки фокусується на точності прогнозування результатів моделлю.

З усіх численних алгоритмів, які ми використовуємо на цьому етапі, ми обираємо той, який забезпечує найбільшу достовірність вхідних даних і вважається найкращою моделлю, оскільки найкраще прогнозує результат. Коли ми працюємо над вирішенням різноманітних проблем за допомогою машинного навчання, точність є найважливішим компонентом. Коли точність висока, прогнози моделі, зроблені на основі наданих даних, також є максимально правильними.

Вирішення проблеми машинного навчання складається з кількох етапів, включаючи збір наборів даних, визначення проблеми, мозковий штурм наявних даних, обробку, перетворення, навчання моделі та оцінювання. Незважаючи на те, що існує кілька етапів, оцінка моделі машинного навчання є найбільш важливою, оскільки вона дає нам уявлення про точність моделей прогнозування. Насамкінець, вимірювання точності використовуються для визначення продуктивності та використання моделі машинного навчання.

Показники ефективності для оцінки моделі навчають нас:

• Наскільки ефективна наша модель?
• Чи достатньо точна наша модель для виробництва?
• Чи буде моя модель працювати краще з більшою навчальною вибіркою?
• Чи є моя модель надмірно або недостатньо придатною?

Коли ваша модель прогнозує категоризацію, можливі чотири можливі результати:

• Істинно позитивні трапляються, коли спостереження дійсно належить до класу, до якого ваш алгоритм передбачив його належність.
• Істинно негативні трапляються, коли ваша система передбачила, що спостереження не належить до класу, але це не так.
• Хибно позитивні трапляються, коли ви вважаєте, що спостереження належить до класу, коли це не так. Помилка типу 2 - інша назва.
• Хибнонегативні трапляються, коли ви стверджуєте, що спостереження не належить до класу, коли воно належить. Помилка 1-го типу - це інша назва.

Ми можемо оцінити модель за кількома показниками ефективності на основі результатів, описаних вище.

Метрики моделі класифікації

При аналізі моделей класифікації вибір правильної метрики для оцінки моделей машинного навчання має першорядне значення. Ось список метрик моделей:

• Точність визначається як відношення правильних результатів до загальної кількості випадків. Прагніть до високого рівня точності.
• Втрата логарифму - це клінічний результат, який показує перевагу класифікатора над випадковим вгадуванням. Втрата логарифму кількісно оцінює невизначеність вашої моделі, порівнюючи ймовірність її результатів з відомими значеннями. Ви хочете зменшити втрати для всієї моделі.
• Матриця плутанини - це взаємозв'язок між міткою і категоризацією моделі. Матриця плутанини має одну вісь для очікуваної мітки, а іншу для фактичної мітки.
• Площа під кривою (AUC) обчислюється шляхом відкладання хибних спрацьовувань на осі х і істинних спрацьовувань на осі у. Ця статистика є важливою, оскільки дає єдине значення, яке дозволяє порівнювати різні типи моделей.
• Точність визначається як відношення правильних результатів до всіх позитивних результатів.
• Відтвореннявідповіді - це відсоток правильних відповідей, наданих моделлю.
• Оцінка F1 - ще одна метрика оцінки моделі машинного навчання. Це середньозважене значення точності та запам'ятовування від 0 до 1, де 1 - оптимальний показник F.

У розробці ML-моделі для конкретної задачі є два важливі етапи: навчання та тестування. На етапі навчання моделі адаптуються до даних і прогнозують кінцеві результати. Однак прогнози моделі повинні бути правильними. Оскільки вона може гарантувати, наскільки точні результати будуть виконані для конкретної проблеми, тестування є найважливішим кроком.

Як оцінити модель машинного навчання?

Методи оцінювання моделей у машинному навчанні:

• Метод витримки використовується для оцінки продуктивності моделі і передбачає використання двох типів інформації як для тестування, так і для навчання. Тестові дані використовуються для розрахунку продуктивності моделі, в той час як навчальний набір даних використовується для її навчання. Цей метод використовується для оцінки того, наскільки добре модель машинного навчання, побудована з використанням різних алгоритмічних стратегій, працює на невидимих вибірках даних. Цей метод є простим, адаптивним і швидким.

Перехресна перевірка - це процес поділу всього набору даних на вибірки даних, а потім оцінка моделі ML з іншими вибірками даних для визначення правильності моделі.