Predictive Model Validation

Ви повинні розділити свій набір даних на два набори: навчальний і тестовий, щоб протестувати побудовану вами прогностичну аналітичну модель. Ці набори даних повинні бути обрані випадковим чином і точно відображати реальну популяцію.

• Навчальний і тестовий набори даних повинні містити схожі дані.
• У більшості випадків навчальний набір даних набагато більший за тестовий.
• Помилок перенавчання можна уникнути, використовуючи тестовий набір даних.
• Щоб оцінити, наскільки добре працюватиме навчена модель, її тестують на тестових даних.

• Для того, щоб оцінити, наскільки добре працюватиме навчена модель, її тестують на тестових даних.

Деякі дослідники даних люблять мати третій набір даних, так званий валідаційний набір даних, який має схожі властивості з попередніми двома. Концепція полягає в тому, що якщо ви активно використовуєте тестові дані для розробки моделі, вам слід перевірити правильність моделі за допомогою окремого (третього) набору.

Наявність валідаційного набору даних, який не використовувався під час побудови моделі, забезпечує неупереджену оцінку правильності та ефективності моделі.

Майте на увазі, що якщо ви створили багато моделей різними методами, валідаційна вибірка також може допомогти вам визначити, яка модель працює найкраще.

• Перевірте свою роботу під час розробки та тестування моделі. Будьте особливо підозріливими, якщо продуктивність або точність моделі здається занадто хорошою, щоб бути правдою. Помилки в машинному навчанні можуть виникати в найнесподіваніших місцях. Наприклад, помилкові висновки можуть виникнути через неправильне обчислення дат для даних часових рядів.

Як перевірити прогнозні моделі? Після створення моделі з навчальним набором даних необхідно обчислити метрики валідації моделі, щоб визначити, чи дає модель хороші прогнозовані значення для досліджуваної змінної. Для кожної вибірки навчального та валідаційного наборів даних значення цієї змінної відомі. Інтуїтивно хочеться визначити, наскільки значення, передбачені раніше визначеною моделлю, далекі від значень валідаційних наборів даних ml моделі для кожної вибірки з валідаційного набору даних.

Перехресна перевірка

Перехресна валідація є широко використовуваною технікою валідації прогностичних моделей. Тут застосовується той самий підхід, що полягає в розділенні тестових і навчальних наборів даних: Модель будується з використанням навчальних даних, а потім тестується на тестовому наборі для прогнозування даних, яких вона раніше не бачила, що є одним з підходів до оцінки її точності.

Для перехресної перевірки історичні дані поділяються на X підгруп. Решта підгруп використовуються як навчальні дані кожного разу, коли підгрупа вибирається для використання в якості тестових даних. Попередній тестовий набір стає одним з навчальних наборів у наступному прогоні, а один з колишніх навчальних наборів стає тестовим набором.

Підхід повторюється до тих пір, поки кожна з X чисел наборів не буде використана в якості тестового набору.

Ви можете використовувати кожну точку даних у ваших історичних даних як для навчання, так і для тестування з перехресною перевіркою. Цей метод є більш успішним, ніж просто розділити історичні дані на два набори, використовувати один з них для навчання, а інший - для тестування, і на цьому поставити крапку.

Під час перехресної перевірки даних ви захищаєтеся від вибору тестових даних, які занадто прості для випадкового прогнозування, що створює хибне враження, ніби ваша модель правильна.

З іншого боку, якщо ви оберете тестові дані, які занадто складно спрогнозувати, ви можете дійти хибного висновку, що ваша модель працює не так добре, як ви планували.

• Перехресна перевірка широко використовується для оцінки ефективності декількох моделей, а також для перевірки їхньої коректності.

Ухил та дисперсія

Зсув і дисперсія - це два типи помилок, які можуть виникнути при розробці аналітичної моделі.

Упередженість - це результат створення моделі, який значно спрощує представлення взаємозв'язків між точками даних в історичних даних, які були використані для створення моделі.

Результатом створення моделі, яка є специфічною для даних, використаних для створення моделі, є дисперсія.

Кращої валідизації прогнозних моделей можна досягти, досягнувши компромісу між зміщенням і варіацією - зменшити дисперсію, але допустити певне зміщення. В результаті такого компромісу часто будуються менш складні моделі прогнозування.

Примітки

Ось кілька порад, які можуть допомогти вам повернутися на правильний шлях:

• Експериментуйте з різними змінними та похідними змінними. Завжди слідкуйте за факторами з прогностичною силою.
• Регулярно консультуйтеся з експертами з бізнес-області, які допоможуть вам розібратися в даних, вибрати змінні та оцінити результати моделі.
• Перевіряйте свою роботу в будь-який час. Ви могли пропустити щось, що, на вашу думку, було правильним, але не було. Такі помилки можуть з'явитися у значеннях предиктивної змінної у вашому наборі даних або у попередній обробці даних, яку ви виконали.
• Спробуйте інший алгоритм, якщо той, який ви використовували, не дає жодних результатів. Наприклад, ви можете спробувати кілька різних алгоритмів класифікації, і один з них може виявитися кращим за інші на основі ваших даних і бізнес-цілей вашої моделі.