Anomaly Detection

Що таке аномалія?

Аномалія - це незвичне явище або діяльність. Аномалії також називають сплесками, аномальним виявленням або відхиленнями та іншими подібними фразами, які описують явище, що вказує на розвиток проблеми. Аномалії в комп'ютерах нерозривно пов'язані з даними.

• Будь-яка форма незвичної поведінки в будь-якому наборі даних може вважатися аномалією.

Якщо події відхиляються від звичайних шаблонів, фахівці з безпеки та ІТ повинні провести розслідування, щоб переконатися, що ці дії не є зловмисними.

Аномалії можуть включати стрибки затримки в мережі, зміну структури веб-трафіку і навіть підвищення температури процесора сервера. Всі ці ситуації, якщо вони виявлені, потребують додаткового розслідування.

Значення виявлення аномалій

Мережеві адміністратори повинні вміти виявляти та реагувати на зміну операційних обставин. Будь-які зміни в умовах роботи центру обробки даних або хмарних додатків можуть свідчити про надмірні аспекти загрози для бізнесу. З іншого боку, деякі розбіжності можуть свідчити про хороший розвиток.

• Виявлення аномалій має вирішальне значення для отримання важливих бізнес-інсайтів та збереження фундаментальних процесів.

Науково обґрунтований поведінковий підхід може не лише відображати активність даних, але й допомагати користувачам виявляти відхилення від норми та брати участь у корисній оцінці моделі. Через величезний обсяг робочих параметрів і легкість, з якою пропускаються хибнопозитивні або негативні аномалії, статичних попереджень і порогових значень недостатньо. Новіші системи використовують розумні алгоритми для виявлення аномалій у періодичних часових рядах і належної оцінки періодичних моделей даних, щоб подолати ці типи операційних обмежень.

Випадки використання для виявлення аномалій

Існує кілька важливих комерційних застосувань для виявлення практично в кожному секторі. Деякі з найпопулярніших прикладів - це страхування, фінансові послуги, охорона здоров'я та виробничі галузі:

• Шахрайство у сфері охорони здоров'я- Шахрайство у сфері охорони здоров'я широко розповсюджене, при цьому шахраям виплачуються мільярди доларів. Страхові компанії повинні виявляти шахрайські заяви, щоб уникнути виплат за фіктивними рахунками. В останні роки багато організацій витратили значні кошти на аналітику великих даних для побудови неконтрольованих, контрольованих і напівконтрольованих моделей для виявлення страхового шахрайства.

Медичні та страхові компанії можуть використовувати аналітику великих даних і систему виявлення аномалій для побудови будь-якої з трьох типів моделей, щоб знизити ймовірність медичного шахрайства для кожної поданої заяви.

• Фінансове шпигунство - Щохвилини у фінансовій сфері відбуваються транзакції на мільярди доларів. Виявлення шахрайської банківської діяльності в режимі реального часу може надати бізнесу конкурентну перевагу. Клієнти, постачальники та провідні фінансові установи все частіше використовують аналітику великих даних, особливо методи машинного навчання, щоб виявити аномалії у величезному морі даних, що створюються.

Крім того, провідні фінансові установи можуть скоротити витрати за допомогою виявлення аномалій даних, зменшивши кількість розслідувань хибних тривог і знизивши втрати від шахрайства.

• Датчики для обладнання - Датчики в даний час встановлюються в найрізноманітніших приладах, транспортних засобах і машинах. Аналіз вихідних даних датчиків може допомогти виявити аномалії та уникнути несправностей і збоїв у роботі.

Завдяки підключеним пристроям Інтернету речей (IoT) інформаційні компанії можуть відстежувати всю свою інфраструктуру, транспортні засоби та обладнання в режимі реального часу. Вони можуть використовувати технологію виявлення для моніторингу всіх своїх результатів, щоб уникнути дорогих збоїв і перебоїв у роботі. Вони також можуть виявляти аномальні шаблони даних, які можуть свідчити про неминучі труднощі, використовуючи методи неконтрольованого навчання, такі як автокодери.

• Виробничі дефекти- За допомогою моделі автокодера кілька організацій ведуть моніторинг даних про вироблені компоненти. Оскільки програма оцінює свіжі дані, персонал може знайти і виправити будь-які дефекти (аномалії) в міру їх виникнення.

Ручна перевірка на наявність дефектів і відхилень витрачає час і збільшує витрати компаній, тому багато відомих виробників починають впроваджувати автокодери. Використовуючи модель автокодера, підприємства можуть використовувати дані датчиків на вироблених деталях, щоб відстежувати та виявляти будь-які несподівані явища в режимі реального часу.

Завершити

Аномалії часто не піддаються контролю з боку організації. Однак, хоча ці аномалії неминучі, їх можна зменшити за допомогою адекватної стратегії аварійного відновлення. Специфіка цієї стратегії визначається властивостями даних, в яких аномалії є небажаними. Багато з цих процедур на випадок непередбачуваних ситуацій зараз є стандартними в різних програмних продуктах.