Gaussian Mixture Model

Що таке модель гауссової суміші?

Модель гауссової суміші (GMM) - це імовірнісна модель, яка припускає, що точки даних походять з обмеженого набору гауссових розподілів з невизначеними змінними. Середнє значення та коваріаційна матриця характеризують кожен окремий гаусівський розподіл.

Як розширення методу кластеризації k-середніх, GMM враховує коваріаційну структуру даних і ймовірність того, що кожна точка є похідною від кожного гаусівського розподілу.

Алгоритм GMM

Алгоритми кластеризації, такі як моделі гауссової суміші в машинному навчанні, використовуються для впорядкування даних шляхом виявлення спільних рис і розрізнення їх між собою. Вони можуть бути використані для класифікації споживачів на підгрупи, визначені такими факторами, як демографічні показники та купівельні звички.

Кожній точці даних надається шанс належати до кожного кластера, що робить цей метод кластеризації м'якою моделлю гауссової суміші. Це забезпечує більшу свободу дій і може враховувати сценарії, коли точки даних не потрапляють в один кластер природним чином.

GMM навчається за допомогою алгоритму EM - ітераційного підходу для визначення найбільш ймовірних оцінок параметрів гауссового розподілу суміші. Метод EM спочатку робить грубі припущення щодо параметрів, а потім неодноразово покращує ці припущення, поки не буде досягнуто збіжності.

Клас GaussianMixture з набору інструментів Scikit-learn дозволяє реалізувати модель гауссової суміші у Python. Він пропонує багато можливостей для налаштування ініціалізації алгоритму, типу коваріації та інших параметрів, а також є досить простим у використанні.

Так працює алгоритм GMM:

• Фаза ініціалізації: Слід ініціалізувати параметри гауссових розподілів (середні значення, коваріації та коефіцієнти змішування).
• Фаза очікування: Визначити ймовірність того, що кожна точка даних була створена за допомогою кожного з гауссових розподілів.
• Фаза максимізації: Застосуйте ймовірності, знайдені на етапі очікування, для переоцінки параметрів гаусівського розподілу.
• Заключний етап:: Щоб досягти збіжності параметрів, повторіть кроки 2 і 3.

Рівняння GMM

Рівняння моделі гауссової суміші визначає щільність розподілу ймовірностей багатовимірної гауссової суміші. Pdf - це математична функція, яка характеризує ймовірність того, що дана точка даних, x, належить до певного кластера або компонента, k.

За допомогою цього гауссового рівняння витягується pdf для ГММ з K кластерами:

• pdf(x) = Σ(k=1 to K) π_k * N(x|μ_k, Σ_k)

Де:

• π_k - коефіцієнт змішування.
• μ_k - середній вектор.
• Σ_k - коваріаційна матриця.
• N(x|μ_k, Σ_k) - щільність ймовірності.

Коефіцієнти змішування π_k є невід'ємними і дорівнюють 1. Вони представляють частку точок даних, які належать до кластеру k.

Гаусові розподіли, представлені у вигляді N(x|μ_k, Σ_k), є ймовірностями точок даних x з урахуванням параметрів кластера. Кожен кластер k має власний середній вектор μ_k та коваріаційну матрицю Σ_k.

Для знаходження найбільш ймовірних оцінок параметрів гауссових розподілів потрібно розв'язати рівняння GMM, яке використовується в процесі очікування-максимізації (EM). Метод EM спочатку робить грубі припущення щодо параметрів, а потім неодноразово покращує ці припущення, поки не буде досягнуто збіжності.

Застосування GMM

Оцінка щільності та кластеризація значно виграють від використання GMM. Можливості генеративної моделі GMM, корисної як для створення даних, так і для імплікації, роблять її потужним інструментом у різних контекстах.

Крім того, GMM можна використовувати для моделювання даних з декількома модами, де кожна мода представлена гауссівським розподілом.

Нещодавно ГММ почали використовувати для виділення ознак голосових даних у системах розпізнавання мовлення. Вони також знайшли широке застосування в багатооб'єктному відстеженні, де кількість компонент і відповідні засоби використовуються для прогнозування розміщення об'єктів на кожному кадрі відеопослідовності. Щоб уможливити відстеження об'єктів у часі, метод ЕМ використовується для оновлення компонентних засобів між кадрами відеопослідовності.