Federated Learning

Конвеєри даних і центральні сервери використовуються в традиційному машинному навчанні для створення прогнозів. Всі дані, зібрані локальними пристроями і датчиками, передаються на центральний сервер для обробки перед тим, як вони будуть доставлені назад на пристрої. Моделі не можуть навчатися в реальному часі через цей зворотній шлях.

З іншого боку, федеральне навчання передбачає завантаження існуючої моделі та побудову нової на самому пристрої (подібно до периферійних обчислень) з використанням локальних вхідних даних. Це нове середовище для розподіленого навчання та моделей машинного навчання.

• FL дозволяє алгоритмам машинного навчання збирати досвід, використовуючи набори даних з різних місць у більш загальному вигляді.

Завдяки цій стратегії різні компанії можуть працювати разом над створенням моделей, не обмінюючись конфіденційними даними напряму. Після кількох циклів навчання спільні моделі отримують доступ до набагато більшого обсягу даних, ніж будь-яка компанія, що має доступ до них самостійно. Усуваючи вимогу агрегувати дані в одній області, FL децентралізує машинне навчання. Альтернативним підходом було б багаторазове навчання моделі на різних майданчиках.

Переваги ФЛ

Федеративне машинне навчання має ряд переваг, серед яких наступні:

• Як альтернатива завантаженню і зберіганню навчальних даних на зовнішньому сервері, FL дозволяє таким пристроям, як мобільні телефони, спільно вивчати спільну модель прогнозування, зберігаючи навчальні дані локально.
• Безпека - розгляньте можливість використання таких гаджетів, як мобільні телефони і планшети, Інтернет речей або навіть такі організації, як лікарні, які зобов'язані працювати в умовах суворих обмежень конфіденційності. Зберігання персональних даних на локальному рівні має багато переваг.
• Ефективність - для FL потрібна менша апаратна інфраструктура. Мобільний пристрій з мінімальною кількістю апаратного забезпечення може запускати моделі FL.
• Це дозволяє здійснювати прогнозування в реальному часі завдяки тому, що це робиться на самому пристрої. Коли необроблені дані надсилаються на центральний сервер, а потім результати надсилаються назад на пристрій, FL усуває цей часовий лаг.
• Процес прогнозування продовжує функціонувати навіть за відсутності інтернет-з'єднання

Обмеження

Мережа FL має низку фундаментальних проблем. Почнемо з того, що зв'язок є основним вузьким місцем у мережах ШН, оскільки дані, згенеровані на кожному пристрої, зберігаються локально на самому пристрої. Розробка ефективних підходів до комунікації, які обмежують кількість раундів зв'язку та надають інкрементні оновлення моделі замість надсилання повного набору даних, є важливою для навчання моделі, яка використовує дані, що надходять від пристроїв у мережі.

Методи FL для об'єднаної мережі також повинні бути здатні обробляти пристрої, що відключилися в мережі, а також пристрої з низьким рівнем участі в мережі.

Обмінюючись оновленнями моделі, такими як дані про градієнт, а не необробленою інформацією, FL допомагає захистити дані, згенеровані на пристрої. Як наслідок, обмін оновленнями моделі з третьою стороною або центральним сервером може призвести до розголошення конфіденційної інформації.

Впровадження

Тип даних і контекст мають значення, коли йдеться про федеративні моделі. Навчання користувачів мобільних телефонів, безпілотні транспортні засоби та прогнозування небезпеки для здоров'я від гаджетів, що носяться, є прикладами можливих застосувань.

Машинне навчання може принести користь галузі охорони здоров'я та медичного страхування, оскільки дозволяє захистити конфіденційні дані в їхньому першоджерелі. Використання об'єднаних моделей навчання для діагностики рідкісних захворювань може покращити різноманітність даних, об'єднуючи дані з різних джерел (наприклад, лікарень, електронних баз даних медичних записів).

У поєднанні зі смартфонами модель федеративного навчання можна використовувати для розробки моделей поведінки користувачів, які не розкривають особисту інформацію, наприклад, для прогнозування наступного слова, ідентифікації обличчя та розпізнавання голосу. Коли йдеться про функцію Google Assistant "Привіт, Google", Google використовує федеративне навчання для розробки моделей машинного навчання на пристрої.

Дані в реальному часі та прогнози від об'єднаного машинного навчання можуть зробити самокеровані автомобілі безпечнішими та надійнішими. Вони необхідні для того, щоб автономні транспортні засоби могли реагувати на нові ситуації:

1. Інформація про дорожній рух і стан доріг в режимі реального часу
2. Рішення, прийняті в режимі реального часу

Він може відповідати всім цим цілям і дозволяє моделям розвиватися з часом, отримуючи вхідні дані від декількох транспортних засобів, а також дозволяє моделям вдосконалюватися з плином часу. Наприклад, було показано, що FL мінімізує час навчання для прогнозування кута повороту коліс безпілотного автомобіля.

Важливість ФЛ

Хоча корпорації цінують точні моделі машинного навчання, централізовані системи машинного навчання мають обмеження, такі як неможливість безперервного навчання на периферійних пристроях і неможливість агрегування приватних даних на центральних серверах. FL усуває їх.

В рамках типового процесу машинного навчання всі доступні навчальні дані використовуються для створення однієї центральної моделі машинного навчання в централізованому режимі. Прогнози з центрального сервера працюють бездоганно.

Приємному користувацькому досвіду може перешкоджати затримка з'єднання між мобільним обчислювальним пристроєм і центральним сервером у мобільних обчисленнях, де споживачі очікують швидкої реакції. Якщо модель встановлена на пристрої кінцевого користувача, ця проблема може бути вирішена, але модель повинна бути навчена на великому наборі даних, до якого пристрій кінцевого користувача не має доступу.

Дані користувачів агрегуються в центральному місці для навчання машинного навчання, що може порушувати закони про конфіденційність у деяких країнах і робити дані більш вразливими до порушень безпеки.

• FL вирішує ці проблеми, забезпечуючи безперервне навчання на пристроях кінцевих користувачів, гарантуючи, що дані кінцевих користувачів не залишають пристрої кінцевих користувачів.