Дослідники з Массачусетського технологічного інституту (MIT) розробили новий підхід, що дозволяє навчати ІІ-моделі безпосередньо на портативних пристроях. Це відкриває можливість використання провідних алгоритмів у сферах, де передача даних на зовнішні сервери вважається небезпечною.
Вчені представили фреймворк під назвою FTTE (Federated Tiny Training Engine). Він ґрунтується на принципах федеративного навчання, де мережа підключених пристроїв (смарт-годинники, сенсори, смартфони) спільно працює над створенням єдиної моделі.
Головна перевага полягає в тому, що дані не передаються, а на сервер надходять лише оновлення самої ІІ-моделі.
Дослідники визнають: раніше процес уповільнювався через те, що слабкі пристрої не мали достатньо пам’яті та потужності. Метод FTTE вирішує ці проблеми завдяки трьом інноваціям:
Вибіркове оновлення: замість всієї моделі сервер надсилає пристроям лише невелику кількість параметрів, що відповідає обсягу пам’яті найслабшого гаджета.
Асинхронний підхід: сервер не чекає відповіді від усіх учасників мережі. Він накопичує оновлення до певного рівня і відразу переходить до наступного раунду навчання.
Вагові оновлення: система надає більшу вагу новим даним. Старі оновлення, які затрималися через поганий зв’язок, менше впливають на результат, щоб не знижувати точність нейронної мережі.
Які результати?
Тестування на сотнях різних пристроїв показало, що метод FTTE дозволяє завершити навчання ІІ на 81% швидше, ніж стандартні підходи. При цьому навантаження на пам’ять пристрою зменшилося на 80%, а обсяг переданих даних – на 69%.
“Ця наукова робота стосується того, як інтегрувати ІІ на маленькі пристрої, де наразі неможливо запускати потужні моделі. Нам потрібно, щоб ІІ працював на гаджетах, які ми носимо з собою щодня, а не лише на величезних серверах”, – пояснює провідний автор дослідження Ірен Тенісон.
Перспективи
Вчені впевнені: розробка має особливе значення для країн, що розвиваються, де користувачі часто мають менш потужні смартфони. Завдяки FTTE переваги сучасного ІІ стануть доступними навіть на бюджетному обладнанні без шкоди для конфіденційності користувачів.
Найближчим часом дослідники планують провести більш широкі експерименти на реальних пристроях і зосередитися на персоналізації моделей під кожного конкретного власника гаджета.