Дослідники з Південної Кореї представили основну технологію OmniXtend, здатну повністю усунути постійний дефіцит пам’яті під час навчання масштабних моделей штучного інтелекту. Нова архітектура використовує стандартні мережі Ethernet для об’єднання фізично розділених ресурсів серверів і прискорювачів в єдиний величезний пул.
Чому виникає проблема “стіни пам’яті”?
Науковці пояснили: розвиток штучного інтелекту відбувається дуже швидко, внаслідок чого обсяги даних для його навчання зростають щодня. Однак розробники зіткнулися з проблемою: навіть якщо максимально підвищити потужність графічного процесора (GPU), його вбудована пам’ять швидко вичерпується. Це обмеження науковці називають “стіною пам’яті”, адже через брак місця ефективність роботи штучного інтелекту різко знижується.
Раніше, щоб збільшити обсяг пам’яті, потрібно було купувати та встановлювати нові дорогі сервери. Технологія OmniXtend змінює цей підхід: вона дозволяє передавати пам’ять від одного комп’ютера до іншого через звичайну мережу Ethernet, створюючи спільний віртуальний простір.
Переваги нової технології
Звичайні серверні з’єднання (наприклад, через інтерфейси PCIe) мають суворі обмеження – пристрої не можна з’єднати між собою на великій відстані. Використання звичайного Ethernet усуває цю проблему та дозволяє з’єднувати багато фізично віддалених апаратів.
Під час тестування на великих мовних моделях розробка продемонструвала такі результати:
Економія коштів: збільшити обсяг пам’яті для штучного інтелекту тепер можна без заміни серверів і без реконструкції дата-центрів;
Прискорення вдвічі: у тестах, де нейронним мережам не вистачало пам’яті, швидкість роботи суттєво падала, проте після підключення розширення через Ethernet продуктивність зростала більш ніж у два рази;
Стабільність роботи: спеціальні плати та механізм передачі даних дозволили комп’ютерам обмінюватися інформацією в режимі реального часу без значних затримок.
Глобальне впровадження та перспективи
Науковці з Південної Кореї вже продемонстрували робочу систему на великих технологічних самітах RISC-V в Європі та США. Наразі дослідники очолюють спеціальну робочу групу під егідою Linux Foundation, щоб зробити OmniXtend відкритим світовим стандартом для налаштування мереж штучного інтелекту.
У майбутньому розробники планують передати технологію компаніям, які виробляють обладнання та програмне забезпечення для дата-центрів. Також систему планують адаптувати для використання в бортових комп’ютерах автомобілів і кораблів, а також для оптимізації спільної роботи різних типів процесорів.