Дослідники виявили критичну вразливість сучасних алгоритмів штучного інтелекту: коли нейромережі починають навчатися на даних, створених іншими машинами, їхня точність різко знижується. Цей процес вчені охрестили терміном “колапс моделі”.
Що таке “колапс моделі”?
Термін, введений у науковий обіг у 2024 році, описує ситуацію, коли штучний інтелект, що навчається на продуктах діяльності алгоритмів, втрачає здатність видавати точні результати.
Причина: низька якість навчальних даних призводить до накопичення помилок.
Наслідок: замість змістовних відповідей модель починає генерувати безглуздість і незрозумілий набір слів.
Актуальність: оскільки обсяг контенту, створеного людьми, обмежений, розробники все частіше використовують синтетичні дані, що підвищує ризик глобального збою систем.
Які причини?
Команда вчених з Великобританії, Норвегії та Італії проаналізувала процес на основі статистичних моделей так званих “експоненціальних сімей”. Вони з’ясували, що навчання в замкнутому циклі неминуче призводить до колапсу, проте знайшли несподівано просте пояснення.
Рішення: додавання лише однієї точки даних з реального світу в процес навчання повністю зупиняє деградацію моделі.
Парадокс: ефект зберігається навіть тоді, коли кількість машинних даних у мільйони разів перевищує цей єдиний “людський” фрагмент.
Альтернатива: колапс також можна запобігти, впровадивши в алгоритм попередні знання або “апріорні переконання” ще на етапі тренування.
Майбутнє без галюцинацій
Хоча досліджувані моделі простіші за складні нейромережі, такі як ChatGPT, професор Яссер Руді з Королівського коледжу Лондона зазначає, що ці принципи є фундаментальними для всієї галузі.
Чому це важливо:
Розуміння причин: робота вчених пояснює природу незрозумілих “галюцинацій” штучного інтелекту, коли неможливо відстежити логіку помилкової відповіді.
Універсальність: дослідники довели, що аналогічне явище спостерігається і в інших класах нейромереж.
Масштабування: у майбутньому дослідники планують протестувати ці принципи на LLM, що використовуються в безпілотних автомобілях і складних чат-ботах.
В цілому, відкриття надає програмістам необхідні інструменти для створення надійного штучного інтелекту, який зможе безпечно розвиватися, навіть коли людський ресурс для його навчання стане дефіцитом. Вчені впевнені: така ймовірність цілком реальна.