Штучний інтелект та ілюзії: чому новий підхід знижує хибну впевненість нейронних мереж.

ИИ може припинити бути самовпевненим (фото: Mаgnific)

Дослідники з KAIST розробили методику, яка навчає нейромережу виявляти незнайому інформацію та знижувати рівень впевненості в сумнівних ситуаціях.

Чому ІІ стає самовпевненим?

Група науковців під керівництвом професора Се-Бума Пайка з’ясувала, що корінь проблеми прихований у методі “випадкової ініціалізації”, який використовується практично в усіх моделях глибокого навчання.

Нейромережі ще до початку роботи з реальними даними схильні демонструвати високу впевненість навіть у випадкових сигналах. Ця базова установка зберігається під час навчання і згодом провокує галюцинації у генеративного ІІ.

“Впроваджуючи ключові принципи розвитку мозку, ІІ може розпізнавати стан власних знань способом, схожим на людський. Це важливо, адже допомагає ІІ усвідомлювати, коли він не впевнений або може помилятися, а не просто покращувати частоту правильних відповідей”, – зазначає професор Пайк.

Методика “розминки” на шумі

Рішення підказала біологія: людський мозок формує нейронні зв’язки через спонтанну активність ще до народження, коли зовнішні подразники відсутні. Вчені перенесли цей досвід у цифрову площину, впровадивши фазу warm-up (розминки):

Навчання на шумі: перед роботою з реальними об’єктами алгоритм короткочасно тренують на випадковому наборі даних, які не мають сенсу.

Налаштування невизначеності: під час цього процесу ІІ адаптує рівень своєї впевненості до мінімуму, фактично вивчаючи стан “я поки нічого не знаю”.

Корекція бази: після такої підготовки модель починає навчання з чистого аркуша, де її впевненість у відповіді прямо пропорційна якості отриманих знань.

Від правильних відповідей до метакогніції

Застосування нової стратегії дозволило ІІ значно краще розпізнавати дані, які відрізняються від навчальної вибірки (out-of-distribution detection). У ситуаціях, де звичайна модель впевнено помилилася б, оновлений алгоритм сигналізує про високий рівень невизначеності.

“Фактично це крок до створення метакогніції у машин – здатності розрізняти “що я знаю” і “чого я не знаю”, – вважають науковці.

Дослідники підкреслюють, що такий підхід не лише підвищує точність відповідей, але й робить поведінку ІІ прогнозованою.

Вчені впевнені: технологію можна застосувати до будь-якої архітектури глибокого навчання, і це підвищить загальну надійність систем штучного інтелекту у всьому світі.