ШІ втрачає надійність у довгих діалогах – дослідження Microsoft

Чат-боти на базі штучного інтелекту втрачають надійність та частіше припускаються помилок під час тривалих розмов.

Деталі дослідження

У межах роботи дослідники проаналізували понад 200 000 діалогів із найсучаснішими моделями, серед яких GPT-4, Gemini, Claude та DeepSeek.

З’ясувалося, що під час виконання однієї команди моделі демонструють успішність у 90%, проте в багатоходових діалогах цей показник падає до 65%.

Хоча загальна придатність моделей до роботи знижується лише на 15%, їхня ненадійність зростає на 112%. Навіть моделі з додатковими токенами для “мислення”, такі як o3 та DeepSeek R1, не змогли уникнути цих проблем.

Причини збоїв ШІ

Дослідники виділили кілька ключових факторів, що впливають на якість відповідей.

Передчасна генерація – чат-боти намагаються надати рішення ще до того, як користувач завершить пояснення завдання.

Ефект “фундаменту” – ШІ використовує свою першу відповідь як основу для наступних, навіть якщо початкова інформація була помилковою.

Роздуття відповідей – у тривалих розмовах текст стає на 20–300% довшим, що провокує більше припущень та галюцинацій, які потім сприймаються моделлю як постійний контекст.