Вчені попереджають: захист, який техностартапи розробляють для чат-ботів, абсолютно марний, коли штучний інтелект отримує “фізичне тіло”. Робот може бути ввічливим у спілкуванні, але при цьому випадково або через маніпуляцію завдати реальної шкоди.
Найбільша проблема, на думку дослідників, полягає в контексті. Чат-бот зазвичай сприймає шкідливі запити – наприклад, інструкцію зі створення бомби – як універсально небезпечні. Роботи ж повинні оцінювати, чи можуть дії, які виглядають розумними в одній ситуації, стати небезпечними в іншій.
Що враховують вчені?
Питання контексту: налити окріп у чашку – це нормально, але вилити його на руку людині – неприпустимо. Саме тому безпека робота повинна базуватися на розумінні ситуації навколо.
Вразливість до маніпуляцій: вчені навели приклад, коли роботу з ІІ дали інструкцію щодо організації теракту у формі діалогу з фільму. Машина погодилася доставити вибуховий пристрій до місця призначення, ігноруючи всі встановлені розробниками цифрові обмеження.
Три лінії оборони: як зробити роботів більш безпечними
Дослідники з Пенсильванії, Карнегі-Меллона та Оксфорда пропонують багаторівневу систему захисту:
ІІ-конституції: впровадження чітких правил поведінки безпосередньо в системні підказки, які визначають логіку рішень машини.
Контрольні точки (Safety Checkpoints): додавання перевірок на кожному етапі роботи системи, щоб уникнути ситуації, коли одна помилка призводить до збою всього механізму.
Навчання на безпечних даних: тренування алгоритмів на прикладах, що містять інформацію про ризики. Мета – допомогти роботам розрізняти безпечні та небезпечні дії в реальному часі.
Чому це актуально саме зараз?
Мало кого в сучасному світі здивує те, що роботи під управлінням ІІ вже виходять за межі заводських цехів і потрапляють у лікарні, на склади та в житлові будинки.
Раніше було достатньо, щоб машина просто вимикалася при зіткненні з перешкодою, адже середовище було передбачуваним. Сучасні системи здатні обробляти набагато більше даних і реагувати на середовище миттєво. Саме тому, зазначають дослідники, безпека не може базуватися на одному бар’єрі – вона повинна пронизувати всю структуру пристрою.
“Питання вже не в тому, чи зможе ІІ керувати роботом, а в тому, чи зможемо ми зробити цей контроль надійно безпечним для людини”, – підсумували вчені.