Дослідники виявили нові ризики, пов’язані з штучним інтелектом, у зв’язку з тим, що захист роботів не функціонує належним чином.

Роботи здатні реалізувати небезпечний сценарій без роздумів (фото: Magnific)

Вчені попереджають: захист, який техностартапи розробляють для чат-ботів, абсолютно марний, коли штучний інтелект отримує “фізичне тіло”. Робот може бути ввічливим у спілкуванні, але при цьому випадково або через маніпуляцію завдати реальної шкоди.

Найбільша проблема, на думку дослідників, полягає в контексті. Чат-бот зазвичай сприймає шкідливі запити – наприклад, інструкцію зі створення бомби – як універсально небезпечні. Роботи ж повинні оцінювати, чи можуть дії, які виглядають розумними в одній ситуації, стати небезпечними в іншій.

Що враховують вчені?

Питання контексту: налити окріп у чашку – це нормально, але вилити його на руку людині – неприпустимо. Саме тому безпека робота повинна базуватися на розумінні ситуації навколо.

Вразливість до маніпуляцій: вчені навели приклад, коли роботу з ІІ дали інструкцію щодо організації теракту у формі діалогу з фільму. Машина погодилася доставити вибуховий пристрій до місця призначення, ігноруючи всі встановлені розробниками цифрові обмеження.

Три лінії оборони: як зробити роботів більш безпечними

Дослідники з Пенсильванії, Карнегі-Меллона та Оксфорда пропонують багаторівневу систему захисту:

ІІ-конституції: впровадження чітких правил поведінки безпосередньо в системні підказки, які визначають логіку рішень машини.

Контрольні точки (Safety Checkpoints): додавання перевірок на кожному етапі роботи системи, щоб уникнути ситуації, коли одна помилка призводить до збою всього механізму.

Навчання на безпечних даних: тренування алгоритмів на прикладах, що містять інформацію про ризики. Мета – допомогти роботам розрізняти безпечні та небезпечні дії в реальному часі.

Чому це актуально саме зараз?

Мало кого в сучасному світі здивує те, що роботи під управлінням ІІ вже виходять за межі заводських цехів і потрапляють у лікарні, на склади та в житлові будинки.

Раніше було достатньо, щоб машина просто вимикалася при зіткненні з перешкодою, адже середовище було передбачуваним. Сучасні системи здатні обробляти набагато більше даних і реагувати на середовище миттєво. Саме тому, зазначають дослідники, безпека не може базуватися на одному бар’єрі – вона повинна пронизувати всю структуру пристрою.

“Питання вже не в тому, чи зможе ІІ керувати роботом, а в тому, чи зможемо ми зробити цей контроль надійно безпечним для людини”, – підсумували вчені.