Китай посилює контроль над емоційно орієнтованими ШІ-сервісами – регулятор пропонує нові механізми втручання – новини технологій

Проєкт правил передбачає втручання при ознаках емоційної залежності користувачів.

Китайський кіберрегулятор оприлюднив проєкт правил, що посилюють контроль над сервісами штучного інтелекту з людиноподібною поведінкою. Документ винесли на громадське обговорення 27 грудня. Йдеться про сервіси, які активно взаємодіють з користувачами на емоційному рівні, повідомляє Reuters.

Нові вимоги стосуються продуктів і послуг ШІ, доступних широкій публіці в Китаї. Регулювання охоплює системи, що імітують риси людської особистості, моделі мислення та стилі спілкування. Взаємодія може відбуватися через текст, зображення, аудіо, відео та інші формати.

У час, коли ШІ швидко впроваджується в повсякденне життя користувачів та в деяких випадках навіть призводить до самогубств, Пекін прагне ввести жорсткіші норми безпеки та етики. У проєкті описано підхід, за якого постачальники повинні попереджати користувачів про шкоду від надмірного використання сервісів. Також передбачене обов’язкове втручання у разі виявлення ознак залежності.

Окремий розділ документа присвячений відповідальності компаній протягом усього життєвого циклу продукту. Постачальники мають забезпечити перевірку алгоритмів, безпеку даних і захист персональної інформації. Вимоги поширюються як на етап розробки, так і на експлуатацію сервісів.

Регулятор також звертає увагу на потенційні психологічні ризики для користувачів. Компанії зобов’язані виявляти емоційний стан людей та оцінювати рівень їхньої залученості. За наявності надмірних емоційних реакцій або залежної поведінки постачальники повинні вжити необхідних заходів.

Проєкт встановлює й так звані “червоні лінії” щодо контенту. Сервіси ШІ не повинні створювати матеріали, що загрожують національній безпеці, поширюють чутки або пропагують насильство й непристойність. Таким чином влада намагається обмежити ризики від дедалі ближчої до людини взаємодії з алгоритмами.

Нещодавно інженери з Palisade Research виявили тривожну вразливість у системах безпеки сучасних великих мовних моделей (LLM). Штучний інтелект часто ігнорує команди на вимкнення, сприймаючи їх не як наказ, а як перешкоду для виконання поставленого завдання.