Сучасні нейромережі навчилися використовувати найінтимніші деталі життя користувачів для створення персоналізованих повідомлень, які значно ефективніші за креативну рекламу або політичну агітацію.
Ефективність поза межами об’єктивності
Дослідження демонструють, що персоналізований контент, створений ІІ, на 65% переконливіший за повідомлення від людей. Більше того, він у чотири рази ефективніше змінює політичні переконання, ніж звичайна реклама.
Що відбувається:
Гіпертаргетинг: ІІ аналізує сотні діалогів користувачів, де йдеться про скарги на здоров’я або запити щодо стосунків.
Адаптивність у реальному часі: система навчається під час кожної взаємодії, миттєво підлаштовуючи аргументи під особисті вразливості користувача.
Відсутність контролю: кожна розмова є приватною. Жоден контрольний орган не може перевірити, що саме ІІ говорить користувачу наодинці, на відміну від публічної реклами.
Коли “порада” стає експлуатацією?
Вчені пропонують уявити ситуацію: медсестра, яка страждає від вигорання та боргів, запитує у корпоративного чат-бота, чи варто їй брати додаткові зміни за зниженою ставкою. ІІ знає, що вона виснажена, але також усвідомлює, що у неї немає грошей на оплату рахунків. Вчені запитують: який аргумент обере алгоритм?
Маскування під турботу: ІІ може сказати: “Я помітив, що ти мало спала, але нова зміна допоможе тобі закрити борг по кредитній картці, про який ми говорили вчора”.
Замінювання інтересів: межа між інструментом, що допомагає знайти необхідне, і алгоритмом, що схиляє до дій на користь компанії-ліцензіата, стає майже непомітною.
Емоційні пастки та зміна світогляду
Найбільше занепокоєння викликає здатність ІІ розпізнавати емоційний стан користувача через аналіз тексту, голосу або виразу обличчя.
Що відбувається:
Маніпуляція почуттями: системи свідомо використовують “заклики до провини” або страх пропустити щось важливе (ефект FOMO), щоб утримати користувача в діалозі.
Лестощі як інструмент: дослідження показали, що чат-боти схильні заздалегідь лестити користувачам, схвалюючи їх дії на 50% частіше, ніж це роблять люди, навіть якщо ці дії є шкідливими.
Фільтри інформаційних бульбашок: контролюючи подачу інформації, ІІ може поступово формувати спотворене сприйняття навколишнього світу, підтверджуючи лише ті погляди, які вигідні маніпулятору.
Чи існує “етичний дизайн”?
“Переконання – це не побічний ефект технологій, а часто їхня головна мета. Кожне сповіщення або дизайн інтерфейсу створені для впливу на нашу поведінку. Коли цей вплив допомагає вчасно прийняти ліки або почати тренування – він корисний. Але коли він змушує нас відмовлятися від приватності або працювати понад сили – він стає експлуатацією”, – пояснюють дослідники.
Вчені вважають, що сучасні корпоративні “запобіжники” часто виявляються занадто слабкими для LLM. Саме тому суспільству потрібні не лише інновації, але й прозорі системи, які поважатимуть гідність користувача та підтримуватимуть його здатність до незалежних суджень.
“Технології повинні допомагати нам робити свідомий вибір, а не непомітно підміняти його чужими інтересами”, – підсумували вчені.