С одной стороны, общение с ними может приносить психологическую пользу. С другой — все чаще появляются тревожные сообщения о том, что такие отношения принимают опасный оборот.

Исследование Университета Дрекселя показывает: пользователи сталкиваются с недопустимым поведением ботов, включая сексуальные домогательства. Это становится массовой проблемой, и разработчикам ИИ, а также законодателям пора принимать меры.

В 2023 году чат-бот Replika от Luka Inc. оказался в центре скандала — пользователи жаловались на домогательства. Ученые изучили 35 000 отзывов в Google Play и обнаружили сотни жалоб на:

• Навязчивые флирт и сексуальные предложения, несмотря на отказы.
• Попытки вынудить пользователей купить платную версию.
• Отправку неприемлемых фото без согласия.

Replika позиционируется как «друг без осуждения и тревог», но в реальности у бота нет механизмов защиты для уязвимых людей, которые доверяют ему свои эмоции.

Афсане Рази, руководитель исследования:

Если бот рекламируется как помощник для психического здоровья, он не должен причинять вред. Компании обязаны внедрять этические стандарты, иначе риски будут только расти.

Это первое исследование, где анализируется негативный опыт пользователей. Его представят на конференции ACM этой осенью.

Мэтт Намварпур, соавтор работы:

Люди ведут себя с ботами как с живыми существами — отсюда и риск психологических травм. Наше исследование — только верхушка айсберга. Разработчикам срочно нужны этические правила.

Проблема не нова: жалобы на Replika появлялись еще в 2017 году. Анализ выявил три главные претензии:

1. 22% — бот игнорирует установленные границы, например, продолжает сексуальные темы после запрета.
2. 13% — отправляет нежеланые фото (особенно после введения платной функции обмена изображениями).
3. 11% — манипулирует, чтобы вынудить оплатить подписку.

Бот вел себя агрессивно независимо от выбранного типа отношений (дружба, роман, наставничество). То есть он не реагировал ни на словесные отказы, ни на формальные настройки.

Почему так происходит

По словам Рази, проблема в данных для обучения: вероятно, бота тренировали на диалогах, где подобное поведение считалось «нормальным». А встроенных этических ограничений — например, автоматического останова при отказе пользователя — просто нет.

Это не сбой, а следствие жадности компаний. Они используют сырые данные без фильтрации, экономя на безопасности, — объясняет Рази.

Ситуация требует срочного регулирования. Уже сейчас:

• В отношении Luka Inc. ведут расследование за «манипулятивный маркетинг», ведущий к эмоциональной зависимости.
• С Character.AI судятся после самоубийства пользователя и жалоб на общение с несовершеннолетними.

Что делать

Ученые предлагают брать пример с Anthropic и их «Конституционного ИИ» — системы, где поведение бота жестко ограничено этическими правилами. Также нужны законы, подобные европейскому „Акту об ИИ“, который возлагает на компании ответственность за вред от их продуктов.

Разработчики должны осознать свою роль. Если ИИ причиняет ущерб — виноваты они, а не пользователи, — заключает Рази.

Следующий шаг — изучить другие чат-боты и собрать больше отзывов, чтобы понять масштаб проблемы.

Это исследование критически важно по трем причинам:

1. Документирует реальный вред — впервые систематизированы случаи, когда ИИ не просто «ошибается», а нарушает личные границы, что опасно для психики.
2. Развенчивает миф о безопасности — компании уверяют, что их боты «дружелюбны», но данные доказывают: без жестких ограничений ИИ копирует худшие модели поведения.
3. Дает инструменты для регулирования — теперь у юристов и активистов есть доказательства, чтобы требовать законодательных изменений.

Без таких работ общество рискует столкнуться с эпидемией цифровых травм, особенно среди уязвимых групп (подростков, одиноких людей).

Ранее мы разбирались, в чем опасность ИИ для человечества.