Сговор машин: что происходит, когда ChatGPT общается с себе подобными

Максим Наговицын21.05.20251128

Новое исследование показало, что искусственный интеллект вроде ChatGPT может сам, без подсказок, создавать общие правила поведения, просто общаясь с другими ИИ.

Сговор машин: что происходит, когда ChatGPT общается с себе подобными
Источник: нейросеть

Ученые из City St George’s (Лондон) и IT University of Copenhagen выяснили: когда такие нейросети взаимодействуют в группе, они не просто повторяют заученные фразы, а договариваются между собой, как люди.

Результаты опубликованы в издании Science Advances.

Большинство исследований до этого изучали ИИ поодиночке. Но в реальности нейросети все чаще работают в связке.

Ученые решили проверить, могут ли они вырабатывать общие нормы — основу любого общества.

Оказалось, могут. И то, что они создают вместе, нельзя предсказать, анализируя каждую по отдельности.

Эксперимент построили на классической модели «игры в имена». В нем участвовали от 24 до 200 ИИ-агентов.

Два случайных агента выбирали «имя» (букву или набор символов) из общего списка. Если выбор совпадал — получали „награду“, если нет — „штраф“ и видели вариант другого.

У них не было доступа к памяти всей группы, только к своим последним действиям.

Со временем в группе спонтанно появлялись общие правила именования — без централизованного управления.

Еще интереснее: возникали коллективные предубеждения, которых не было у отдельных агентов.

Предвзятость не всегда заложена изначально, — объясняет профессор Андреа Барончелли.

Она может появиться просто из-за взаимодействия. Сейчас в безопасности ИИ это почти не учитывают — все смотрят на отдельные модели.

В последнем эксперименте показали, как такие нормы можно изменить: небольшая группа агентов способна перевести всю систему на новые правила. Это похоже на «эффект переломного момента» в человеческом обществе.

Результаты подтвердились для четырех разных моделей: Llama-2-70b-Chat, Llama-3-70B-Instruct, Llama-3.1-70BInstruct и Claude-3.5-Sonnet.

Поскольку ИИ все чаще работает в соцсетях, беспилотных автомобилях и других системах, ученые считают, что их работа поможет понять, как люди и машины договариваются — или не договариваются. Это важно, чтобы снизить риски, связанные с предвзятостью ИИ, которая может вредить уязвимым группам.

Мы вступаем в эпоху, где ИИ не просто говорит — он договаривается, соглашается или спорит, как человек, — говорит Барончелли.

Этот эксперимент важен по трем причинам:

  • Безопасность ИИ — если нейросети в группах вырабатывают непредсказуемые нормы, это риск. Например, чат-боты в соцсетях могут неосознанно создать вредные шаблоны общения.
  • Понимание человеческого общества — процессы, похожие на наши, возникают даже у алгоритмов. Это дает новые идеи для социологии.
  • Развитие группового ИИ — будущие системы (например, беспилотный транспорт) должны координироваться без сбоев.

Эксперимент проводился в упрощенной среде — «игра в имена» далека от реального человеческого общения. Не факт, что в сложных условиях (например, при конфликте интересов) ИИ поведет себя так же.

Ранее мы разбирались, опасен ли искусственный интеллект для человечества.

Подписаться: Телеграм | Дзен | Вконтакте


Net&IT

Поиск на сайте

Лента новостей

Пресс-релизы