Исследователи из Корнеллского университета выяснили, что Amazon Rufus — виртуальный помощник для покупок — хуже понимает вопросы, написанные на диалектах английского, особенно если в них есть опечатки. Например, на афроамериканском варианте английского (AAE) он чаще дает расплывчатые или неверные ответы.

Ученые разработали систему оценки чат-ботов, чтобы проверить, насколько они предвзяты к пользователям, которые пишут не на «стандартном» американском английском. Это важно, ведь все больше сервисов внедряют ИИ-помощников, обученных в основном на „правильном“ языке.

Сейчас боты работают хуже для тех, кто использует диалекты, но это можно исправить, — говорит Эмма Харви, автор исследования. — Если научить модели понимать разные варианты речи, ответы станут точнее.

Чат-боты сейчас помогают в серьезных делах: от образования до госуслуг, — добавляет соавтор Эллисон Кенике. — Мы проверили, как они справляются с диалектами и неформальными запросами.

Для теста ученые взяли Amazon Rufus и с помощью инструмента MultiVALUE перевели стандартные фразы на пять диалектов:

• афроамериканский английский,
• чикано (латиноамериканский вариант),
• аппалачский (региональный диалект США),
• индийский английский,
• сингапурский английский.

Диалект — это разновидность языка, которая отличается от стандартного произношением, грамматикой или словами. Например, афроамериканский английский (AAE) использует фразы вроде «She be working» вместо „She is working“ — для носителя это естественно, но ИИ может не распознать смысл.

Затем добавили опечатки, убрали пунктуацию и изменили регистр букв — как в реальной переписке.

Оказалось, Rufus чаще ошибается в ответах на диалектах, а с опечатками ситуация ухудшается.

Проблема в грамматических особенностях, — поясняет Кенике. — Если бот обучен на «книжном» языке, он плохо понимает миллионы людей.

Исследование полезно не только для Amazon, но и для всех, кто разрабатывает ИИ-помощников.

Оно показывает: если обучать модели на разнообразных данных, включая диалекты и «неидеальные» запросы, сервисы станут доступнее.

Например, голосовые ассистенты смогут лучше понимать акценты, а чат-боты — отвечать даже на сленге.

Это особенно важно для сфер вроде медицины или банкинга, где ошибка бота может стоить денег или здоровья.

Исследование проверяло только один бот (Rufus) и ограниченный набор диалектов. Неясно, насколько результаты применимы к другим ИИ — например, ChatGPT или голосовым ассистентам. Кроме того, тестировали искусственно созданные запросы, а не реальные вопросы пользователей.

Ранее ученые выяснили, почему ИИ не чувствует как человек.