Что делать, если ИИ начинает нести чушь, но делает это красиво
Нейросети врут так убедительно, что иногда и не заметишь подвох сразу.
Эксперты объяснили, почему нейросети иногда «галлюцинируют» — выдают текст, который звучит убедительно, но полон ошибок, выдуманных фактов или ссылок на несуществующие источники. Такие сбои не просто мешают работе, но и могут навредить бизнесу — например, если ИИ порекомендует несуществующую книгу или придумает условия банковского продукта, которых нет в реальности.
Нейросеть не проверяет факты, а просто подбирает самый правдоподобный ответ. Поэтому ошибки могут выглядеть убедительно, но при этом быть полной ерундой, — говорит Лев Меркушов, руководитель направления разработки ИИ-решений ВТБ.
Три типа «галлюцинаций» ИИ
- Фактические ошибки — например, неправильная дата события или имя изобретателя.
- Полный вымысел — когда нейросеть придумывает данные, которые никто не сможет проверить.
- Логические сбои — если ИИ путает инструкции и утверждает, что 2+2=6.
Проблема в том, что нейросети работают на вероятностях, а не на понимании смысла. Если информации не хватает, они просто додумывают ответ.
Как снизить количество ошибок
- Четче формулировать запросы.
- Разбивать сложные задачи на простые шаги.
- Использовать проверенные базы данных.
- Дообучать модели на узкоспециализированных данных.
В банке применяют каскадные решения — когда несколько моделей проверяют друг друга. Такой подход уже используют в распознавании речи и прогнозировании загрузки банкоматов.
И все же лучший способ избежать ошибок — проверять результат вручную, — подчеркивает Меркушов.
Рекомендации выше полезны не только для банков, но и для любой компании, использующей ИИ.
Оно помогает:
- Снизить риски — предотвратить убытки из-за ложных данных.
- Улучшить доверие — клиенты не столкнутся с абсурдными ответами.
- Оптимизировать работу — меньше времени тратится на исправление ошибок.
Однако эти решения требуют больших ресурсов — экспертной проверки данных, дообучения моделей. Для небольших компаний это может быть слишком дорого. Кроме того, даже с защитными механизмами ИИ иногда ошибается — полностью исключить «галлюцинации» пока невозможно.
Ранее ученые назвали галлюцинации ИИ одним из рисков при подготовке научных статей.
