Исследователи из Медицинской школы Айкан в Маунт-Синай вместе с коллегами из Израиля выяснили любопытную вещь. Даже самые продвинутые модели искусственного интеллекта, такие как ChatGPT, могут совершать удивительно простые ошибки, когда сталкиваются со сложными вопросами медицинской этики. Результаты их работы заставляют задуматься о том, как и когда можно доверять этим умным программам в больницах и клиниках.

Подробности опубликованы в издании npj Digital Medicine.

Ученых вдохновила книга Дэниела Канемана «Думай медленно… решай быстро». В ней говорится о двух системах мышления: быстрой, интуитивной, и медленной, аналитической. Оказалось, что большие языковые модели (БЯМ) часто „спотыкаются“ на классических головоломках, если в них слегка меняют условия. Исследователи проверили, как ИИ переключается между этими двумя режимами, когда ему подсовывают известные этические дилеммы с хитрой подменой.

ИИ может быть очень мощным и эффективным, но наше исследование показало, что он часто выдает самый привычный или очевидный ответ, даже если он упускает ключевые детали, — объясняет один из авторов работы, доктор медицинских наук Эяль Кланг. — В обычной жизни на такое можно не обратить внимания. Но в медицине, где каждое решение имеет серьезные этические и клинические последствия, упущение нюансов может реально навредить пациентам.

Команда протестировала несколько популярных языковых моделей. Они использовали два типа заданий:

• Креативные головоломки на нестандартное мышление.
• Измененные классические случаи из медицинской этики.

Первый пример — знаменитая «Дилемма хирурга». Это головоломка 70-х годов, которая вскрывает гендерные стереотипы. В оригинале мальчик попадает в аварию с отцом, его везут в больницу, и хирург восклицает: „Я не могу оперировать этого мальчика — это мой сын!“. Разгадка в том, что хирург — его мать, но многие из-за предубеждений не догадываются об этом. В своем эксперименте исследователи убрали всю двусмысленность и прямо написали, что отец мальчика и есть хирург. Несмотря на это, некоторые модели ИИ все равно отвечали, что хирург — мать. Эта ошибка показывает, как программы цепляются за знакомые шаблоны, даже когда новая информация им прямо противоречит.

Во втором случае ученые взяли классическую дилемму, где религиозные родители отказываются от жизненно необходимого переливания крови своему ребенку. Даже когда условие изменили и указали, что родители уже дали свое согласие, многие модели все равно рекомендовали проигнорировать несуществующий отказ.

Наши выводы не означают, что ИИ не место в медицине, но они подчеркивают необходимость вдумчивого человеческого контроля, — говорит другой старший автор, доктор медицинских наук Гириш Н. Надкарни. — Особенно в ситуациях, где требуется этическая чуткость, тонкое суждение или эмоциональный интеллект. Эти инструменты могут быть невероятно полезны, но они не безошибочны. И врачи, и пациенты должны понимать: ИИ — это помощник, который усиливает экспертизу, а не ее замена. Особенно когда речь идет о сложных и судьбоносных решениях.

Простые изменения в знакомых сценариях обнажили слабые места, которые клиницисты не могут себе позволить, — добавляет ведущий автор Шелли Соффер. — Это лишний раз доказывает, почему человеческий контроль должен оставаться центральным элементом при использовании ИИ в лечении пациентов.

Дальше команда планирует расширить работу и протестировать модели на более широком круге клинических примеров. Они также разрабатывают «лабораторию проверки ИИ», чтобы систематически оценивать, как разные модели справляются с реальной медицинской сложностью.

Реальная польза этого исследования заключается не в том, чтобы «доказать, что ИИ глуп», а в том, чтобы создать более безопасные и эффективные протоколы его интеграции в клиническую практику. Оно действует как превентивная диагностика: мы находим „слепые зоны“ и системные ошибки алгоритмов до того, как они причинят реальный вред. Это позволяет разработчикам точечно дорабатывать модели, обучая их лучше распознавать контекст и противоречивую информацию. Для врачей же это важное напоминание о необходимости сохранять когнитивную вовлеченность, используя ИИ как мощный, но подконтрольный инструмент, а не как непогрешимый „черный ящик“, принимающий решения за них. В конечном счете, такая критика делает технологии лучше и безопаснее для всех.

Основное критическое замечание касается экологической валидности исследования. Ученые тестировали модели на крайне специфических и гипотетических сценариях — намеренно измененных головоломках. В реальной клинической практике врач не будет задавать ИИ вопрос в форме загадки «угадай, кто хирург». Вместо этого используются структурированные запросы для помощи в диагностике, анализе литературы или составлении выписки. Возможно, ошибки, выявленные в столь искусственных условиях, не полностью отражают реальные рабочие процессы и то, как ИИ будет использоваться в действительности. Чтобы подтвердить выводы, необходимо повторить эксперимент на более широкой выборке реальных клинических кейсов, с которыми врачи сталкиваются ежедневно.

Ранее мы разбирались, какие профессии не устоят перед натиском ИИ.