Из-за этого сложно понять, насколько ИИ действительно полезен в реальной практике и чем он лучше или хуже врачей.

Группа ученых из Университета Осаки под руководством доктора Хиротаки Такиты и доцента Дайджу Уэды проанализировала 83 научные работы, опубликованные с 2018 по 2024 год. Они сравнили, как справляются с диагностикой врачи и ИИ — в основном рассматривали ChatGPT, но не только его.

Оказалось, что:

• Специалисты ставят точный диагноз на 15,8% чаще, чем ИИ.
• Средняя точность генеративного ИИ — 52,1%, но последние модели уже догоняют врачей общей практики.

Наше исследование подтверждает, что ИИ диагностирует не хуже обычного терапевта, — говорит доктор Такита.

Его можно использовать в обучении медиков или там, где не хватает специалистов. Но нужно больше данных: как ИИ поведет себя в сложных случаях, насколько прозрачно он принимает решения и как работает с разными группами пациентов.

Результаты опубликованы в npj Digital Medicine.

Этот метаанализ важен по разным причинам:

1. Объективная оценка. Раньше каждая группа исследователей тестировала ИИ по своим критериям, что создавало путаницу. Теперь есть четкие цифры для сравнения.
2. Практическое применение. Разрыв в 15% между ИИ и специалистами показывает, где ИИ уже полезен (как помощник для неспециалистов), а где пока не заменит человека.
3. Вектор развития. Указание на необходимость тестов в реальных условиях — это roadmap для будущих улучшений ИИ.

Ранее ИИ сдал экзамен для кардиологов и онкологов.