Когда исследователи попросили чатбот назначить лечение, то правильные и неправильные рекомендации смешивались в трети ответов, что затрудняло выявление ошибок. Для многих пациентов Интернет служит мощным инструментом самообразования по медицинским вопросам. Поскольку ChatGPT теперь находится у пациентов под рукой, исследователи из больницы Brigham and Women's Hospital, являющейся одним из основателей системы здравоохранения Mass General Brigham, проанализировали, насколько последовательно чат-бот с искусственным интеллектом дает рекомендации по лечению рака, соответствующие рекомендациям Национальной комплексной онкологической сети (National Comprehensive Cancer Network, NCCN). Результаты исследования, опубликованные в журнале JAMA Oncology, свидетельствуют о том, что примерно в трети случаев ChatGPT 3.5 давал неадекватные ( «несогласованные») рекомендации, что подчеркивает необходимость информирования пациентов об ограничениях этой технологии.
Появление инструментов искусственного интеллекта в здравоохранении стало революционным и способно позитивно изменить весь процесс оказания медицинской помощи. Mass General Brigham, являясь одной из ведущих интегрированных академических систем здравоохранения и крупнейшим инновационным предприятием страны, играет ведущую роль в проведении тщательных исследований новых и новейших технологий, чтобы обеспечить ответственное внедрение искусственного интеллекта в оказание медицинской помощи, поддержку персонала и административные процессы. Хотя на принятие врачебных решений может влиять множество факторов, Биттерман и его коллеги решили оценить, насколько рекомендации ChatGPT соответствуют рекомендациям NCCN, которые используются врачами в учреждениях по всей стране. Они сосредоточили внимание на трех наиболее распространенных видах рака (рак молочной железы, рак простаты и рак легкого) и предложили ChatGPT предложить подход к лечению каждого вида рака в зависимости от степени тяжести заболевания. В общей сложности исследователи включили 26 уникальных описаний диагнозов и использовали четыре несколько отличающихся друг от друга запроса к ChatGPT о подходе к лечению, в результате чего было получено 104 запроса. Почти все ответы (98%) включали по крайней мере один подход к лечению, согласующийся с рекомендациями NCCN. Однако 34% ответов содержали также одну или несколько несогласованных рекомендаций, которые иногда было трудно обнаружить на фоне других рекомендаций. Под несогласованными рекомендациями понимались те, которые были верны лишь частично; например, при местно-распространенном раке молочной железы рекомендовалось только хирургическое вмешательство без упоминания других методов лечения. Примечательно, что полное согласие в оценках имело место только в 62% случаев, что свидетельствует как о сложности самих рекомендаций NCCN, так и о том, что результаты работы ChatGPT могут быть нечеткими или сложными для интерпретации. В 12,5% случаев ChatGPT выдавал «галлюцинации», или рекомендации по лечению, полностью отсутствующие в рекомендациях NCCN. К ним относились рекомендации по применению новых методов лечения или лечебной терапии при некурабельных формах рака. Авторы подчеркнули, что такая форма дезинформации может неверно формировать ожидания пациентов в отношении лечения и потенциально влиять на взаимоотношения между врачом и пациентом. В дальнейшем исследователи изучают, насколько хорошо пациенты и врачи могут отличить медицинские рекомендации, написанные врачом, от большой языковой модели, подобной ChatGPT. Кроме того, для дальнейшей оценки клинических знаний ChatGPT они предлагают более подробные клинические случаи. Авторы использовали GPT-3.5-turbo-0301, одну из самых больших моделей, доступных на момент проведения исследования, и класс моделей, который в настоящее время используется в открытой версии ChatGPT (более новая версия, GPT-4, доступна только при платной подписке). Также использовались рекомендации NCCN от 2021 года, поскольку GPT-3.5-turbo-0301 был разработан на основе данных до сентября 2021 года. Хотя результаты могут отличаться при использовании других моделей и/или клинических рекомендаций, исследователи подчеркивают, что многие языковые модели схожи по способу построения и ограничениям, которыми они обладают.
24.08.2023 |
Net&IT
В ЛЭТИ разработали цифровой сервис с VR для обучения медицинских инженеров | |
Система SeVRis позволит инженерам учиться ремо... |
Scientific Reports: Разработано подвижное навигационное устройство для незрячих | |
Новаторская навигационная технология, использу... |
В МИФИ разработана нейросеть для расчета и синтеза голографических изображений | |
Обычно для создания оптических элементов,... |
NCS: Новый ИИ DIMON решает сложные инженерные задачи быстрее суперкомпьютеров | |
Моделирование того, как деформируются авт... |
Nature Communications: Аналоговые машины тоже могут обучаться | |
Все думают, что машинное обучение &m... |
Nature Communications: ИИ изучает язык расположения атомов в твердых телах | |
Новую модель искусственного интеллекта, котора... |
Science: Создана революционная технология, которая переписывает ДНК | |
Брайан Хи руководит Лабораторией эволюцио... |
Мемристоры сделают компьютеры будущего умными, как мозг | |
Новое вещество для изменения работы устро... |
В Японии предложили способ усовершенствовать дополненную реальность на смартфоне | |
Приложения дополненной реальности, которые раб... |
В МФТИ создали бота для распознавания нот | |
Студенты МФТИ создали программу под назва... |
В Московском Политехе создали алгоритм для прогнозирования пешеходного трафика | |
Студент первого курса Московского Политеха Арт... |
Ученые рассказали об уязвимостях в системе безопасности медицинских ИТ | |
Сотрудники кафедры ИБ Московского Политех... |
EgoTouch управляет VR-миром с ладони — речь идет о новом уровне взаимодействия | |
В обычной жизни мы не хотим постоянн... |
Plant Phenomics: Как технологии помогают фермерам сохранить урожай риса | |
Благодаря новым технологиям искусственный инте... |
Челябинские ученые сделают коммунальные машины автономными | |
Программу для управления техникой, котора... |
Школьники создали для музея бота-проводника по коммуналкам и книгам Булгакова | |
Сегодня музейные чат-боты могут гораздо больше... |
Студенты ТИСБИ разработали проект онлайн-платформы для геймеров | |
Студенты Университета управления ТИСБИ в ... |
Nature: Созданные ИИ тексты будут размечаться водяными знаками | |
Исследователи из лондонской лаборатории G... |
Российская игра о наполеоновских войнах станет бесплатной | |
У российской аудитории растет интерес к в |
Ученые МГУ с коллегами предложили новый подход для создания квантового интернета | |
Создать устройство для гибридных квантовы... |
В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев» | |
В Новосибирском государственном университете з... |
Российские ученые создали расчетные модули для системы инженерного анализа | |
Ученые из нескольких научных организаций ... |
Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме | |
Технологические корпорации всё чаще обращ... |
По событиям Смутного времени создадут игру — интерактивную новеллу | |
Компания Сайберия Нова и создатели игры С... |
JCM: ИИ быстрее человека определяет устойчивость бактерий к антибиотикам | |
Искусственный интеллект для поиска бактер... |
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому | |
В исследовании Имперского колледжа Лондона люд... |
В России создана нейросеть для оценки отторжения пересаженной почки | |
ИИ-модель, которая с помощью компьютерног... |
UIST: Приложение для смартфона делает захват движений тела в реальном времени | |
Инженеры Северо-Западного университета создали... |
PNAS Nexus: Разработана система мониторинга усталости рабочих на производстве | |
Новая разработка, система датчиков и маши... |
В СПбГУ с помощью ИИ создали систему распознавания нейротропных препаратов | |
Новую систему для скрининга нейротропных ... |