![]() |
В то время как большие языковые модели, такие как ChatGPT, хорошо справляются с выбором ответов на вопросы с несколькими вариантами ответов на экзаменах по финансовым лицензиям, они не справляются с более сложными задачами. В исследовании, проведенном под руководством Университета штата Вашингтон, было проанализировано более 10 000 ответов на вопросы финансовых экзаменов, полученных с помощью языковых моделей искусственного интеллекта BARD, Llama и ChatGPT. Исследователи попросили модели не только выбрать ответы, но и объяснить, что за ними стоит, а затем сравнили эти текстовые ответы с ответами людей. Хотя две версии ChatGPT лучше всего справились с этими задачами, они все же показали высокий уровень неточности при изучении более сложных тем.
Для исследования, опубликованного в журнале Financial Analysts Journal, Фэрхерст и его соавтор Дэниел Грин из Университета Клемсона использовали вопросы из лицензионных экзаменов, включая экзамен Securities Industry Essentials, а также Series 6, 7, 65 и 66. Чтобы выйти за рамки способности ИИ-моделей просто выбирать правильный ответ, исследователи попросили их давать письменные объяснения. Кроме того, они подобрали вопросы, основанные на конкретных рабочих задачах, которые в действительности могут выполнять финансовые специалисты.
Из всех моделей платная версия ChatGPT, версия 4.0, показала наилучшие результаты, давая ответы, которые были наиболее похожи на ответы экспертов-людей. Ее точность также была на 18-28 процентных пунктов выше, чем у других моделей. Однако ситуация изменилась, когда исследователи доработали раннюю бесплатную версию ChatGPT 3.5, снабдив ее примерами правильных ответов и объяснениями. После такой настройки модель приблизилась к ChatGPT 4.0 по точности и даже превзошла ее в предоставлении ответов, схожих с ответами людей-профессионалов. Однако обе модели все равно не справились с некоторыми типами вопросов. Хотя они хорошо справлялись с анализом операций с ценными бумагами и отслеживанием тенденций на финансовом рынке, модели давали более неточные ответы в специализированных ситуациях, таких как определение страхового покрытия клиента и его налогового статуса. Фэрхерст и Грин вместе с докторантом ВГУ Адамом Бозманом сейчас работают над другими способами определить, что может и чего не может сделать ChatGPT в рамках проекта, в котором ему предлагается оценить потенциальные сделки по слиянию. Для этого они используют тот факт, что ChatGPT обучен на данных до сентября 2021 года, и используют сделки, заключенные после этой даты, когда результат уже известен. Предварительные результаты показывают, что пока модель ИИ не очень хорошо справляется с этой задачей. В целом, по мнению исследователей, ChatGPT все же лучше использовать как вспомогательный инструмент, а не как замену опытному финансовому специалисту. С другой стороны, ИИ может изменить подход некоторых инвестиционных банков к найму аналитиков начального уровня.
Ранее ученые заявили, что творческий потенциал ИИ выше, чем у человека. 18.12.2024 |
Net&IT
![]() | |
Как получить инструмент будущих инженеров бесплатно, если ты студент | |
Студенческая версия программы ГАММА от ко... |
![]() | |
Удаленка навсегда: как бизнес адаптируется к новым реалиям | |
Тренд на цифровизацию и удаленную ра... |
![]() | |
Ритейл на скорости: почему серверы стали must-have для крупных сетей | |
Международный облачный провайдер и систем... |
![]() | |
Облака над Средней Азией: как регион становится IT-гигантом | |
Средняя Азия активно развивает IT-сферу и ... |
![]() | |
ИИ, которому можно доверять: ACHILLES объединяет технологии, этику и экологию | |
Проект ACHILLES решает самые сложные проблемы ... |
![]() | |
ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию | |
Ученые из Санкт-Петербургского государств... |
![]() | |
Квантовый щит: физика меняет правила игры в цифровой безопасности | |
В цифровом мире безопасность связи &mdash... |
![]() | |
Риски квантовой эры: как защитить интернет от новых угроз | |
Квантовые вычисления больше не являются д... |
![]() | |
Новые технологии ПГУ изменят инженерное дело, строительство и машиностроение | |
В Пензенском государственном университете созд... |
![]() | |
Будущее наступило: как нейроморфные технологии могут изменить мир | |
Нейроморфные вычисления — область, ... |
![]() | |
Представлены новейшие разработки в области квантовых вычислений | |
Квантовые вычисления находятся в авангард... |
![]() | |
TheInnovator: Роботы с искусственным интеллектом изменят рынок труда | |
Если компании и ИИ-стартапы, стремящиеся ... |
![]() | |
В КАИ оснащают беспилотники компьютерным зрением | |
Ученые университета разработали специальные пр... |
![]() | |
ИИ становится носителем всех пороков человечества, включая расизм и сексизм | |
Языковые движки, на которых работает гене... |
![]() | |
Когда облака удивляют: 5 историй из техподдержки облачного провайдера | |
Международный облачный провайдер Serverspace, ... |
![]() | |
NatComm: Новая математическая модель обеспечит безопасное использование ИИ | |
Инструменты на основе искусственного инте... |
![]() | |
Разработан реалистичный тест для оценки навыков клинического общения ИИ | |
Инструменты искусственного интеллекта, такие к... |
![]() | |
Сети Wi-Fi-избавили от лишней «информационной нагрузки» | |
Ученые придумали, как сделать информацию ... |
![]() | |
Будущее наступило: квантовые технологии меняют нашу жизнь и кибербезопасность | |
Квантовые вычисления, обладающие революционным... |
![]() | |
ИИ нового поколения: машинная психология может сделать машины равными человеку | |
Искусственный интеллект, не уступающий че... |
![]() | |
Financial Analysts Journal: ChatGPT пока не может заменить финансовых спецов | |
В то время как большие языковые моде... |
![]() | |
Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения | |
Системы искусственного интеллекта склонны пере... |
![]() | |
Новую модель для графической нейросети сделают доступной для смартфонов | |
Среди множества моделей искусственного интелле... |
![]() | |
В ННГУ научились восстанавливать функции биологических нейросетей | |
Новую технологию, которая работает подобно кле... |
![]() | |
В ЛЭТИ разработали цифровой сервис с VR для обучения медицинских инженеров | |
Система SeVRis позволит инженерам учиться ремо... |
![]() | |
Scientific Reports: Разработано подвижное навигационное устройство для незрячих | |
Новаторская навигационная технология, использу... |
![]() | |
В МИФИ разработана нейросеть для расчета и синтеза голографических изображений | |
Обычно для создания оптических элементов,... |
![]() | |
NCS: Новый ИИ DIMON решает сложные инженерные задачи быстрее суперкомпьютеров | |
Моделирование того, как деформируются авт... |
![]() | |
Nature Communications: Аналоговые машины тоже могут обучаться | |
Все думают, что машинное обучение &m... |
![]() | |
Nature Communications: ИИ изучает язык расположения атомов в твердых телах | |
Новую модель искусственного интеллекта, котора... |