Nature: Эксперимент провалился — ИИ не способен проводить лабораторные работы

Большая языковая модель может многое: читать литературу, писать и рецензировать статьи. Но пока её применение ограничено. Можно ли полностью автоматизировать науку? Команда исследователей машинного обучения попробовала это сделать.

AI Scientist — один из проектов по созданию ИИ-агентов, автоматизирующих часть научного процесса.

AI Scientist выполняет полный цикл исследований: от чтения литературы до написания статьи. Он также оценивает свои результаты и частично заменяет рецензентов. AI Scientist разработан командой Sakana AI, академическими лабораториями Канады и Великобритании.

Соавтор проекта Конг Лу, исследователь машинного обучения из Университета Британской Колумбии в Ванкувере (Канада), отметил, что ранее никто не объединял всё научное сообщество в одной системе. Результаты работы были опубликованы на сервере препринтов arXiv в этом месяце.

Специалист по вычислительной социологии из Университета Вашингтона в Сиэтле Джевин Уэст высоко оценил работу и предложил использовать предложенные идеи для развития науки.

Пока результаты не впечатляют, ведь система может проводить исследования только в машинном обучении. AI Scientist не хватает возможности проводить лабораторные работы, что большинство учёных считают важнейшей частью научной деятельности.

Гербранд Седер, материаловед из Национальной лаборатории Лоуренса Беркли и Калифорнийского университета в Беркли, говорит, что предстоит ещё много работы от выдвижения гипотезы ИИ до её реализации в роботе-учёном. Однако он уверен, что большая часть науки будет развиваться именно в этом направлении.

Автоматизированные эксперименты

В основе AI Scientist лежит большая языковая модель (LLM). Она начинает с поиска похожих работ в литературе, используя в качестве шаблона статью, описывающую алгоритм машинного обучения.

Затем команда применила технику эволюционных вычислений, которая предполагает поэтапное внесение небольших случайных изменений в алгоритм и выбор тех, которые обеспечивают повышение эффективности.

AI Scientist проводит «эксперименты», запуская алгоритмы и измеряя их эффективность. После этого он готовит статью и оценивает её в рамках автоматизированной экспертной оценки. Дополнив таким образом литературу, алгоритм может начать цикл заново, основываясь на собственных результатах.

Авторы признают, что работы, подготовленные AI Scientists, содержат лишь постепенные разработки. Некоторые исследователи высказались в социальных сетях о том, что они бы отклонили такие работы.

Уэст также считает, что авторы недостаточно раскрывают, как исследователи узнают о текущем состоянии дел в своей области. Большую часть знаний учёные получают из других форм коммуникации, таких как посещение конференций или общение с коллегами. Уэст подчёркивает, что наука — это не только изучение литературы, но и живое общение.

Шахан Мемон, коллега Уэста, согласен с ним. Они оба хвалят авторов за то, что те сделали код и результаты полностью открытыми. Это позволило проанализировать работу AI Scientist. Например, они заметили «предвзятость к популярности» при выборе более ранних работ для цитирования — авторы предпочитают источники с высоким уровнем цитируемости. Мемон и Уэст хотят проверить, насколько релевантен был выбор AI Scientist.

Повторяющиеся задачи

Учёные давно пытаются автоматизировать работу исследователей. Мечта об автоматизации научных открытий так же стара, как и сам искусственный интеллект. Ещё с 1950-х годов учёные работают над этой задачей.

Например, уже десять лет назад автоматический статистик мог анализировать данные и писать статьи. А Седер и его коллеги даже автоматизировали некоторые лабораторные работы: их «робот-химик» может синтезировать новые материалы и проводить эксперименты.

Хоуп считает, что современные магистры не могут предложить новые и полезные научные направления.

Седер уверен, что даже если искусственный интеллект в ближайшее время не сможет выполнять творческую работу, он всё равно поможет автоматизировать многие аспекты исследований. Седер отмечает, что анализ данных — это большая часть работы учёных, но она не требует творческого подхода. Лу получил похожие отзывы от других исследователей. Многие учёные говорят: «У меня есть 100 идей, на которые у меня нет времени. Пусть ими займётся AI Scientist».

Лу считает, что для расширения возможностей AI Scientist потребуется использовать методы, отличные от языковых моделей.

Google Deep Mind успешно сочетал LLM с техниками «символического» ИИ, которые встраивают логические правила в систему.

Но это только начало, — говорит Лу.

Он сравнивает эту итерацию с GPT-1 — ранней моделью большого языка, созданной компанией OpenAI.

Уэст говорит, что результаты исследования способствуют дискуссии, которая сейчас важна для многих учёных.

Он отмечает, что его коллеги из разных научных областей пытаются понять, как ИИ повлияет на их работу. Это заставляет задуматься о науке в XXI веке: какой она может быть, какая она есть и какой она не является.

Результаты опубликованы в Nature.

02.09.2024