Nature: Эксперимент провалился — ИИ не способен проводить лабораторные работы

Большая языковая модель может многое: читать литературу, писать и рецензировать статьи. Но пока её применение ограничено. Можно ли полностью автоматизировать науку? Команда исследователей машинного обучения попробовала это сделать.

AI Scientist — один из проектов по созданию ИИ-агентов, автоматизирующих часть научного процесса.

AI Scientist выполняет полный цикл исследований: от чтения литературы до написания статьи. Он также оценивает свои результаты и частично заменяет рецензентов. AI Scientist разработан командой Sakana AI, академическими лабораториями Канады и Великобритании.

Соавтор проекта Конг Лу, исследователь машинного обучения из Университета Британской Колумбии в Ванкувере (Канада), отметил, что ранее никто не объединял всё научное сообщество в одной системе. Результаты работы были опубликованы на сервере препринтов arXiv в этом месяце.

Специалист по вычислительной социологии из Университета Вашингтона в Сиэтле Джевин Уэст высоко оценил работу и предложил использовать предложенные идеи для развития науки.

Пока результаты не впечатляют, ведь система может проводить исследования только в машинном обучении. AI Scientist не хватает возможности проводить лабораторные работы, что большинство учёных считают важнейшей частью научной деятельности.

Гербранд Седер, материаловед из Национальной лаборатории Лоуренса Беркли и Калифорнийского университета в Беркли, говорит, что предстоит ещё много работы от выдвижения гипотезы ИИ до её реализации в роботе-учёном. Однако он уверен, что большая часть науки будет развиваться именно в этом направлении.

Автоматизированные эксперименты

В основе AI Scientist лежит большая языковая модель (LLM). Она начинает с поиска похожих работ в литературе, используя в качестве шаблона статью, описывающую алгоритм машинного обучения.

Затем команда применила технику эволюционных вычислений, которая предполагает поэтапное внесение небольших случайных изменений в алгоритм и выбор тех, которые обеспечивают повышение эффективности.

AI Scientist проводит «эксперименты», запуская алгоритмы и измеряя их эффективность. После этого он готовит статью и оценивает её в рамках автоматизированной экспертной оценки. Дополнив таким образом литературу, алгоритм может начать цикл заново, основываясь на собственных результатах.

Авторы признают, что работы, подготовленные AI Scientists, содержат лишь постепенные разработки. Некоторые исследователи высказались в социальных сетях о том, что они бы отклонили такие работы.

Уэст также считает, что авторы недостаточно раскрывают, как исследователи узнают о текущем состоянии дел в своей области. Большую часть знаний учёные получают из других форм коммуникации, таких как посещение конференций или общение с коллегами. Уэст подчёркивает, что наука — это не только изучение литературы, но и живое общение.

Шахан Мемон, коллега Уэста, согласен с ним. Они оба хвалят авторов за то, что те сделали код и результаты полностью открытыми. Это позволило проанализировать работу AI Scientist. Например, они заметили «предвзятость к популярности» при выборе более ранних работ для цитирования — авторы предпочитают источники с высоким уровнем цитируемости. Мемон и Уэст хотят проверить, насколько релевантен был выбор AI Scientist.

Повторяющиеся задачи

Учёные давно пытаются автоматизировать работу исследователей. Мечта об автоматизации научных открытий так же стара, как и сам искусственный интеллект. Ещё с 1950-х годов учёные работают над этой задачей.

Например, уже десять лет назад автоматический статистик мог анализировать данные и писать статьи. А Седер и его коллеги даже автоматизировали некоторые лабораторные работы: их «робот-химик» может синтезировать новые материалы и проводить эксперименты.

Хоуп считает, что современные магистры не могут предложить новые и полезные научные направления.

Седер уверен, что даже если искусственный интеллект в ближайшее время не сможет выполнять творческую работу, он всё равно поможет автоматизировать многие аспекты исследований. Седер отмечает, что анализ данных — это большая часть работы учёных, но она не требует творческого подхода. Лу получил похожие отзывы от других исследователей. Многие учёные говорят: «У меня есть 100 идей, на которые у меня нет времени. Пусть ими займётся AI Scientist».

Лу считает, что для расширения возможностей AI Scientist потребуется использовать методы, отличные от языковых моделей.

Google Deep Mind успешно сочетал LLM с техниками «символического» ИИ, которые встраивают логические правила в систему.

Но это только начало, — говорит Лу.

Он сравнивает эту итерацию с GPT-1 — ранней моделью большого языка, созданной компанией OpenAI.

Уэст говорит, что результаты исследования способствуют дискуссии, которая сейчас важна для многих учёных.

Он отмечает, что его коллеги из разных научных областей пытаются понять, как ИИ повлияет на их работу. Это заставляет задуматься о науке в XXI веке: какой она может быть, какая она есть и какой она не является.

Результаты опубликованы в Nature.

02.09.2024


Подписаться в Telegram



Net&IT

ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию
ИИ знает, кем ты станешь: как соцсети помогают выбрать профессию

Ученые из Санкт-Петербургского государств...

Риски квантовой эры: как защитить интернет от новых угроз
Риски квантовой эры: как защитить интернет от новых угроз

Квантовые вычисления больше не являются д...

Представлены новейшие разработки в области квантовых вычислений
Представлены новейшие разработки в области квантовых вычислений

Квантовые вычисления находятся в авангард...

TheInnovator: Роботы с искусственным интеллектом изменят рынок труда
TheInnovator: Роботы с искусственным интеллектом изменят рынок труда

Если компании и ИИ-стартапы, стремящиеся ...

В КАИ оснащают беспилотники компьютерным зрением
В КАИ оснащают беспилотники компьютерным зрением

Ученые университета разработали специальные пр...

Разработан реалистичный тест для оценки навыков клинического общения ИИ
Разработан реалистичный тест для оценки навыков клинического общения ИИ

Инструменты искусственного интеллекта, такие к...

Сети Wi-Fi-избавили от лишней «информационной нагрузки»
Сети Wi-Fi-избавили от лишней «информационной нагрузки»

Ученые придумали, как сделать информацию ...

Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения
Nature Human Behaviour: Заблуждение ИИ усиливает наши собственные заблуждения

Системы искусственного интеллекта склонны пере...

Новую модель для графической нейросети сделают доступной для смартфонов
Новую модель для графической нейросети сделают доступной для смартфонов

Среди множества моделей искусственного интелле...

В ННГУ научились восстанавливать функции биологических нейросетей
В ННГУ научились восстанавливать функции биологических нейросетей

Новую технологию, которая работает подобно кле...

Scientific Reports: Разработано подвижное навигационное устройство для незрячих
Scientific Reports: Разработано подвижное навигационное устройство для незрячих

Новаторская навигационная технология, использу...

Nature Communications: Аналоговые машины тоже могут обучаться
Nature Communications: Аналоговые машины тоже могут обучаться

Все думают, что машинное обучение &m...

Nature Communications: ИИ изучает язык расположения атомов в твердых телах
Nature Communications: ИИ изучает язык расположения атомов в твердых телах

Новую модель искусственного интеллекта, котора...

Science: Создана революционная технология, которая переписывает ДНК
Science: Создана революционная технология, которая переписывает ДНК

Брайан Хи руководит Лабораторией эволюцио...

Мемристоры сделают компьютеры будущего умными, как мозг
Мемристоры сделают компьютеры будущего умными, как мозг

Новое вещество для изменения работы устро...

В МФТИ создали бота для распознавания нот
В МФТИ создали бота для распознавания нот

Студенты МФТИ создали программу под назва...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Воздух, который делает нас глупее: что наука знает о влиянии загрязнения на мозг
Воздух, который делает нас глупее: что наука знает о влиянии загрязнения на мозг
Нейросети будущего: поляритоны в СПбГУ бьют рекорды точности
Нейросети будущего: поляритоны в СПбГУ бьют рекорды точности
Океан Энцелада: жизнь может быть ближе, чем мы думаем, но скрыта от нас
Океан Энцелада: жизнь может быть ближе, чем мы думаем, но скрыта от нас
Жизнь в капле: ученые раскрыли секрет древних протоклеток
Жизнь в капле: ученые раскрыли секрет древних протоклеток
Эволюция в действии: почему одни мушки побеждают вирусы, а другие нет
Эволюция в действии: почему одни мушки побеждают вирусы, а другие нет
Гены в режиме ожидания: как клетки решают, кем стать
Гены в режиме ожидания: как клетки решают, кем стать
Микробы в космосе: как L-серин поможет найти жизнь на Марсе
Микробы в космосе: как L-серин поможет найти жизнь на Марсе
Новый ключ к лечению аритмии: сделано открытие, которое изменит кардиологию
Новый ключ к лечению аритмии: сделано открытие, которое изменит кардиологию
Световая атака: как зеленый свет помогает бороться с коронавирусом и энцефалитом
Световая атака: как зеленый свет помогает бороться с коронавирусом и энцефалитом
ИИ, которому можно доверять: ACHILLES объединяет технологии, этику и экологию
ИИ, которому можно доверять: ACHILLES объединяет технологии, этику и экологию
Молодые умы и большие деньги: Татарстан выделяет 250 млн рублей на инновации
Молодые умы и большие деньги: Татарстан выделяет 250 млн рублей на инновации
23 мышцы, которые меняют все: создана новая модель для лечения боли
23 мышцы, которые меняют все: создана новая модель для лечения боли
700 000 участниц, 11 миллионов фунтов и шанс победить рак
700 000 участниц, 11 миллионов фунтов и шанс победить рак
Блины с пользой: ученые превратили вредный завтрак в суперфуд
Блины с пользой: ученые превратили вредный завтрак в суперфуд
Квантовый щит: физика меняет правила игры в цифровой безопасности
Квантовый щит: физика меняет правила игры в цифровой безопасности

Новости компаний, релизы

На Фестивале «Москва — Точка старта» победили проекты из МИФИ
ХимБиоПлюс — шанс для школьников всей России
Правительство Республики Казахстан пригласило МИФИ войти в совет по стратегическому партнерству в науке и образовании
МФТИ подготовил более 140 специалистов в области синхротронных и нейтронных исследований
В Москве открыт памятник «отцу» советского ядерного оружия