Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр

В сериале Звездный путь: Следующее поколение капитан Пикард и экипаж Энтерпрайза используют голопалубу — пустую комнату, способную генерировать трехмерное окружение, — для подготовки к миссиям и для развлечения, имитируя все: от густых джунглей до Лондона времен Шерлока Холмса.

Глубоко захватывающие и полностью интерактивные, созданные на голопалубе среды можно бесконечно настраивать, не используя ничего, кроме языка: экипажу достаточно попросить компьютер сгенерировать среду, и это пространство появляется на голопалубе.

Сегодня виртуальные интерактивные среды также используются для обучения роботов перед их внедрением в реальный мир в процессе, называемом «Sim2Real». Однако виртуальные интерактивные среды оказались на удивление дефицитными.

Художники вручную создают такие среды, — говорит Юэ Ян, докторант в лабораториях Марка Яцкара и Криса Каллисона-Берча, ассистента и доцента кафедры компьютерных и информационных наук (CIS) соответственно.

Эти художники могут потратить неделю на создание одной среды, — добавляет Ян, отмечая все решения, начиная от планировки пространства, размещения объектов и заканчивая цветами, используемыми при визуализации.

Нехватка виртуальных сред — это проблема, если вы хотите обучить роботов ориентироваться в реальном мире со всеми его сложностями. Нейронные сети — системы, на которых держится современная революция в области ИИ, — требуют огромных объемов данных, что в данном случае означает симуляцию физического мира.

Генеративные системы ИИ, такие как ChatGPT, обучаются на триллионах слов, а генераторы изображений, такие как Midjourney и DALLE, — на миллиардах изображений, — говорит Каллисон-Берч.

У нас есть лишь малая часть такого количества 3D-среды для обучения так называемого «воплощенного ИИ». Если мы хотим использовать методы генеративного ИИ для разработки роботов, способных безопасно ориентироваться в реальном окружении, то нам нужно будет создать миллионы или миллиарды симулированных сред.

В этом поможет Holodeck — система для создания интерактивных 3D-среды, созданная совместно Каллисон-Берч, Яцкаром, Янгом и Лингджи Лю, доцентом кафедры CIS Аравиндом К. Джоши, а также сотрудниками Стэнфорда, Университета Вашингтона и Института искусственного интеллекта Аллена (AI2). Названный в честь своего предшественника из «Звездного пути», Holodeck генерирует практически неограниченный диапазон внутренней обстановки, используя искусственный интеллект для интерпретации запросов пользователей. „Мы можем использовать язык для управления“, — говорит Янг. „Вы можете легко описать любую среду, которую хотите, и обучить воплощенных агентов ИИ“.

Holodeck использует знания, заложенные в больших языковых моделях (LLM) — системах, лежащих в основе ChatGPT и других чат-ботов.

Язык — это очень сжатое представление всего мира, — говорит Ян.

Благодаря огромному количеству текста, который они получают в процессе обучения, LLM обладают удивительно глубокими знаниями о дизайне помещений. По сути, Holodeck работает, вовлекая LLM в разговор, используя тщательно структурированную серию скрытых запросов, чтобы разложить запросы пользователя на конкретные параметры.

Подобно тому как капитан Пикард может попросить голопалубу Star Trek смоделировать питейное заведение, исследователи могут попросить голопалубу Penn's Holodeck создать «квартиру 1b1b исследователя, у которого есть кошка». Система выполняет этот запрос, разбивая его на несколько шагов: сначала создаются пол и стены, затем дверной проем и окна. Затем Holodeck ищет в Objaverse, обширной библиотеке готовых цифровых объектов, предметы обстановки, которые можно было бы ожидать в таком помещении: журнальный столик, башню для кошки и так далее. Наконец, Holodeck запрашивает модуль планировки, который, по замыслу исследователей, должен ограничивать размещение объектов, чтобы в итоге вы не получили унитаз, торчащий горизонтально из стены.

Чтобы оценить возможности Holodeck с точки зрения их реалистичности и точности, исследователи создали 120 сцен, используя как Holodeck, так и ProcTHOR, более ранний инструмент, созданный AI2, и попросили несколько сотен студентов Penn Engineering указать предпочтительную версию, не зная, какие сцены были созданы с помощью тех или иных инструментов. По всем критериям — выбор активов, согласованность компоновки и общее предпочтение — студенты неизменно оценивали окружение, созданное Holodeck, более положительно.

Исследователи также проверили способность Holodeck генерировать сцены, которые менее типичны для исследований в области робототехники и которые сложнее создать вручную, чем интерьеры квартир, например, магазины, общественные места и офисы. Сравнивая результаты Holodeck с результатами ProcTHOR, которые были созданы с использованием правил, созданных человеком, а не текста, сгенерированного ИИ, исследователи снова обнаружили, что люди, оценивающие результаты, предпочитают сцены, созданные Holodeck. Это предпочтение сохранялось в широком спектре помещений, от научных лабораторий до художественных студий, от раздевалок до винных погребов.

Наконец, исследователи использовали сцены, созданные Holodeck, для «тонкой настройки» воплощенного агента ИИ. „Окончательное испытание Holodeck, — говорит Яцкар, — заключается в том, чтобы с его помощью помочь роботам более безопасно взаимодействовать с окружающей средой, подготовив их к обитанию в местах, где они никогда раньше не бывали“.

В нескольких типах виртуальных пространств, включая офисы, детские сады, спортивные залы и игровые автоматы, Holodeck оказал выраженное и положительное влияние на способность агента ориентироваться в новых пространствах.

Например, если при предварительном обучении с помощью ProcTHOR (в ходе которого агент совершил около 400 миллионов виртуальных шагов) агент успешно находил пианино в музыкальной комнате лишь в 6% случаев, то при тонкой настройке с помощью 100 музыкальных комнат, сгенерированных Holodeck, агент справлялся с задачей более чем в 30% случаев.

В этой области долгое время проводились исследования в жилых помещениях, — заключает Ян.

Но существует так много разнообразных сред — эффективная генерация большого количества сред для обучения роботов всегда была большой проблемой, но Holodeck предоставляет такую возможность.

11.04.2024


Подписаться в Telegram



Net&IT

Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр

В сериале Звездный путь: Следующее поколение к...

Physical Review X: Сеть квантовых датчиков повышает точность измерений
Physical Review X: Сеть квантовых датчиков повышает точность измерений

Квантовые системы, используемые в квантов...

Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Scientific Reports: ИИ показал больший творческий потенциал, чем человек

Еще один балл в пользу искусственного инт...

Крошечную метку на замену RFID сделали еще надежнее
Крошечную метку на замену RFID сделали еще надежнее

Несколько лет назад исследователи Массачу...

Ученые приблизились к более легким и гибким оптоэлектронным устройствам
Ученые приблизились к более легким и гибким оптоэлектронным устройствам

Органические оптоэлектронные устройства, такие...

PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить
PNAS Nexus: ИИ пока еще далеко до человеческих способностей мыслить

Атанасиос С. Фокас рассматривает актуальный во...

Nature: ИИ генерирует белки с исключительной прочностью связывания
Nature: ИИ генерирует белки с исключительной прочностью связывания

В новом исследовании, опубликованном 18 декабр...

Nature Computational Science: ИИ может предсказывать события в жизни людей
Nature Computational Science: ИИ может предсказывать события в жизни людей

Искусственный интеллект, разработанный для&nbs...

Nature Electronics: Изменение памяти дает новые вычислительные возможности
Nature Electronics: Изменение памяти дает новые вычислительные возможности

Ученые Рочестерского университета разработали ...

Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта
Nature: 2D-материал изменяет форму 3D-электроники для искусственного интеллекта

Многофункциональные компьютерные чипы эволюцио...

Началась регистрация на конкурс «Битва искусственных интеллектов»
Началась регистрация на конкурс «Битва искусственных интеллектов»

Стартовал отборочный этап Международного техно...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

ESA: Первые снимки Евклида показали миллиарды осиротевших звезд
ESA: Первые снимки Евклида показали миллиарды осиротевших звезд
Heliyon: Ученые нашли виновника тяжелых отравлений благодаря новому методу ПЦР
Heliyon: Ученые нашли виновника тяжелых отравлений благодаря новому методу ПЦР
Energy Materials and Devices: Создан тандемный солнечный элемент с КПД более 20%
Energy Materials and Devices: Создан тандемный солнечный элемент с КПД более 20%
Child Development: Отношения с матерью влияют на умение дружить и растить детей
Child Development: Отношения с матерью влияют на умение дружить и растить детей
EMBO Reports: Растения-однолюбы находят одного партнера на всю жизнь
EMBO Reports: Растения-однолюбы находят одного партнера на всю жизнь
New Media & Society: Геймеры находят оправдание смурфингу, хотя он их и бесит
New Media & Society: Геймеры находят оправдание смурфингу, хотя он их и бесит
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Nature Neuroscience: Ученые доказали, что терпение приносит свои плоды
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
Познакомьтесь со странной амфибией, которая выкармливает своих детенышей молоком
Climate Dynamics: Вот как условия на суше влияют на муссонный климат Азии
Climate Dynamics: Вот как условия на суше влияют на муссонный климат Азии
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным
В 40% случаев люди ошибочно называют сгенерированное фото человека реальным
Nature Communications: Открыто революционное явление в жидких кристаллах
Nature Communications: Открыто революционное явление в жидких кристаллах
Current Biology: Исследование брачного поведения показывает эволюцию влечения
Current Biology: Исследование брачного поведения показывает эволюцию влечения
BioDesign Research: Для производства каротиноидов разработали специальные дрожжи
BioDesign Research: Для производства каротиноидов разработали специальные дрожжи
Nature Communications: В мигрирующих нейронах найден конус роста
Nature Communications: В мигрирующих нейронах найден конус роста
Scientific Reports: Реакция на происходящее влияет на понимание будущих событий
Scientific Reports: Реакция на происходящее влияет на понимание будущих событий

Новости компаний, релизы

Физики СПбГУ и Института проблем машиноведения РАН улучшили ударопрочные характеристики нержавеющей стали
КВЗ принимает заявки на целевое обучение в проект «Крылья Ростеха»
Ученые СПбГУ смоделировали сценарии появления таликов в вечной мерзлоте Антарктиды
Треть работодателей тратят на адаптацию одного нового сотрудника до 100 тысяч рублей
Палеонтолог СПбГУ описал новый вид динозавров-бегунов из Кемеровской области