Глубоко захватывающие и полностью интерактивные, созданные на голопалубе среды можно бесконечно настраивать, не используя ничего, кроме языка: экипажу достаточно попросить компьютер сгенерировать среду, и это пространство появляется на голопалубе.

Сегодня виртуальные интерактивные среды также используются для обучения роботов перед их внедрением в реальный мир в процессе, называемом «Sim2Real». Однако виртуальные интерактивные среды оказались на удивление дефицитными.

Художники вручную создают такие среды, — говорит Юэ Ян, докторант в лабораториях Марка Яцкара и Криса Каллисона-Берча, ассистента и доцента кафедры компьютерных и информационных наук (CIS) соответственно.

Эти художники могут потратить неделю на создание одной среды, — добавляет Ян, отмечая все решения, начиная от планировки пространства, размещения объектов и заканчивая цветами, используемыми при визуализации.

Нехватка виртуальных сред — это проблема, если вы хотите обучить роботов ориентироваться в реальном мире со всеми его сложностями. Нейронные сети — системы, на которых держится современная революция в области ИИ, — требуют огромных объемов данных, что в данном случае означает симуляцию физического мира.

Генеративные системы ИИ, такие как ChatGPT, обучаются на триллионах слов, а генераторы изображений, такие как Midjourney и DALLE, — на миллиардах изображений, — говорит Каллисон-Берч.

У нас есть лишь малая часть такого количества 3D-среды для обучения так называемого «воплощенного ИИ». Если мы хотим использовать методы генеративного ИИ для разработки роботов, способных безопасно ориентироваться в реальном окружении, то нам нужно будет создать миллионы или миллиарды симулированных сред.

В этом поможет Holodeck — система для создания интерактивных 3D-среды, созданная совместно Каллисон-Берч, Яцкаром, Янгом и Лингджи Лю, доцентом кафедры CIS Аравиндом К. Джоши, а также сотрудниками Стэнфорда, Университета Вашингтона и Института искусственного интеллекта Аллена (AI2). Названный в честь своего предшественника из «Звездного пути», Holodeck генерирует практически неограниченный диапазон внутренней обстановки, используя искусственный интеллект для интерпретации запросов пользователей. „Мы можем использовать язык для управления“, — говорит Янг. „Вы можете легко описать любую среду, которую хотите, и обучить воплощенных агентов ИИ“.

Holodeck использует знания, заложенные в больших языковых моделях (LLM) — системах, лежащих в основе ChatGPT и других чат-ботов.

Язык — это очень сжатое представление всего мира, — говорит Ян.

Благодаря огромному количеству текста, который они получают в процессе обучения, LLM обладают удивительно глубокими знаниями о дизайне помещений. По сути, Holodeck работает, вовлекая LLM в разговор, используя тщательно структурированную серию скрытых запросов, чтобы разложить запросы пользователя на конкретные параметры.

Подобно тому как капитан Пикард может попросить голопалубу Star Trek смоделировать питейное заведение, исследователи могут попросить голопалубу Penn's Holodeck создать «квартиру 1b1b исследователя, у которого есть кошка». Система выполняет этот запрос, разбивая его на несколько шагов: сначала создаются пол и стены, затем дверной проем и окна. Затем Holodeck ищет в Objaverse, обширной библиотеке готовых цифровых объектов, предметы обстановки, которые можно было бы ожидать в таком помещении: журнальный столик, башню для кошки и так далее. Наконец, Holodeck запрашивает модуль планировки, который, по замыслу исследователей, должен ограничивать размещение объектов, чтобы в итоге вы не получили унитаз, торчащий горизонтально из стены.

Чтобы оценить возможности Holodeck с точки зрения их реалистичности и точности, исследователи создали 120 сцен, используя как Holodeck, так и ProcTHOR, более ранний инструмент, созданный AI2, и попросили несколько сотен студентов Penn Engineering указать предпочтительную версию, не зная, какие сцены были созданы с помощью тех или иных инструментов. По всем критериям — выбор активов, согласованность компоновки и общее предпочтение — студенты неизменно оценивали окружение, созданное Holodeck, более положительно.

Исследователи также проверили способность Holodeck генерировать сцены, которые менее типичны для исследований в области робототехники и которые сложнее создать вручную, чем интерьеры квартир, например, магазины, общественные места и офисы. Сравнивая результаты Holodeck с результатами ProcTHOR, которые были созданы с использованием правил, созданных человеком, а не текста, сгенерированного ИИ, исследователи снова обнаружили, что люди, оценивающие результаты, предпочитают сцены, созданные Holodeck. Это предпочтение сохранялось в широком спектре помещений, от научных лабораторий до художественных студий, от раздевалок до винных погребов.

Наконец, исследователи использовали сцены, созданные Holodeck, для «тонкой настройки» воплощенного агента ИИ. „Окончательное испытание Holodeck, — говорит Яцкар, — заключается в том, чтобы с его помощью помочь роботам более безопасно взаимодействовать с окружающей средой, подготовив их к обитанию в местах, где они никогда раньше не бывали“.

В нескольких типах виртуальных пространств, включая офисы, детские сады, спортивные залы и игровые автоматы, Holodeck оказал выраженное и положительное влияние на способность агента ориентироваться в новых пространствах.

Например, если при предварительном обучении с помощью ProcTHOR (в ходе которого агент совершил около 400 миллионов виртуальных шагов) агент успешно находил пианино в музыкальной комнате лишь в 6% случаев, то при тонкой настройке с помощью 100 музыкальных комнат, сгенерированных Holodeck, агент справлялся с задачей более чем в 30% случаев.

В этой области долгое время проводились исследования в жилых помещениях, — заключает Ян.

Но существует так много разнообразных сред — эффективная генерация большого количества сред для обучения роботов всегда была большой проблемой, но Holodeck предоставляет такую возможность.