Недавно разработанный в MIT метод под названием Clio помогает роботам быстро составлять карту местности и определять, что нужно сделать. Например, если вы хотите навести порядок на кухне и сначала вытереть стол, то можно смести все пакеты с соусом в одну кучу. Если же вы сначала хотите отобрать пакетики с горчицей, а потом выбросить остальные, то вы будете сортировать их более внимательно. А если среди всей горчицы вам понадобился именно Grey Poupon, то искать его вы будете особенно тщательно. Инженеры из Массачусетского технологического института создали метод Clio, который позволяет роботам принимать интуитивные решения в зависимости от задачи. Робот получает список задач на естественном языке и определяет уровень детализации для интерпретации окружающей обстановки. Робот «запоминает» только те части сцены, которые имеют значение. Команда провела эксперименты в разных локациях: от захламлённого кабинета до пятиэтажного здания в кампусе Массачусетского технологического института. В этих экспериментах команда использовала метод Clio для автоматического сегментирования сцены на разных уровнях детализации. Задачи задавались на естественном языке, например: «передвинуть стеллаж с журналами» или „достать аптечку“. Команда запустила Clio на четвероногом роботе в режиме реального времени. Clio определял и отображал только те части сцены, которые относились к задачам робота (например, поиск игрушки для собаки). Это позволяло роботу схватывать интересующие его объекты. Clio (Клио) названа так в честь греческой музы истории. Исследователи считают, что она может пригодиться во многих ситуациях и средах, где робот должен быстро изучать обстановку в контексте поставленной задачи. Лука Карлоне, доцент кафедры аэронавтики и астронавтики Массачусетского технологического института, главный исследователь в Лаборатории систем информации и принятия решений и директор Лаборатории MIT SPARK, рассказывает, что основная область применения работы — это поиск и спасение.
Результаты опубликованы в журнале Robotics and Automation Letters. Открытые областиБлагодаря достижениям в компьютерном зрении и обработке естественного языка, роботы теперь могут распознавать объекты вокруг себя. Раньше это было возможно только в контролируемой среде с ограниченным набором объектов, которые робот мог распознать. Исследователи применяют более «открытый» подход, чтобы позволить роботам распознавать объекты в реальных условиях. Они используют инструменты глубокого обучения для создания нейронных сетей. Такие сети могут обрабатывать миллиарды изображений из интернета вместе с текстом, связанным с каждым изображением (например, фотографию собаки с подписью «Познакомьтесь с моим новым щенком!»). Нейронная сеть обучается на миллионах пар «изображение-текст» и определяет сегменты сцены, связанные с определёнными терминами, например „собака“. Робот может использовать эту нейронную сеть, чтобы найти собаку в новой сцене. Однако всё ещё существует проблема анализа сцены для конкретной задачи. Маджио отмечает, что типичные методы выбирают произвольный уровень детализации для определения того, как объединить сегменты в «объект». Но если этот уровень не учитывает задачи робота, то полученная карта будет бесполезной. Информационное узкое местоКоманда Массачусетского технологического института создала робота Clio, который может детально анализировать окружающую обстановку и автоматически подстраиваться под задачи. Например, если робот должен поставить стопку книг на полку, он определит её как объект, имеющий отношение к задаче. А если нужно переместить только зелёную книгу, то робот выделит её как целевой объект и проигнорирует остальные книги в стопке. Команда использует сочетание компьютерного зрения и больших языковых моделей, основанных на нейронных сетях. Они анализируют миллионы изображений и текстов из открытых источников. Также применяются инструменты картографии, которые автоматически делят изображение на мелкие сегменты. Затем эти сегменты подаются в нейросеть для определения семантического сходства. Далее применяется идея из теории информации под названием «информационное узкое место». С её помощью ряд сегментов изображения сжимается так, чтобы выбрать и сохранить наиболее релевантные для задачи.
Исследователи показали Clio в действии в разных условиях. Маджио рассказывает, что самым простым экспериментом был запуск Clio у него дома без предварительной уборки. Команда составила список заданий на естественном языке, например «переместить кучу одежды». Затем они применили Clio к изображениям захламлённой квартиры Маджио. Clio смог быстро определить сегменты, составляющие кучу одежды. Также команда запустила Clio на роботе Spot компании Boston Dynamic. Они дали роботу список задач, которые он должен был выполнить. Пока робот исследовал и наносил на карту внутренности офисного здания, Clio работал в режиме реального времени на бортовом компьютере робота. Метод генерировал наложенную карту с изображением целевых объектов, которую робот использовал для приближения к идентифицированным объектам и физического выполнения задания. Команда гордится тем, что запустила Clio в режиме реального времени — это большое достижение для них. Раньше на выполнение работы уходило несколько часов. В планах команды — улучшить Clio для более сложных задач и использовать последние достижения в области фотореалистичных визуальных представлений сцен.
30.09.2024 |
Хайтек
В ТПУ создали многоразовые накопители водорода из отечественного сырья | |
Более дешевые металлогидридные накопители водо... |
Новый подход к производству цифрового света решает проблемы 3D-печати | |
Новый метод производства цифрового света для&n... |
AEM: Гибридный полупроводник позволит лучше понять спинтронику | |
Электроны вращаются без электрического за... |
Томские ученые представили цифровое решение для оптимизации НПЗ | |
Новый программный комплекс представили ученые ... |
МАИ: Дроны-дефектоскописты уступают человеку в точности, зато берут скоростью | |
Методику создания синтетических данных для&nbs... |
Численное моделирование повысит эффективность 3D-печати из стали 316LSi | |
Морская нержавейка, или сталь 316LSi, шир... |
Создан особо пластичный алюминиевый сплав для высокотехнологичных отраслей | |
Новый сплав на основе алюминия создали ис... |
В НГУ разработали первые фильтры для технологии связи 6G | |
Уникальные фильтры для импульсной терагер... |
Nat. Nanotechnol: Разработан самоочищающийся электрод для синтеза пероксидов | |
Пероксиды металлов — MO₂, M=Ca, Sr,... |
В СПбГУ создали новые биоактивные молекулы с помощью золотого катализатора | |
Метод соединения двух простых веществ с п... |
AFM: Разработан материал для поглощения электромагнитных волн широкого спектра | |
Ультратонкий пленочный композитный материал, с... |
PRL: Доказана возможность открытия новых сверхтяжелых элементов | |
Уран — самый тяжелый из извест... |
NE: Новый жидкостный акустический датчик распознаёт голоса в шумной обстановке | |
Инженеры разработали множество сложных датчико... |
Science: Новый метод спектроскопии раскрывает квантовые секреты воды | |
Вода — это жизнь. Но водо... |
В ИРНИТУ создали первую партию инклинометров и объединили их в умную сеть | |
Сотрудники Центра маркшейдерских и геодез... |
Ученые УУНиТ создали первый отечественный станок для сухого электрополирования | |
Ученые Уфимского университета науки и тех... |
Ученые КФУ выяснили, как дефекты в полупроводниках влияют на свет | |
Физическая модель, которая описывает взаимодей... |
Новый метод синтеза лекарств открыли российские химики | |
Новый метод синтеза производных пирролизидина ... |
Advanced Materials: Созданы волокна в одежду для питания смартфона от тепла тела | |
Термоэлектрический материал, который можно исп... |
Ultrafast Science: Ученые успешно ускорили идентификацию молекул лазером | |
В 100 раз ускорили измерения спектроскопи... |
В УрФУ разработали технологию 3D-печати из жаропрочных титановых сплавов | |
Технологию создания жаропрочных сплавов на&nbs... |
Ученые ЮУрГУ предложили уникальную технологию повышения надежности сварки | |
Уникальную технологию повышения надежности сва... |
В Томском университете создали интегральные схемы для российских РЛС | |
Первый российский комплект интегральных схем д... |
Российские ученые приблизились к созданию искусственной сетчатки | |
Оптоэлектронный синапс — мемристор ... |
Экологичная замена полиэтиленовым упаковкам разработана в МГУ | |
Биоразлагаемый полимер — полипропил... |
CS: Создана технология производства компонентов для шампуней и лекарств | |
Исследователи из России и Китая разр... |
APN: Фотонные вычисления помогут продвинуться в области аналоговых вычислений | |
Дифференциальные уравнения с частными про... |
Ученые НИТУ МИСИС разработали магнитные микропровода для имплантатов и датчиков | |
Новые ультратонкие аморфные микропровода, кото... |
NP: Открыт новый метод, предлагающий решения для сложных задач визуализации | |
Новый метод вычислительной голографии позволяе... |
В Пермском Политехе усовершенствовали алгоритм оценки состояния оборудования | |
Для оценки состояния оборудования или все... |