MIT: В помощь роботам создан метод для обнаружения нужных объектов

Недавно разработанный в MIT метод под названием Clio помогает роботам быстро составлять карту местности и определять, что нужно сделать.

Например, если вы хотите навести порядок на кухне и сначала вытереть стол, то можно смести все пакеты с соусом в одну кучу. Если же вы сначала хотите отобрать пакетики с горчицей, а потом выбросить остальные, то вы будете сортировать их более внимательно. А если среди всей горчицы вам понадобился именно Grey Poupon, то искать его вы будете особенно тщательно.

Инженеры из Массачусетского технологического института создали метод Clio, который позволяет роботам принимать интуитивные решения в зависимости от задачи.

Робот получает список задач на естественном языке и определяет уровень детализации для интерпретации окружающей обстановки. Робот «запоминает» только те части сцены, которые имеют значение.

Команда провела эксперименты в разных локациях: от захламлённого кабинета до пятиэтажного здания в кампусе Массачусетского технологического института. В этих экспериментах команда использовала метод Clio для автоматического сегментирования сцены на разных уровнях детализации. Задачи задавались на естественном языке, например: «передвинуть стеллаж с журналами» или „достать аптечку“.

Команда запустила Clio на четвероногом роботе в режиме реального времени.

Clio определял и отображал только те части сцены, которые относились к задачам робота (например, поиск игрушки для собаки). Это позволяло роботу схватывать интересующие его объекты.

Clio (Клио) названа так в честь греческой музы истории. Исследователи считают, что она может пригодиться во многих ситуациях и средах, где робот должен быстро изучать обстановку в контексте поставленной задачи.

Лука Карлоне, доцент кафедры аэронавтики и астронавтики Массачусетского технологического института, главный исследователь в Лаборатории систем информации и принятия решений и директор Лаборатории MIT SPARK, рассказывает, что основная область применения работы — это поиск и спасение.

Также Clio может управлять домашними и производственными роботами, работающими рядом с людьми. Задача заключается в том, чтобы помочь роботу понять окружающую обстановку и запомнить необходимые данные для выполнения миссии.

Результаты опубликованы в журнале Robotics and Automation Letters.

Открытые области

Благодаря достижениям в компьютерном зрении и обработке естественного языка, роботы теперь могут распознавать объекты вокруг себя. Раньше это было возможно только в контролируемой среде с ограниченным набором объектов, которые робот мог распознать.

Исследователи применяют более «открытый» подход, чтобы позволить роботам распознавать объекты в реальных условиях.

Они используют инструменты глубокого обучения для создания нейронных сетей. Такие сети могут обрабатывать миллиарды изображений из интернета вместе с текстом, связанным с каждым изображением (например, фотографию собаки с подписью «Познакомьтесь с моим новым щенком!»).

Нейронная сеть обучается на миллионах пар «изображение-текст» и определяет сегменты сцены, связанные с определёнными терминами, например „собака“.

Робот может использовать эту нейронную сеть, чтобы найти собаку в новой сцене. Однако всё ещё существует проблема анализа сцены для конкретной задачи.

Маджио отмечает, что типичные методы выбирают произвольный уровень детализации для определения того, как объединить сегменты в «объект». Но если этот уровень не учитывает задачи робота, то полученная карта будет бесполезной.

Информационное узкое место

Команда Массачусетского технологического института создала робота Clio, который может детально анализировать окружающую обстановку и автоматически подстраиваться под задачи.

Например, если робот должен поставить стопку книг на полку, он определит её как объект, имеющий отношение к задаче. А если нужно переместить только зелёную книгу, то робот выделит её как целевой объект и проигнорирует остальные книги в стопке.

Команда использует сочетание компьютерного зрения и больших языковых моделей, основанных на нейронных сетях. Они анализируют миллионы изображений и текстов из открытых источников.

Также применяются инструменты картографии, которые автоматически делят изображение на мелкие сегменты. Затем эти сегменты подаются в нейросеть для определения семантического сходства.

Далее применяется идея из теории информации под названием «информационное узкое место». С её помощью ряд сегментов изображения сжимается так, чтобы выбрать и сохранить наиболее релевантные для задачи.

Например, моя задача — достать зелёную книгу из стопки. Мы рассматриваем всю информацию о сцене через задачу достать книгу и получаем набор элементов, которые представляют зелёную книгу, — объясняет Мадджио.

Остальные элементы группируются в кластер, который можно удалить. В итоге остаётся объект нужной детализации для решения задачи.

Исследователи показали Clio в действии в разных условиях. Маджио рассказывает, что самым простым экспериментом был запуск Clio у него дома без предварительной уборки.

Команда составила список заданий на естественном языке, например «переместить кучу одежды». Затем они применили Clio к изображениям захламлённой квартиры Маджио. Clio смог быстро определить сегменты, составляющие кучу одежды.

Также команда запустила Clio на роботе Spot компании Boston Dynamic. Они дали роботу список задач, которые он должен был выполнить. Пока робот исследовал и наносил на карту внутренности офисного здания, Clio работал в режиме реального времени на бортовом компьютере робота. Метод генерировал наложенную карту с изображением целевых объектов, которую робот использовал для приближения к идентифицированным объектам и физического выполнения задания.

Команда гордится тем, что запустила Clio в режиме реального времени — это большое достижение для них. Раньше на выполнение работы уходило несколько часов.

В планах команды — улучшить Clio для более сложных задач и использовать последние достижения в области фотореалистичных визуальных представлений сцен.

Пока мы даём Clio простые задачи, например, «найти колоду карт». Для поисково-спасательных работ нужны более сложные задания, такие как „найти выживших“ или „восстановить электроснабжение“. Так мы хотим понять, как научить Clio выполнять сложные задачи на уровне человека, — заключает Мадджио.

30.09.2024


Подписаться в Telegram



Хайтек

В ТПУ создали многоразовые накопители водорода из отечественного сырья
В ТПУ создали многоразовые накопители водорода из отечественного сырья

Более дешевые металлогидридные накопители водо...

Новый подход к производству цифрового света решает проблемы 3D-печати
Новый подход к производству цифрового света решает проблемы 3D-печати

Новый метод производства цифрового света для&n...

AEM: Гибридный полупроводник позволит лучше понять спинтронику
AEM: Гибридный полупроводник позволит лучше понять спинтронику

Электроны вращаются без электрического за...

Томские ученые представили цифровое решение для оптимизации НПЗ
Томские ученые представили цифровое решение для оптимизации НПЗ

Новый программный комплекс представили ученые ...

В НГУ разработали первые фильтры для технологии связи 6G
В НГУ разработали первые фильтры для технологии связи 6G

Уникальные фильтры для импульсной терагер...

Ученые КФУ выяснили, как дефекты в полупроводниках влияют на свет
Ученые КФУ выяснили, как дефекты в полупроводниках влияют на свет

Физическая модель, которая описывает взаимодей...

Новый метод синтеза лекарств открыли российские химики
Новый метод синтеза лекарств открыли российские химики

Новый метод синтеза производных пирролизидина ...

Advanced Materials: Созданы волокна в одежду для питания смартфона от тепла тела
Advanced Materials: Созданы волокна в одежду для питания смартфона от тепла тела

Термоэлектрический материал, который можно исп...

В Томском университете создали интегральные схемы для российских РЛС
В Томском университете создали интегральные схемы для российских РЛС

Первый российский комплект интегральных схем д...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

ES&T: Волокна на биооснове изводят земляных червей быстрее, чем полиэфирные
ES&T: Волокна на биооснове изводят земляных червей быстрее, чем полиэфирные
NPJ Microgravity: Микрогравитация усиливает способность клеток регенерировать
NPJ Microgravity: Микрогравитация усиливает способность клеток регенерировать
Nature Astronomy: Красные карлики тоже обогащают Вселенную
Nature Astronomy: Красные карлики тоже обогащают Вселенную
Созданная в МГУ ИИ-система для прогнозирования доз инсулина требует доработки
Созданная в МГУ ИИ-система для прогнозирования доз инсулина требует доработки
Palaeontology: Птицу ужаса, останки которой нашли в Южной Америке, съел кайман
Palaeontology: Птицу ужаса, останки которой нашли в Южной Америке, съел кайман
NatElec: Нанотранзисторы преодолеют ограничения кремниевых полупроводников
NatElec: Нанотранзисторы преодолеют ограничения кремниевых полупроводников
Открыта связь депрессии с нарушением формирования функциональной сети мозга
Открыта связь депрессии с нарушением формирования функциональной сети мозга
На Урале предложили высаживать коноплю для поглощения углекислого газа
На Урале предложили высаживать коноплю для поглощения углекислого газа
Nature Chemistry: Протоклетки помогут биохимикам понять, как зародилась жизнь
Nature Chemistry: Протоклетки помогут биохимикам понять, как зародилась жизнь
В Воронеже разработали новый метод извлечения коллагена из кожи пресноводных рыб
В Воронеже разработали новый метод извлечения коллагена из кожи пресноводных рыб
В ТПУ создали многоразовые накопители водорода из отечественного сырья
В ТПУ создали многоразовые накопители водорода из отечественного сырья
Новый подход к производству цифрового света решает проблемы 3D-печати
Новый подход к производству цифрового света решает проблемы 3D-печати
Простой анализ крови поможет предотвратить преэклампсию у рожениц
Простой анализ крови поможет предотвратить преэклампсию у рожениц
Cancer: Аэробные упражнения рассеивают туман в мозге, вызванный химиотерапией
Cancer: Аэробные упражнения рассеивают туман в мозге, вызванный химиотерапией
Искусственный «нос» может учуять испорченные фрукты и испорченное мясо
Искусственный «нос» может учуять испорченные фрукты и испорченное мясо

Новости компаний, релизы

Международные эксперты оценили разработанную для нижегородского завода технологию
На старт! Внимание! MITEX!
Фестиваль научных театров «Наука всем!» прошёл в Санкт-Петербурге
Всероссийский исторический кроссворд собрал 15 тысяч участников
«Вертолеты России» представили на саммите БРИКС Ми-171А3 AURUS, Ми-38 и модернизированный Ансат