MIT.EDU: Новая технология помогает роботам плотно упаковывать предметы

Тот, кто хоть раз пытался упаковать багаж размером с семью в багажник седана, знает, что это непростая задача. Роботы тоже с трудом справляются с задачами плотной упаковки.

Для робота решение задачи упаковки связано с выполнением множества ограничений, таких как укладка багажа таким образом, чтобы чемоданы не выпали из багажника, тяжелые предметы не оказались сверху более легких, а столкновения руки робота с бампером автомобиля были исключены.

Некоторые традиционные методы решают эту задачу последовательно, угадывая частичное решение, удовлетворяющее одному ограничению за раз, а затем проверяя, не были ли нарушены другие ограничения. При длинной последовательности действий, которую необходимо выполнить, и куче багажа, который нужно упаковать, этот процесс может занять непрактично много времени.

Для более эффективного решения этой задачи исследователи Массачусетского технологического института использовали генеративный ИИ, называемый диффузионной моделью. В этом методе используется набор моделей машинного обучения, каждая из которых обучена представлять один конкретный тип ограничений. Эти модели объединяются для генерации глобальных решений задачи упаковки с учетом всех ограничений одновременно.

Метод позволяет быстрее, чем другие методики, генерировать эффективные решения, а также получать большее количество успешных решений за то же время. Важно отметить, что метод также способен решать задачи с новыми комбинациями ограничений и большим количеством объектов, которые модели не видели в процессе обучения.

Благодаря такой обобщенности, методика может быть использована для обучения роботов пониманию и выполнению общих ограничений задачи упаковки, таких как важность избежания столкновений или желание, чтобы один объект находился рядом с другим. Роботы, обученные таким образом, могут применяться для решения широкого спектра сложных задач в различных средах — от выполнения заказов на складе до организации книжной полки в доме.

Мое видение заключается в том, чтобы подтолкнуть роботов к выполнению более сложных задач, которые имеют множество геометрических ограничений и требуют принятия более непрерывных решений — именно с такими проблемами сталкиваются сервисные роботы в нашей неструктурированной и разнообразной среде обитания человека. С помощью мощного инструмента — моделей композиционной диффузии — мы можем решать эти более сложные задачи и получать отличные результаты обобщения, — говорит Чжутянь Ян, аспирант факультета электротехники и информатики и ведущий автор статьи о новом методе машинного обучения.

Среди ее соавторов — аспиранты MIT Цзяюань Мао и Илунь Ду, Цзяцзюнь Ву, доцент кафедры информатики Стэнфордского университета, Джошуа Б. Тененбаум, профессор кафедры мозга и когнитивных наук MIT и сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), Томаш Лозано-Перес, профессор кафедры компьютерных наук и инженерии MIT и сотрудник CSAIL, а также старший автор Лесли Кэлблинг, профессор кафедры компьютерных наук и инженерии Panasonic в MIT и сотрудник CSAIL. Результаты исследования будут представлены на конференции по обучению роботов.

Сложности с ограничениями

Непрерывные задачи удовлетворения ограничений представляют особую сложность для роботов. Они возникают в многошаговых задачах манипулирования роботами, таких как упаковка предметов в коробку или сервировка обеденного стола. Они часто связаны с выполнением ряда ограничений, включая геометрические ограничения, например, избежание столкновений руки робота с окружающей средой; физические ограничения, например, укладка предметов в стопку так, чтобы они были устойчивы; качественные ограничения, например, положить ложку справа от ножа.

Ограничений может быть много, и они варьируются в разных задачах и средах в зависимости от геометрии объектов и заданных человеком требований.

Для эффективного решения этих задач исследователи Массачусетского технологического института разработали метод машинного обучения, получивший название Diffusion-CCSP. Диффузионные модели учатся генерировать новые образцы данных, которые похожи на образцы из обучающего набора данных, путем итеративного уточнения своих результатов.

Для этого диффузионные модели изучают процедуру внесения небольших улучшений в потенциальное решение. Затем, решая задачу, они начинают со случайного, очень плохого решения и постепенно улучшают его.

Например, представьте, что на моделируемом столе произвольно расставлены тарелки и посуда, причем допускается их физическое перекрытие. Ограничения, связанные с отсутствием столкновений между объектами, приведут к тому, что они будут отталкиваться друг от друга, в то время как качественные ограничения будут притягивать тарелку к центру, выравнивать вилку для салата и вилку для ужина и т.д.

Диффузионные модели хорошо подходят для решения подобной задачи удовлетворения непрерывных ограничений, поскольку влияние нескольких моделей на позу одного объекта может быть скомпоновано таким образом, чтобы способствовать удовлетворению всех ограничений, поясняет Янг. Начиная каждый раз со случайного начального предположения, модели могут получить разнообразный набор хороших решений.

Совместная работа

Для Diffusion-CCSP исследователи хотели отразить взаимосвязь ограничений. Например, при упаковке один ограничитель может требовать, чтобы определенный объект находился рядом с другим объектом, а второй ограничитель может определять, где должен быть расположен один из этих объектов.

Diffusion-CCSP обучает семейство диффузионных моделей, по одной для каждого типа ограничений. Модели обучаются вместе, поэтому у них есть общие знания, например, геометрия объектов, которые необходимо упаковать.

Затем модели совместно находят решения, в данном случае места расположения объектов, которые совместно удовлетворяют ограничениям.

Мы не всегда находим решение с первого раза. Но когда вы продолжаете уточнять решение и происходит какое-то нарушение, это должно привести вас к лучшему решению. Вы получаете подсказку от того, что что-то не так, — говорит она.

Обучение отдельных моделей для каждого типа ограничений с последующим их объединением для прогнозирования значительно сокращает объем необходимых обучающих данных по сравнению с другими подходами.

Однако для обучения этих моделей все равно требуется большой объем данных, демонстрирующих решенные задачи. По словам Янга, человеку пришлось бы решать каждую задачу традиционными медленными методами, что делает стоимость генерации таких данных непомерно высокой.

Поэтому исследователи изменили процесс на противоположный, сначала придумав решения. Они использовали быстрые алгоритмы для создания сегментированных ящиков и размещения в каждом сегменте разнообразного набора 3D-объектов, обеспечивая плотную упаковку, стабильные позы и отсутствие столкновений.

Благодаря этому процессу генерация данных при моделировании происходит практически мгновенно. Мы можем генерировать десятки тысяч окружений, в которых мы знаем, что проблемы решаемы, — говорит она.

Обученные на основе этих данных диффузионные модели совместно определяют места, в которые роботизированный захват должен помещать объекты для решения задачи упаковки с соблюдением всех ограничений.

Они провели технико-экономическое обоснование, а затем продемонстрировали Diffusion-CCSP на реальном роботе, решив ряд сложных задач, включая укладку двумерных треугольников в коробку, упаковку двумерных фигур с ограничениями на пространственные отношения, укладку трехмерных объектов с ограничениями на устойчивость, а также упаковку трехмерных объектов с помощью роботизированной руки.

Во многих экспериментах этот метод превосходил другие методики, генерируя большее число эффективных решений, которые были устойчивы и не допускали столкновений.

В будущем Янг и ее соавторы хотят протестировать Diffusion-CCSP в более сложных ситуациях, например, с роботами, которые могут перемещаться по комнате. Они также хотят, чтобы Diffusion-CCSP могла решать задачи в различных областях без необходимости переобучения на новых данных.

Diffusion-CCSP — это решение для машинного обучения, которое опирается на существующие мощные генеративные модели, — говорит Данфей Сюй (Danfei Xu), доцент Школы интерактивных вычислений Технологического института Джорджии и исследователь в NVIDIA AI, который не принимал участия в этой работе.

Оно может быстро генерировать решения, которые одновременно удовлетворяют нескольким ограничениям, комбинируя известные индивидуальные модели ограничений. Несмотря на то, что этот подход находится на ранней стадии разработки, его постоянное совершенствование обещает создать более эффективные, безопасные и надежные автономные системы в различных приложениях.

17.10.2023


Подписаться в Telegram



Хайтек

Ученые МИСИС выяснили, как сделать суперконденсаторы ещё круче
Ученые МИСИС выяснили, как сделать суперконденсаторы ещё круче

Исследователи из университета МИСИС усове...

Science Advances: Ученые научились предсказывать водородное охрупчивание
Science Advances: Ученые научились предсказывать водородное охрупчивание

При выборе материала для инфраструктурных...

В ПИШ КАИ создали «мост» к цифровому двойнику композитных преформ
В ПИШ КАИ создали «мост» к цифровому двойнику композитных преформ

Образовательное пространство Технологическое м...

Physical Review Letters: Ученые описали альтернативный магнетизм
Physical Review Letters: Ученые описали альтернативный магнетизм

Магнитные материалы традиционно классифицируют...

Nature: Международная группа ученых решает сложную физическую задачу
Nature: Международная группа ученых решает сложную физическую задачу

Сильно взаимодействующие системы играют важную...

В MIT разрабатывают бытовых роботов, наделенных здравым смыслом
В MIT разрабатывают бытовых роботов, наделенных здравым смыслом

С помощью большой языковой модели инженеры Мас...

Nature Communications: Открыто революционное явление в жидких кристаллах
Nature Communications: Открыто революционное явление в жидких кристаллах

Исследовательская группа, работающая в UN...

Physical Review Applied: Ниобий воскресили для квантовых технологий
Physical Review Applied: Ниобий воскресили для квантовых технологий

Когда речь заходит о сверхпроводящих куби...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

В России предложили новую классификацию камней в почках по структуре и составу
В России предложили новую классификацию камней в почках по структуре и составу
ACS Nano: Благодаря 3D-печати ученые впервые увидели, как светятся наноструктуры
ACS Nano: Благодаря 3D-печати ученые впервые увидели, как светятся наноструктуры
Ученые МИСИС выяснили, как сделать суперконденсаторы ещё круче
Ученые МИСИС выяснили, как сделать суперконденсаторы ещё круче
Исследование МГПУ объясняет, как справиться с одиночеством в мегаполисе
Исследование МГПУ объясняет, как справиться с одиночеством в мегаполисе
Как музыка влияет на эмоции дошкольников: открытие психологов МГУ
Как музыка влияет на эмоции дошкольников: открытие психологов МГУ
Студент из Владивостока придумал товарные ценники на основе электронных чернил
Студент из Владивостока придумал товарные ценники на основе электронных чернил
Microgravity: Полет на Марс может не состояться из-за просроченных лекарств
Microgravity: Полет на Марс может не состояться из-за просроченных лекарств
Археологи СФУ нашли артефакты первых русских поселенцев Красноярска
Археологи СФУ нашли артефакты первых русских поселенцев Красноярска
Горные деревья спасаются от потепления, сползая и поднимаясь по склонам
Горные деревья спасаются от потепления, сползая и поднимаясь по склонам
Transportation Research: Выбросы абразива от поездов вызывают беспокойство
Transportation Research: Выбросы абразива от поездов вызывают беспокойство
Ученые из СПбГУТ отправились в научную экспедицию в Арктику
Ученые из СПбГУТ отправились в научную экспедицию в Арктику
Казанские ученые заявили, что адаптивность молочного скота важнее генетики
Казанские ученые заявили, что адаптивность молочного скота важнее генетики
Звездный магнетизм может указывать на потенциальную обитаемость экзопланеты
Звездный магнетизм может указывать на потенциальную обитаемость экзопланеты
IEEE Access: Актуатор в реабилитационных перчатках восстановит движение пальцев
IEEE Access: Актуатор в реабилитационных перчатках восстановит движение пальцев
Scientific Reports: Экологичное лечение спасает яйца кальмаров от паразита
Scientific Reports: Экологичное лечение спасает яйца кальмаров от паразита

Новости компаний, релизы

Конференция по актуальным проблемам водоподготовки
Ученые ТПУ в составе международной коллаборации выяснили, что смертность от болезней сердца в мире снизилась на 35% за после...
ПМЭФ-2024: СПбГУ представил систему контроля на основе искусственного интеллекта
ИТ: тренды индустрии и рынка труда
Медики СПбГУ создали линию мышей для разработки новых методов лечения слепоты у человека