MIT.EDU: Новая технология помогает роботам плотно упаковывать предметы

Тот, кто хоть раз пытался упаковать багаж размером с семью в багажник седана, знает, что это непростая задача. Роботы тоже с трудом справляются с задачами плотной упаковки.

Для робота решение задачи упаковки связано с выполнением множества ограничений, таких как укладка багажа таким образом, чтобы чемоданы не выпали из багажника, тяжелые предметы не оказались сверху более легких, а столкновения руки робота с бампером автомобиля были исключены.

Некоторые традиционные методы решают эту задачу последовательно, угадывая частичное решение, удовлетворяющее одному ограничению за раз, а затем проверяя, не были ли нарушены другие ограничения. При длинной последовательности действий, которую необходимо выполнить, и куче багажа, который нужно упаковать, этот процесс может занять непрактично много времени.

Для более эффективного решения этой задачи исследователи Массачусетского технологического института использовали генеративный ИИ, называемый диффузионной моделью. В этом методе используется набор моделей машинного обучения, каждая из которых обучена представлять один конкретный тип ограничений. Эти модели объединяются для генерации глобальных решений задачи упаковки с учетом всех ограничений одновременно.

Метод позволяет быстрее, чем другие методики, генерировать эффективные решения, а также получать большее количество успешных решений за то же время. Важно отметить, что метод также способен решать задачи с новыми комбинациями ограничений и большим количеством объектов, которые модели не видели в процессе обучения.

Благодаря такой обобщенности, методика может быть использована для обучения роботов пониманию и выполнению общих ограничений задачи упаковки, таких как важность избежания столкновений или желание, чтобы один объект находился рядом с другим. Роботы, обученные таким образом, могут применяться для решения широкого спектра сложных задач в различных средах — от выполнения заказов на складе до организации книжной полки в доме.

Мое видение заключается в том, чтобы подтолкнуть роботов к выполнению более сложных задач, которые имеют множество геометрических ограничений и требуют принятия более непрерывных решений — именно с такими проблемами сталкиваются сервисные роботы в нашей неструктурированной и разнообразной среде обитания человека. С помощью мощного инструмента — моделей композиционной диффузии — мы можем решать эти более сложные задачи и получать отличные результаты обобщения, — говорит Чжутянь Ян, аспирант факультета электротехники и информатики и ведущий автор статьи о новом методе машинного обучения.

Среди ее соавторов — аспиранты MIT Цзяюань Мао и Илунь Ду, Цзяцзюнь Ву, доцент кафедры информатики Стэнфордского университета, Джошуа Б. Тененбаум, профессор кафедры мозга и когнитивных наук MIT и сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), Томаш Лозано-Перес, профессор кафедры компьютерных наук и инженерии MIT и сотрудник CSAIL, а также старший автор Лесли Кэлблинг, профессор кафедры компьютерных наук и инженерии Panasonic в MIT и сотрудник CSAIL. Результаты исследования будут представлены на конференции по обучению роботов.

Сложности с ограничениями

Непрерывные задачи удовлетворения ограничений представляют особую сложность для роботов. Они возникают в многошаговых задачах манипулирования роботами, таких как упаковка предметов в коробку или сервировка обеденного стола. Они часто связаны с выполнением ряда ограничений, включая геометрические ограничения, например, избежание столкновений руки робота с окружающей средой; физические ограничения, например, укладка предметов в стопку так, чтобы они были устойчивы; качественные ограничения, например, положить ложку справа от ножа.

Ограничений может быть много, и они варьируются в разных задачах и средах в зависимости от геометрии объектов и заданных человеком требований.

Для эффективного решения этих задач исследователи Массачусетского технологического института разработали метод машинного обучения, получивший название Diffusion-CCSP. Диффузионные модели учатся генерировать новые образцы данных, которые похожи на образцы из обучающего набора данных, путем итеративного уточнения своих результатов.

Для этого диффузионные модели изучают процедуру внесения небольших улучшений в потенциальное решение. Затем, решая задачу, они начинают со случайного, очень плохого решения и постепенно улучшают его.

Например, представьте, что на моделируемом столе произвольно расставлены тарелки и посуда, причем допускается их физическое перекрытие. Ограничения, связанные с отсутствием столкновений между объектами, приведут к тому, что они будут отталкиваться друг от друга, в то время как качественные ограничения будут притягивать тарелку к центру, выравнивать вилку для салата и вилку для ужина и т.д.

Диффузионные модели хорошо подходят для решения подобной задачи удовлетворения непрерывных ограничений, поскольку влияние нескольких моделей на позу одного объекта может быть скомпоновано таким образом, чтобы способствовать удовлетворению всех ограничений, поясняет Янг. Начиная каждый раз со случайного начального предположения, модели могут получить разнообразный набор хороших решений.

Совместная работа

Для Diffusion-CCSP исследователи хотели отразить взаимосвязь ограничений. Например, при упаковке один ограничитель может требовать, чтобы определенный объект находился рядом с другим объектом, а второй ограничитель может определять, где должен быть расположен один из этих объектов.

Diffusion-CCSP обучает семейство диффузионных моделей, по одной для каждого типа ограничений. Модели обучаются вместе, поэтому у них есть общие знания, например, геометрия объектов, которые необходимо упаковать.

Затем модели совместно находят решения, в данном случае места расположения объектов, которые совместно удовлетворяют ограничениям.

Мы не всегда находим решение с первого раза. Но когда вы продолжаете уточнять решение и происходит какое-то нарушение, это должно привести вас к лучшему решению. Вы получаете подсказку от того, что что-то не так, — говорит она.

Обучение отдельных моделей для каждого типа ограничений с последующим их объединением для прогнозирования значительно сокращает объем необходимых обучающих данных по сравнению с другими подходами.

Однако для обучения этих моделей все равно требуется большой объем данных, демонстрирующих решенные задачи. По словам Янга, человеку пришлось бы решать каждую задачу традиционными медленными методами, что делает стоимость генерации таких данных непомерно высокой.

Поэтому исследователи изменили процесс на противоположный, сначала придумав решения. Они использовали быстрые алгоритмы для создания сегментированных ящиков и размещения в каждом сегменте разнообразного набора 3D-объектов, обеспечивая плотную упаковку, стабильные позы и отсутствие столкновений.

Благодаря этому процессу генерация данных при моделировании происходит практически мгновенно. Мы можем генерировать десятки тысяч окружений, в которых мы знаем, что проблемы решаемы, — говорит она.

Обученные на основе этих данных диффузионные модели совместно определяют места, в которые роботизированный захват должен помещать объекты для решения задачи упаковки с соблюдением всех ограничений.

Они провели технико-экономическое обоснование, а затем продемонстрировали Diffusion-CCSP на реальном роботе, решив ряд сложных задач, включая укладку двумерных треугольников в коробку, упаковку двумерных фигур с ограничениями на пространственные отношения, укладку трехмерных объектов с ограничениями на устойчивость, а также упаковку трехмерных объектов с помощью роботизированной руки.

Во многих экспериментах этот метод превосходил другие методики, генерируя большее число эффективных решений, которые были устойчивы и не допускали столкновений.

В будущем Янг и ее соавторы хотят протестировать Diffusion-CCSP в более сложных ситуациях, например, с роботами, которые могут перемещаться по комнате. Они также хотят, чтобы Diffusion-CCSP могла решать задачи в различных областях без необходимости переобучения на новых данных.

Diffusion-CCSP — это решение для машинного обучения, которое опирается на существующие мощные генеративные модели, — говорит Данфей Сюй (Danfei Xu), доцент Школы интерактивных вычислений Технологического института Джорджии и исследователь в NVIDIA AI, который не принимал участия в этой работе.

Оно может быстро генерировать решения, которые одновременно удовлетворяют нескольким ограничениям, комбинируя известные индивидуальные модели ограничений. Несмотря на то, что этот подход находится на ранней стадии разработки, его постоянное совершенствование обещает создать более эффективные, безопасные и надежные автономные системы в различных приложениях.

17.10.2023