![]() |
Представьте себе, что вы покупаете робота для выполнения бытовых задач. Этот робот был создан и обучен на заводе определенному набору задач и никогда не видел предметов в вашем доме. Когда вы попросите его взять кружку с вашего кухонного стола, он может не узнать вашу кружку (возможно, потому, что на ней нарисовано необычное изображение, скажем, талисмана Массачусетского технологического института — бобра Тима). Таким образом, робот не справится с задачей.
Пенг и ее коллеги из Массачусетского технологического института, Нью-Йоркского университета и Калифорнийского университета в Беркли создали систему, которая позволяет человеку быстро и с минимальными усилиями научить робота тому, что он хочет сделать. Когда робот терпит неудачу, система с помощью алгоритма генерирует контрфактические объяснения, описывающие, что должно было измениться, чтобы робот добился успеха. Например, возможно, робот смог бы поднять кружку, если бы она была определенного цвета. Система показывает эти контрфактические объяснения человеку и просит его высказать свое мнение о причинах неудачи робота. Затем система использует эту обратную связь и контрфактические объяснения для генерации новых данных, которые используются для тонкой настройки робота. Тонкая настройка заключается в изменении модели машинного обучения, которая уже была обучена выполнять одну задачу, с тем чтобы она могла выполнять вторую, аналогичную задачу. Исследователи протестировали эту методику на симуляторах и обнаружили, что она позволяет обучать роботов более эффективно, чем другие методы. Роботы, обученные по этой схеме, показали лучшие результаты, а процесс обучения занял меньше времени у человека. Такая схема может помочь роботам быстрее осваиваться в новых условиях, не требуя от пользователя технических знаний. В перспективе это может стать шагом к тому, чтобы роботы общего назначения могли эффективно выполнять повседневные задачи для пожилых людей или людей с ограниченными возможностями в различных условиях. В работе Пенга, ведущего автора, принимают участие соавторы Авив Нетаньяху, аспирант EECS, Марк Хо, доцент Технологического института Стивенса, Тяньмин Шу, постдок MIT, Андреа Бобу, аспирант UC Berkeley, и старшие авторы Джули Шах, профессор аэронавтики и астронавтики MIT и директор группы интерактивной робототехники в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), и Пулкит Агравал, профессор CSAIL. Результаты исследования будут представлены на Международной конференции по машинному обучению. Обучение на рабочем местеРоботы часто терпят неудачу из-за смены распределения — роботу предъявляются объекты и пространства, которых он не видел во время обучения, и он не понимает, что делать в этой новой среде. Одним из способов переучивания робота на выполнение конкретной задачи является имитационное обучение. Пользователь может продемонстрировать правильную задачу, чтобы научить робота, что нужно делать. Если пользователь пытается научить робота поднимать кружку, но демонстрирует белую кружку, робот может усвоить, что все кружки белые. Тогда он не сможет поднять красную, синюю или коричневую кружку «Тим-Бобер». Обучение робота распознаванию того, что кружка — это кружка, независимо от ее цвета, может занять тысячи демонстраций.
Для этого система исследователей определяет, какой именно объект важен пользователю (кружка) и какие элементы не важны для решения задачи (возможно, цвет кружки не имеет значения). На основе этой информации система генерирует новые, синтетические данные, изменяя эти «неважные» визуальные представления. Этот процесс называется дополнением данных. Схема состоит из трех этапов. Сначала показывается задача, которая привела к отказу робота. Затем она собирает демонстрацию пользователем желаемых действий и генерирует контрфактические данные, перебирая все признаки в пространстве, которые показывают, что нужно изменить, чтобы робот справился с задачей. Система показывает пользователю эти контрфакты и запрашивает обратную связь, чтобы определить, какие визуальные концепции не влияют на желаемое действие. Затем она использует эту обратную связь для создания множества новых дополненных демонстраций. Таким образом, пользователь может продемонстрировать, как он берет в руки одну кружку, а система, изменив ее цвет, создаст демонстрацию, показывающую требуемое действие с тысячами разных кружек. Эти данные используются для тонкой настройки робота.
От человеческих рассуждений к рассуждениям роботовПоскольку их работа направлена на то, чтобы включить человека в цикл обучения, исследователи протестировали свою методику на людях. Сначала они провели исследование, в котором спросили людей, помогают ли им контрфактические объяснения выявить элементы, которые можно изменить без ущерба для выполнения задачи.
Затем они применили свою схему на трех симуляторах, где роботам ставились задачи: проложить маршрут к целевому объекту, подобрать ключ и открыть дверь, а также подобрать нужный объект и положить его на столешницу. В каждом случае робот обучался быстрее, чем при использовании других методик, и при этом требовал меньше демонстраций от пользователя. В дальнейшем исследователи надеются протестировать эту схему на реальных роботах. Они также хотят сосредоточиться на сокращении времени, которое требуется системе для создания новых данных с помощью генеративных моделей машинного обучения.
18.07.2023 |
Хайтек
![]() | |
Scientific Reports: Создан ультразвуковой настраиваемый ЖК-рассеиватель света | |
Свет необходим для жизни. С момента ... |
![]() | |
APL Materials: Открыт метод лазерной печати для создания запоминающих устройств | |
Цифровые технологии не заменяют печатные.... |
![]() | |
Ученые МИСИС выяснили, как сделать суперконденсаторы ещё круче | |
Исследователи из университета МИСИС усове... |
![]() | |
Учёные МИСИС и ИФХЭ РАН разработали быстрый и дешёвый метод получения вольфрама | |
Учёные из Университета МИСИС и Инсти... |
![]() | |
IEEE Access: Актуатор в реабилитационных перчатках восстановит движение пальцев | |
Мягкие реабилитационные перчатки помогают паци... |
![]() | |
Science Advances: Ученые научились предсказывать водородное охрупчивание | |
При выборе материала для инфраструктурных... |
![]() | |
Учёные одновременно картировали температуру и поток в конвективных микропотоках | |
Исследователи из Токийского столичного ун... |
![]() | |
В ПИШ КАИ создали «мост» к цифровому двойнику композитных преформ | |
Образовательное пространство Технологическое м... |
![]() | |
PRC: Ядерная структура титана-48 меняется при наблюдении с разного расстояния | |
Физики из Osaka Metropolitan University в... |
![]() | |
Nature Physics: Новый коллайдер стал ближе с технологией маршалинга мюонов | |
Эксперименты показали, что мюоны можно ис... |
![]() | |
Опровергнута гипотеза о причине изменения формы сплавов при намагничивании | |
Учёные из Объединённого института ядерных... |
![]() | |
Ученые совершили рывок в локализации электролиза воды с анионообменной мембраной | |
Исследовательская группа под руководством... |
![]() | |
Исследование кристаллографов СПбГУ приведет к созданию более прочной керамики | |
Исследователи из Санкт-Петербургского уни... |
![]() | |
Квантовая томография выходит на новый уровень благодаря российским физикам | |
Учёные из Университета МИСИС и Росси... |
![]() | |
Ученые повысили рабочие характеристики изделий из никелевых суперсплавов | |
В МИСИС представили улучшенную технологию защи... |
![]() | |
Physical Review Letters: Ученые описали альтернативный магнетизм | |
Магнитные материалы традиционно классифицируют... |
![]() | |
Light Sci Appl: Фотонный фонарь, напечатанный в 3D, открывает новые возможности | |
Оптические волны, распространяющиеся по в... |
![]() | |
Nature Materials: Ученые разработали рентген, позволяющий заглянуть в кристалл | |
Группа исследователей из Нью-Йоркского ун... |
![]() | |
Nature: Международная группа ученых решает сложную физическую задачу | |
Сильно взаимодействующие системы играют важную... |
![]() | |
Неоднородная мягкость тел позволяет создавать более мягкие аморфные материалы | |
Ученые из Токийского столичного университ... |
![]() | |
Созданы чернила для 3D-печати гибких устройств без механических соединений | |
Для инженеров, работающих над мягкой робо... |
![]() | |
Инструмент прогнозирования ускорит исследования в области сверхпроводников | |
Функциональность многих современных передовых ... |
![]() | |
В MIT разрабатывают бытовых роботов, наделенных здравым смыслом | |
С помощью большой языковой модели инженеры Мас... |
![]() | |
В двумерных сверхпроводниках открыта незаметная квантовая критическая точка | |
Слабые флуктуации в сверхпроводимости, яв... |
![]() | |
Роняйте на здоровье. Разработан материал для электроники с адаптивной прочностью | |
Неприятности случаются каждый день, и есл... |
![]() | |
2-фотонная фотоэмиссионная спектроскопия помогла понять поведение электронов | |
Органическая электроника — область,... |
![]() | |
Печатный полимер позволяет изучить хиральность и спины при комнатной температуре | |
Печатаемый органический полимер, который при&n... |
![]() | |
Nature Communications: Открыто революционное явление в жидких кристаллах | |
Исследовательская группа, работающая в UN... |
![]() | |
PRL: Ученые продвинулись в управляемом ускорении электронов в микромасштабе | |
Исследователи из Стэнфорда приблизились к... |
![]() | |
Physical Review Applied: Ниобий воскресили для квантовых технологий | |
Когда речь заходит о сверхпроводящих куби... |