Разработан новый скоростной способ обучения роботов

Представьте себе, что вы покупаете робота для выполнения бытовых задач. Этот робот был создан и обучен на заводе определенному набору задач и никогда не видел предметов в вашем доме.

Когда вы попросите его взять кружку с вашего кухонного стола, он может не узнать вашу кружку (возможно, потому, что на ней нарисовано необычное изображение, скажем, талисмана Массачусетского технологического института — бобра Тима). Таким образом, робот не справится с задачей.

Сейчас, когда мы обучаем этих роботов, мы не знаем причин их отказа. Поэтому вы просто разводите руками и говорите: «Ладно, придется начинать все сначала». Важнейшим компонентом, которого не хватает в этой системе, является возможность демонстрации роботом причин неудачи, чтобы пользователь мог дать ему обратную связь, — говорит Энди Пенг, аспирант кафедры электротехники и вычислительной техники (EECS) Массачусетского технологического института.

Пенг и ее коллеги из Массачусетского технологического института, Нью-Йоркского университета и Калифорнийского университета в Беркли создали систему, которая позволяет человеку быстро и с минимальными усилиями научить робота тому, что он хочет сделать.

Когда робот терпит неудачу, система с помощью алгоритма генерирует контрфактические объяснения, описывающие, что должно было измениться, чтобы робот добился успеха. Например, возможно, робот смог бы поднять кружку, если бы она была определенного цвета. Система показывает эти контрфактические объяснения человеку и просит его высказать свое мнение о причинах неудачи робота. Затем система использует эту обратную связь и контрфактические объяснения для генерации новых данных, которые используются для тонкой настройки робота.

Тонкая настройка заключается в изменении модели машинного обучения, которая уже была обучена выполнять одну задачу, с тем чтобы она могла выполнять вторую, аналогичную задачу.

Исследователи протестировали эту методику на симуляторах и обнаружили, что она позволяет обучать роботов более эффективно, чем другие методы. Роботы, обученные по этой схеме, показали лучшие результаты, а процесс обучения занял меньше времени у человека.

Такая схема может помочь роботам быстрее осваиваться в новых условиях, не требуя от пользователя технических знаний. В перспективе это может стать шагом к тому, чтобы роботы общего назначения могли эффективно выполнять повседневные задачи для пожилых людей или людей с ограниченными возможностями в различных условиях.

В работе Пенга, ведущего автора, принимают участие соавторы Авив Нетаньяху, аспирант EECS, Марк Хо, доцент Технологического института Стивенса, Тяньмин Шу, постдок MIT, Андреа Бобу, аспирант UC Berkeley, и старшие авторы Джули Шах, профессор аэронавтики и астронавтики MIT и директор группы интерактивной робототехники в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), и Пулкит Агравал, профессор CSAIL. Результаты исследования будут представлены на Международной конференции по машинному обучению.

Обучение на рабочем месте

Роботы часто терпят неудачу из-за смены распределения — роботу предъявляются объекты и пространства, которых он не видел во время обучения, и он не понимает, что делать в этой новой среде.

Одним из способов переучивания робота на выполнение конкретной задачи является имитационное обучение. Пользователь может продемонстрировать правильную задачу, чтобы научить робота, что нужно делать. Если пользователь пытается научить робота поднимать кружку, но демонстрирует белую кружку, робот может усвоить, что все кружки белые. Тогда он не сможет поднять красную, синюю или коричневую кружку «Тим-Бобер».

Обучение робота распознаванию того, что кружка — это кружка, независимо от ее цвета, может занять тысячи демонстраций.

Я не хочу демонстрировать 30 000 кружек. Я хочу продемонстрировать только одну кружку. Но затем мне нужно обучить робота, чтобы он понял, что может взять кружку любого цвета, — говорит Пенг.

Для этого система исследователей определяет, какой именно объект важен пользователю (кружка) и какие элементы не важны для решения задачи (возможно, цвет кружки не имеет значения). На основе этой информации система генерирует новые, синтетические данные, изменяя эти «неважные» визуальные представления. Этот процесс называется дополнением данных.

Схема состоит из трех этапов. Сначала показывается задача, которая привела к отказу робота. Затем она собирает демонстрацию пользователем желаемых действий и генерирует контрфактические данные, перебирая все признаки в пространстве, которые показывают, что нужно изменить, чтобы робот справился с задачей.

Система показывает пользователю эти контрфакты и запрашивает обратную связь, чтобы определить, какие визуальные концепции не влияют на желаемое действие. Затем она использует эту обратную связь для создания множества новых дополненных демонстраций.

Таким образом, пользователь может продемонстрировать, как он берет в руки одну кружку, а система, изменив ее цвет, создаст демонстрацию, показывающую требуемое действие с тысячами разных кружек. Эти данные используются для тонкой настройки робота.

Создание контрфактических объяснений и получение обратной связи от пользователя очень важны для успешного применения этой технологии, — считает Пенг.

От человеческих рассуждений к рассуждениям роботов

Поскольку их работа направлена на то, чтобы включить человека в цикл обучения, исследователи протестировали свою методику на людях. Сначала они провели исследование, в котором спросили людей, помогают ли им контрфактические объяснения выявить элементы, которые можно изменить без ущерба для выполнения задачи.

Это было настолько очевидно, что сразу стало понятно. Люди так хороши в этом типе контрфактических рассуждений. И именно этот контрфактический шаг позволяет перевести человеческие рассуждения в рассуждения роботов таким образом, чтобы они имели смысл, — говорит она.

Затем они применили свою схему на трех симуляторах, где роботам ставились задачи: проложить маршрут к целевому объекту, подобрать ключ и открыть дверь, а также подобрать нужный объект и положить его на столешницу. В каждом случае робот обучался быстрее, чем при использовании других методик, и при этом требовал меньше демонстраций от пользователя.

В дальнейшем исследователи надеются протестировать эту схему на реальных роботах. Они также хотят сосредоточиться на сокращении времени, которое требуется системе для создания новых данных с помощью генеративных моделей машинного обучения.

Мы хотим, чтобы роботы делали то же, что и люди, и чтобы они делали это семантически осмысленно. Человек, как правило, работает в абстрактном пространстве, где он не задумывается о каждом свойстве изображения. В конечном счете, речь идет о том, чтобы дать роботу возможность выучить хорошее, похожее на человеческое представление на абстрактном уровне, — говорит Пенг.

18.07.2023


Подписаться в Telegram



Хайтек

В MIT разрабатывают бытовых роботов, наделенных здравым смыслом
В MIT разрабатывают бытовых роботов, наделенных здравым смыслом

С помощью большой языковой модели инженеры Мас...

Nature Communications: Открыто революционное явление в жидких кристаллах
Nature Communications: Открыто революционное явление в жидких кристаллах

Исследовательская группа, работающая в UN...

Physical Review Applied: Ниобий воскресили для квантовых технологий
Physical Review Applied: Ниобий воскресили для квантовых технологий

Когда речь заходит о сверхпроводящих куби...

Nature Communications: Совершен прорыв в создании квантовых материалов
Nature Communications: Совершен прорыв в создании квантовых материалов

Исследователи из Калифорнийского универси...

PNAS: Клеточный каркас разобрали на микроскопические пути
PNAS: Клеточный каркас разобрали на микроскопические пути

Исследователи из Принстона применили спле...

Детекторы космических лучей для TAIGA- Muon запустят в серию в ТПУ
Детекторы космических лучей для TAIGA- Muon запустят в серию в ТПУ

Ученые из Томского политехнического униве...

Physical Review Letters: Открыт материал с большим невзаимным поглощением света
Physical Review Letters: Открыт материал с большим невзаимным поглощением света

В основе глобальной интернет-связи лежит оптич...

Applied Surface Science: Открыт путь к мемристорам нового поколения
Applied Surface Science: Открыт путь к мемристорам нового поколения

Мемристорные устройства представляют собой кат...

Frontiers of Optoelectronics: Прогресс в области двумерных полупроводников
Frontiers of Optoelectronics: Прогресс в области двумерных полупроводников

Замещающее легирование чужеродными элементами ...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

EGU: В золоте дураков все-таки нашли ценный компонент
EGU: В золоте дураков все-таки нашли ценный компонент
Исследователи изучают влияние сольватации и валентности ионов на металлополимеры
Исследователи изучают влияние сольватации и валентности ионов на металлополимеры
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
Инженеры воссоздали голопалубу Star Trek с помощью ChatGPT и видеоигр
«Литнет» выяснил, что привлекает читателей в книгах о космосе
«Литнет» выяснил, что привлекает читателей в книгах о космосе
Инженеры создают более выгодную сеть для распределения солнечной энергии
Инженеры создают более выгодную сеть для распределения солнечной энергии
New England Journal of Medicine: Упреждающая ангиопластика не улучшает прогноз
New England Journal of Medicine: Упреждающая ангиопластика не улучшает прогноз
IC: Исследователи тестируют биологическую безвредность нейроморфной сети
IC: Исследователи тестируют биологическую безвредность нейроморфной сети
JSPR: Между кортизолом и социальной поддержкой в семейных парах нашли связь
JSPR: Между кортизолом и социальной поддержкой в семейных парах нашли связь
GBE: ДНК древних пингвинов Адели выявило повторы возрастом сотни миллионов лет
GBE: ДНК древних пингвинов Адели выявило повторы возрастом сотни миллионов лет
Molecular Psychiatry: Выяснилось, как изменение экспрессии генов вызывает аутизм
Molecular Psychiatry: Выяснилось, как изменение экспрессии генов вызывает аутизм
Шёнингенские копья доказали: 300 000 лет назад древесина была важнейшим сырьем
Шёнингенские копья доказали: 300 000 лет назад древесина была важнейшим сырьем
NatComm: Машинное обучение поможет создать вертикально-осевые ветряные турбины
NatComm: Машинное обучение поможет создать вертикально-осевые ветряные турбины
Acta Biomaterialia: Созданы трансплантаты, похожие на реальное человеческое ухо
Acta Biomaterialia: Созданы трансплантаты, похожие на реальное человеческое ухо
В двумерных сверхпроводниках открыта незаметная квантовая критическая точка
В двумерных сверхпроводниках открыта незаметная квантовая критическая точка
В MIT разрабатывают бытовых роботов, наделенных здравым смыслом
В MIT разрабатывают бытовых роботов, наделенных здравым смыслом

Новости компаний, релизы

НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
«Инструменты инновационного развития»
«Инструменты инновационного развития»
3 причины перехода с печатной рекламы на цифровую
3 причины перехода с печатной рекламы на цифровую
Виды резервирования серверов для задач АСУ ТП
Виды резервирования серверов для задач АСУ ТП
Выбор клиники и лечащего врача с помощью специализированного сервиса
Выбор клиники и лечащего врача с помощью специализированного сервиса