Как сделать робота умнее? Запрограммируйте его на познание неизведанного

Современные роботы умеют чувствовать окружающую среду и реагировать на язык, но то, чего они не знают, зачастую важнее того, что они знают. Научить роботов просить о помощи — ключ к тому, чтобы сделать их более безопасными и эффективными.

Инженеры Принстонского университета и Google придумали новый способ научить роботов понимать, что они не знают. Этот метод включает в себя количественную оценку нечеткости человеческого языка и использование этих измерений для того, чтобы подсказать роботам, когда следует спросить дополнительные указания. Сказать роботу, чтобы он взял миску со стола, на котором стоит только одна миска, довольно понятно. Но если сказать роботу взять миску, когда на столе пять мисок, это вызовет гораздо большую степень неопределенности и заставит робота попросить разъяснений.

Поскольку задачи обычно сложнее, чем простая команда «подними миску», инженеры используют большие языковые модели (БЯМ) — технологию, лежащую в основе таких инструментов, как ChatGPT, — для оценки неопределенности в сложных условиях. По словам Анирудхи Маджумдара, доцента кафедры машиностроения и аэрокосмической техники Принстона и старшего автора исследования, в котором описывается новый метод, LLM дают роботам мощные возможности следовать человеческому языку, но результаты работы LLM все еще часто оказываются ненадежными.

Слепое следование планам, сгенерированным LLM, может привести к тому, что роботы будут действовать небезопасным или ненадежным образом, поэтому нам нужно, чтобы наши роботы на основе LLM знали, когда они не знают, — говорит Маджумдар.

Система также позволяет пользователю робота установить целевую степень успеха, которая привязана к определенному порогу неопределенности, что приведет к тому, что робот попросит о помощи. Например, для робота-хирурга пользователь установит гораздо меньшую допустимую погрешность, чем для робота, который убирается в гостиной.

Мы хотим, чтобы робот попросил о помощи настолько, чтобы достичь того уровня успеха, которого хочет пользователь. Но при этом мы хотим свести к минимуму общее количество помощи, которая требуется роботу, — говорит Аллен Рен, аспирант факультета механической и аэрокосмической инженерии Принстона и ведущий автор исследования.

Рен получил награду за лучший студенческий доклад, представленный 8 ноября на конференции по обучению роботов в Атланте. По сравнению с другими методами решения этой проблемы, новый метод позволяет добиться высокой точности при сокращении объема помощи, необходимой роботу.

Исследователи протестировали свой метод на симуляторе роботизированной руки и на двух типах роботов на предприятиях Google в Нью-Йорке и Маунтин-Вью, Калифорния, где Рен работал в качестве студента-исследователя. В одном из аппаратных экспериментов использовалась настольная роботизированная рука, которой было поручено рассортировать набор игрушечных продуктов питания по двум различным категориям; установка с левой и правой рукой добавляла дополнительный уровень двусмысленности.

В самых сложных экспериментах роботизированная рука, установленная на колесную платформу, размещалась на офисной кухне с микроволновой печью и набором контейнеров для переработки, компоста и мусора. В одном из примеров человек просит робота «поставить миску в микроволновку», но на столе стоят две миски — металлическая и пластиковая.

Планировщик робота на основе LLM генерирует четыре возможных действия для выполнения на основе этой инструкции, как ответы на несколько вариантов, и каждому варианту присваивается вероятность. Используя статистический подход, называемый конформным прогнозированием, и заданный пользователем гарантированный процент успеха, исследователи разработали алгоритм, который запускает запрос на помощь человека, когда варианты соответствуют определенному порогу вероятности. В данном случае два первых варианта — поставить пластиковую миску в микроволновую печь или поставить металлическую миску в микроволновую печь — соответствуют этому порогу, и робот спрашивает человека, какую миску поставить в микроволновую печь.

В другом примере человек говорит роботу: «Здесь есть яблоко и грязная губка… Она гнилая. Можете ли вы ее утилизировать?». Это не вызывает вопросов у робота, поскольку действие „положить яблоко в компост“ имеет достаточно большую вероятность быть правильным, чем любой другой вариант.

По словам старшего автора исследования Анирудхи Маджумдара, доцента кафедры механической и аэрокосмической инженерии Принстона, использование техники конформного предсказания, которая оценивает неопределенность языковой модели более строго, чем предыдущие методы, позволяет достичь более высокого уровня успеха, при этом минимизируя частоту срабатывания помощи.

Физические ограничения роботов часто дают конструкторам возможность понять, что абстрактные системы не так легко доступны. Большие языковые модели «могут говорить так, чтобы не мешать разговору, но они не могут пропустить гравитацию», — говорит соавтор исследования Энди Зенг, научный сотрудник Google DeepMind. „Мне всегда интересно посмотреть, что мы можем сделать сначала на роботах, потому что это часто проливает свет на основные проблемы, связанные с созданием интеллектуальных машин“.

По словам Маджумдара, Рен и Маджумдар начали сотрудничать с Цзэном после того, как он выступил с докладом в рамках серии семинаров по робототехнике в Принстоне. Цзэн, получивший в Принстоне докторскую степень по информатике в 2019 году, рассказал об усилиях Google по использованию LLM в робототехнике и поднял некоторые открытые проблемы. Энтузиазм Рена в отношении проблемы калибровки уровня помощи, о которой должен просить робот, привел его к стажировке и созданию нового метода.

По словам Маджумдара, «нам понравилось, что мы смогли использовать масштабы, которыми обладает Google» в плане доступа к большим языковым моделям и различным аппаратным платформам.

Сейчас Рен распространяет эту работу на проблемы активного восприятия для роботов: Например, роботу может потребоваться использовать предсказания для определения местоположения телевизора, стола или стула в доме, когда сам робот находится в другой части дома. Это требует планировщика, основанного на модели, объединяющей информацию о зрении и языке, что ставит новые задачи по оценке неопределенности и определению момента обращения за помощью, говорит Рен.

29.11.2023