EgoTouch — это система, которая позволяет управлять интерфейсом виртуальной реальности при помощи ладони. Ее разрабатывает аспирант Вимал Моллин вместе с коллегами из Института взаимодействия человека и компьютера при Университете Карнеги-Меллона.

Система EgoTouch работает иначе, чем привычные способы управления в VR-мире. Она дает возможность управлять виртуальной реальностью с помощью прикосновений к специальным интерфейсам на руке. Это быстрее, удобнее и точнее, чем обычные способы управления.

Сейчас для работы нательных интерфейсов нужны специальные камеры с датчиком глубины. Они отслеживают, где находится часть тела, на которой отображается интерфейс в виртуальной реальности, и палец, который выполняет выбор на этом интерфейсе.

EgoTouch работает по-другому. Он использует обычную камеру на VR-гарнитуре.

Когда пользователь нажимает пальцем на свою ладонь, камера улавливает изменения на коже. Благодаря этому можно понять, какие опции выбирает человек в виртуальном мире.

Команда Моллина обучила алгоритм, попросив группу добровольцев поучаствовать в эксперименте. На голову участников надевали камеру, которая записывала цветное видео. В это время участники должны были нажимать указательным пальцем на разные места своей ладони. При этом они не видели сенсорного датчика, который был прикреплен к нижней стороне пальца.

Алгоритм сопоставил данные с камеры и данные с датчика. Так он узнал, какие картинки соответствуют разным местам на ладони, а также интенсивности и длительности прикосновений. Важно, что у добровольцев были разные оттенки кожи и разное количество волос на руках, а данные записывались при разном освещении.

Когда пришло время тестировать систему EgoTouch, она правильно определила прикосновение к ладони в 96 случаях из 100, а ложные срабатывания были только в 5% случаев. Также система точно определяла, было ли прикосновение мягким или жестким, и распознавала такие действия, как нажатие, поднятие и перетаскивание — все это срабатывало в 98% случаев.

Мы создали систему, которая работает с камерой, уже встроенной в гарнитуры. Нашим моделям не нужна дополнительная настройка — они готовы к использованию сразу. Теперь мы можем воплотить в жизнь идеи по созданию интерфейсов на коже, которые раньше были только в теории, — заключает Моллин.

Статья об этом исследовании опубликована в Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology.