Исследователи из Университета Массачусетса в Амхерсте сделали важный шаг в развитии компьютерного зрения, создав кремниевое устройство, которое одновременно умеет фиксировать и обрабатывать изображения в аналоговом режиме.

Работа, описанная в издании Nature Communications, может серьезно ускорить анализ визуальных данных там, где важны скорость и большой объем информации.

Это мощная ретиноморфная система, — говорит Гуанюй Сюй, профессор электротехники и биомедицинской инженерии. — Мы объединили сенсор и процессор на уровне чипа, почти как в человеческом глазу, где восприятие и обработка происходят одновременно.

Ретиноморфные системы — устройства, имитирующие работу сетчатки глаза: не просто фиксируют свет, но и сразу выделяют важные детали (движение, контуры), сокращая объем данных для дальнейшей обработки.

Современные системы компьютерного зрения работают иначе: камера фиксирует картинку, затем передает ее процессору, который вычленяет нужное.

Например, ваш смартфон снимает все пиксели в кадре, но для распознавания объекта или движения нужно лишь 10% этих данных. Остальное — лишняя нагрузка, из-за которой система тормозит.

Наша технология сокращает задержку между моментом, когда вы что-то увидели, и моментом, когда вы это поняли, — объясняет Сюй.

Его команда разработала два типа кремниевых фотодетекторов:

• Динамический массив — ловит изменения в освещении (например, движение).
• Статический массив — анализирует форму объектов (например, распознает цифры).

В тестах система показала отличные результаты:

• Точность распознавания движений  (ходьба, удары, жесты) — 90% против 77–85% у цифровых аналогов.
• Точность распознавания цифр — 95% против 90% у обычных методов.

Главное преимущество — кремний. Ранние аналоги делали из наноматериалов, что сложно масштабировать. А здесь технология совместима с CMOS — стандартом для микросхем в компьютерах и смартфонах.

Это серьезный прорыв: наша система легко встраивается в существующие чипы и может работать в больших масштабах, — говорит Сюй.

Где это пригодится

• Беспилотники — чем быстрее машина «понимает» дорогу, тем безопаснее езда.
• Биоимиджинг — сейчас ученые получают терабайты лишних данных, а новая система сразу выдает нужную информацию.

Исследование решает две ключевые проблемы: энергоэффективность  (аналоговая обработка требует меньше мощности) и скорость  (нет задержек на передачу данных). Это критично для:

• Медицины — мгновенный анализ снимков без потери качества.
• Робототехники — роботы смогут быстрее реагировать на окружение.
• AR/VR — снизится нагрузка на процессоры в шлемах.

Но главное — технология масштабируема. Если наноматериалы сложно внедрить в массовые устройства, то кремний уже везде.

Пока система тестировалась только в лаборатории на простых задачах (жесты, цифры). Неясно, как она поведет себя в реальном мире с:

• Сложным освещением  (тень, блики).
• Множеством объектов  (например, толпа людей).
  Кроме того, аналоговые системы часто страдают от шумов — как это учтено, авторы не уточняют.

Ранее казанские ученые оснастили компьютетрным зрением беспилотники.