Разработан метод генерации трехмерных голограмм из обычных двухмерных снимков

Голограммы, позволяющие получить трехмерное, или 3D изображение объектов, обеспечивают уровень детализации, недостижимый для обычных двумерных 2D изображений.

Благодаря своей способности создавать реалистичное и захватывающее представление о трехмерных объектах, голограммы обладают огромным потенциалом для использования в различных областях, включая медицинскую визуализацию, производство и виртуальную реальность. Традиционно голограммы строятся путем записи трехмерных данных объекта и взаимодействия света с объектом. Однако этот метод требует больших вычислительных затрат, поскольку для получения трехмерных изображений необходимо использовать специальную камеру. Это делает создание голограмм сложной задачей и ограничивает их широкое применение.

В последнее время для генерации голограмм также было предложено множество методов глубокого обучения. Они позволяют создавать голограммы непосредственно на основе 3D-данных, полученных с помощью RGB-D-камер, которые фиксируют как цветовую, так и глубинную информацию об объекте. Такой подход позволяет обойти многие вычислительные проблемы, связанные с традиционным методом, и представляет собой более простой подход к созданию голограмм.

Теперь группа исследователей под руководством профессора Томоёси Шимобабы (Tomoyoshi Shimobaba) из Высшей инженерной школы Университета Чиба предлагает новый подход, основанный на глубоком обучении, который еще больше упрощает процесс создания голограмм, позволяя получать 3D-изображения непосредственно из обычных цветных 2D-изображений, снятых с помощью обычных камер. Йошиюки Ишии и Томоёши Ито из Высшей инженерной школы Университета Чиба также принимали участие в этом исследовании, результаты которого были опубликованы 2 августа 2023 года в журнале Optics and Lasers in Engineering.

Объясняя смысл этого исследования, профессор Шимобаба сказал:

При реализации голографических дисплеев существует ряд проблем, включая получение трехмерных данных, вычислительные затраты на голограммы и преобразование голограммных изображений в соответствии с характеристиками голографического устройства отображения. Мы предприняли это исследование, поскольку считаем, что глубокое обучение в последние годы стремительно развивается и обладает потенциалом для решения этих проблем.

В предлагаемом подходе используются три глубокие нейронные сети (ГНС) для преобразования обычного двумерного цветного изображения в данные, которые могут быть использованы для отображения трехмерной сцены или объекта в виде голограммы. Первая ДНС использует в качестве входных данных цветное изображение, полученное с помощью обычной камеры, а затем предсказывает соответствующую карту глубины, предоставляя информацию о трехмерной структуре изображения. Как исходное RGB-изображение, так и карта глубины, созданная первой ДНН, затем используются второй ДНН для создания голограммы. Наконец, третья ДНН дорабатывает голограмму, созданную второй ДНН, и делает ее пригодной для отображения на различных устройствах.

Исследователи обнаружили, что время, затрачиваемое предложенным подходом на обработку данных и создание голограммы, превосходит время работы современного графического процессора.

Еще одним немаловажным преимуществом нашего подхода является то, что воспроизводимое изображение конечной голограммы может представлять собой естественное трехмерное воспроизводимое изображение. Более того, поскольку информация о глубине не используется при генерации голограммы, данный подход является недорогим и не требует использования устройств формирования трехмерных изображений, таких как RGB-D камеры, после обучения, — добавляет профессор Шимобаба, обсуждая полученные результаты.

В ближайшем будущем этот подход может найти потенциальное применение в head-up и head-mounted дисплеях для генерации 3D-дисплеев высокой четкости. Аналогичным образом, он может революционизировать создание автомобильного голографического дисплея, который сможет представлять пассажирам необходимую информацию о людях, дорогах и знаках в 3D. Таким образом, предполагается, что предложенный подход откроет путь к развитию повсеместной голографической технологии.

18.10.2023