Студия для создания 4d-съемки больше не нужна

Ученые из университета Карнеги-Меллон продемонстрировали, что можно комбинировать несколько видео, снятых на разные iPhone с разных сторон, для создания 4d-визуализаций.

Видео, которое получится в результате, позволит зрителям наблюдать за происходящим под разными углами или даже стирать людей и объекты, которые блокируют видимость.

Представьте себе, допустим, свадьбу, где танцоров видно с любого ракурса, а перебравшего гостя, прошедшего неверной походкой на переднем плане, на записи нет.

Видео можно снимать с разных точек обзора независимо друг от друга, как это часто бывает на крупных банкетах или коопоративах, отметил аспирант института робототехники университета Аюш Бансал. Тех, кто в центре внимания, можно снять в одном месте, а после перенести их в другую среду с другими декорациями.

— Мы ограничены только количеством камер, с которых будут вести съемку, сказал Бансал. — Верхнего порога по количеству видеопотоков не существует.

Свой новый метод четырехмерной визуализации Бансал с коллегами представили в ходе виртуальной конференции Computer Vision and Pattern Recognition.

— Виртуальная реальность — это не новшество, но ранее ее можно было формировать только в студии, оснащенной десятками или сотнями камер, встроенными в стены.

Объединить несколько видео, снятых в произвольном месте произвольными камерами, в единую комплексную 3d-сцену было невозможно.

Обойти ограничение Бансалу с коллегами помогли конволюционные нейронные сети — разновидность программы глубинного обучения, которая хорошо зарекомендовала себя в обработке визуальных данных. Ученые выяснили, что эти нейронные сети можно использовать для компоновки различных частей сцены.

Исследователи продемонстрировали возможности метода, снимая на 15 iPhone различные сцены — танцы, демонстрации боевых искусств и фламинго в национальном парке Питтсбурга.

— Почему именно iPhone? Мы хотели показать, что любой человек сможет пользоваться системой, и что теперь студия не имеет границ, она — весь мир, заключил Бансал.

Инновационный метод открывает множество потенциальных применений в киноиндустрии и потребительских устройствах, особенно с учетом того, что популярность гарнитур виртуальной реальности продолжает расти.

Несмотря на то, что метод не всегда фиксирует сцены в полноценном 3d-формате, система может ограничить угол воспроизведения так, чтобы дефектные области не просматривались и иллюзия трехмерного изображения не нарушалась.

02.07.2020

Подписаться: Телеграм | Дзен | Вконтакте


Медиа

Как цифровые двойники помогают брендам стать лидерами
Как цифровые двойники помогают брендам стать лидерами

Новое исследование Университета Суррея показал...

Грибы-убийцы: сериал «Одни из нас» рассказывает о реальной угрозе
Грибы-убийцы: сериал «Одни из нас» рассказывает о реальной угрозе

В трейлере сериала HBO грибок кордицепс заража...

PNAS: ИИ помогает находить, но не учит отличать фейковые новости
PNAS: ИИ помогает находить, но не учит отличать фейковые новости

Многие технологические компании и стартап...

Clinical Psychological Science: Предупреждения об опасном контенте не работают
Clinical Psychological Science: Предупреждения об опасном контенте не работают

Сторонники использования триггерных предупрежд...

Cognition: люди лучше запоминают символы, чем их словесные аналоги
Cognition: люди лучше запоминают символы, чем их словесные аналоги

Повседневные символы запоминаются отлично, уве

Исследование: американские сми становятся все более предвзятыми
Исследование: американские сми становятся все более предвзятыми

Согласно результатам исследования 1,8 млн ...

Социальные сети могут и созидать, и разрушать
Социальные сети могут и созидать, и разрушать

Социальные медиа объединяют людей и усили...

Жители московского коливинга создали бренд одежды
Жители московского коливинга создали бренд одежды

В коливинге проекта Colife жители создали свой...

Неймерам на заметку: на Западе рулят женственные бренды
Неймерам на заметку: на Западе рулят женственные бренды

Ученые из университета Калгари, университ...

Каталоги с дополненной реальностью как маркетинговая стратегия будущего
Каталоги с дополненной реальностью как маркетинговая стратегия будущего

Рекламная полиграфия способна привлекать покуп...

Студия для создания 4d-съемки больше не нужна
Студия для создания 4d-съемки больше не нужна

Ученые из университета Карнеги-Меллон про...

Поиск на сайте

ТОП - Новости мира, инновации

Как метавселенные меняют нашу психику
Как метавселенные меняют нашу психику
CBDC — не крипта, но играть будет по своим правилам
CBDC — не крипта, но играть будет по своим правилам
От редактирования ДНК до колонизации Марса: главные технологии XXI века
От редактирования ДНК до колонизации Марса: главные технологии XXI века
Ловкость волн и никаких проводов: прорыв в фотонных вычислениях
Ловкость волн и никаких проводов: прорыв в фотонных вычислениях
Мозг на паузе: ученые научились отключать нейронные связи и включать их обратно
Мозг на паузе: ученые научились отключать нейронные связи и включать их обратно
Как ехидны выращивают детенышей в бактериальном коконе
Как ехидны выращивают детенышей в бактериальном коконе
Новый метод увеличил емкость аккумуляторов на 60%
Новый метод увеличил емкость аккумуляторов на 60%
Город в термосе: как охладить асфальт и укротить ливни
Город в термосе: как охладить асфальт и укротить ливни
Танцы в воде: зачем фламинго топчутся и щелкают клювами
Танцы в воде: зачем фламинго топчутся и щелкают клювами
Биологи включили турбо-режим для бактериальной эволюции
Биологи включили турбо-режим для бактериальной эволюции
Создан язык, который вытаскивает токсины из цифрового шума
Создан язык, который вытаскивает токсины из цифрового шума
Невидимые горы: почему пляжные дюны появляются за минуты и исчезают навсегда
Невидимые горы: почему пляжные дюны появляются за минуты и исчезают навсегда
Дикие шимпанзе не знают, что такое трудное детство
Дикие шимпанзе не знают, что такое трудное детство
Морщины на пальцах от воды — как отпечатки: уникальны и неизменны
Морщины на пальцах от воды — как отпечатки: уникальны и неизменны
Ножницы для мутаций: можно ли вырезать болезнь из ДНК
Ножницы для мутаций: можно ли вырезать болезнь из ДНК

Новости компаний, релизы

Пробирки, зелень и взрывы: фестиваль для тех, кто любит науку
Бактерии против грибов: как наука защищает картофель без химии
Овцы вместо мышей: как ученые нашли новый способ тестировать материалы для зубов
Ход конем: в Шагонаре прошел первый шахматный турнир для дошколят
Как СПбГУ готовит инженеров для нефтегазовой отрасли — опыт БРИКС