Новое программное обеспечение позволяет изменять точку съемки и масштабировать видео без съемки нового материала

Благодаря алгоритму, разработанному исследователями из Корнельского университета и Google Research, кинематографисты вскоре смогут стабилизировать дрожащее видео, менять точку съемки, создавать эффекты стоп-кадра, масштабирования и замедленной съемки, не снимая нового материала.

Программное обеспечение, получившее название DynIBar, синтезирует новые ракурсы, используя информацию о пикселях исходного видео, и работает даже с движущимися объектами и нестабильной операторской работой. Эта работа является значительным прогрессом по сравнению с предыдущими, которые позволяли получить лишь несколько секунд видео и часто представляли движущиеся объекты размытыми или нечеткими.

Код для этой исследовательской работы находится в свободном доступе, а между тем проект все еще на ранней стадии разработки и не интегрирован в коммерческие инструменты видеомонтажа.

Несмотря на то, что данное исследование находится на ранней стадии, я очень рад возможности его применения как в личных, так и в профессиональных целях, — сказал Ной Снавели, научный сотрудник Google Research и доцент кафедры информатики Корнельского технологического института и Корнельского колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс.

Снавели представил работу «DynIBaR: Neural Dynamic Image-Based Rendering», на конференции IEEE/CVF 2023 по компьютерному зрению и распознаванию образов, где она была удостоена почетного упоминания в номинации „Лучшая статья“. Ведущим автором исследования был Чжэнци Ли (Zhengqi Li), доктор философии 21-го года, сотрудник Google Research.

За последние несколько лет мы стали свидетелями значительного прогресса в области методов синтеза видов — алгоритмов, которые могут получить набор изображений, запечатлевших сцену с дискретного набора точек обзора, и создать новые виды этой сцены, — сказал Снавели.

Однако большинство из этих методов не справляются со сценами с движущимися людьми или домашними животными, качающимися деревьями и т.д. Это большая проблема, поскольку многие интересные вещи в мире — это движущиеся предметы.

Существующие методы визуализации неподвижных сцен, например, методы, позволяющие придать фотографии трехмерный вид, используют двумерную сетку пикселей изображения и восстанавливают трехмерную форму и внешний вид каждого объекта на фотографии. DynIBar делает еще один шаг вперед, оценивая также перемещение объектов во времени. Однако учет всех четырех измерений создает невероятно сложную математическую задачу.

Исследователи упростили эту задачу, используя разработанный в 1990-х годах подход к компьютерной графике, называемый рендерингом на основе изображений. В то время традиционным методам компьютерной графики было сложно визуализировать сложные сцены с большим количеством мелких деталей, например, листву дерева, поэтому исследователи разработали методы, позволяющие получать изображения сцены, а затем изменять и комбинировать детали для создания новых изображений. Таким образом, большая часть сложности сохранялась в исходном изображении и могла загружаться быстрее.

Мы использовали классическую идею рендеринга на основе изображений, и это делает наш метод способным работать с действительно сложными сценами и длинными видео, — говорит соавтор Цяньцянь Ванг, докторант в области компьютерных наук Корнельского технологического института.

Ванг разработал метод использования рендеринга на основе изображений для синтеза новых видов неподвижных изображений, на который опирается новое программное обеспечение.

Несмотря на достигнутые успехи, эти функции не скоро появятся в вашем смартфоне. Для обработки 10-20 секунд видео даже на мощном компьютере требуется несколько часов. По словам Снавели, в ближайшей перспективе эта технология может найти применение в программах для автономного редактирования видео.

Следующим препятствием будет определение того, как выводить новые изображения, когда в исходном видео отсутствует пиксельная информация, например, когда объект движется слишком быстро или пользователь хочет повернуть точку обзора на 180 градусов. Снавели и Ванг полагают, что в скором времени для восполнения этих пробелов можно будет использовать генеративные методы ИИ, например, генераторы текста в изображение.

11.07.2023


Подписаться в Telegram



Медиа

Clinical Psychological Science: Предупреждения об опасном контенте не работают
Clinical Psychological Science: Предупреждения об опасном контенте не работают

Сторонники использования триггерных предупрежд...

Cognition: люди лучше запоминают символы, чем их словесные аналоги
Cognition: люди лучше запоминают символы, чем их словесные аналоги

Повседневные символы запоминаются отлично, уве

Исследование: американские сми становятся все более предвзятыми
Исследование: американские сми становятся все более предвзятыми

Согласно результатам исследования 1,8 млн ...

Социальные сети могут и созидать, и разрушать
Социальные сети могут и созидать, и разрушать

Социальные медиа объединяют людей и усили...

Жители московского коливинга создали бренд одежды
Жители московского коливинга создали бренд одежды

В коливинге проекта Colife жители создали свой...

Неймерам на заметку: на Западе рулят женственные бренды
Неймерам на заметку: на Западе рулят женственные бренды

Ученые из университета Калгари, университ...

Каталоги с дополненной реальностью как маркетинговая стратегия будущего
Каталоги с дополненной реальностью как маркетинговая стратегия будущего

Рекламная полиграфия способна привлекать покуп...

Студия для создания 4d-съемки больше не нужна
Студия для создания 4d-съемки больше не нужна

Ученые из университета Карнеги-Меллон про...

Фактчекинг не вернет доверие к сми
Фактчекинг не вернет доверие к сми

Журналисты могут вернуть доверие к профес...

Ученые выяснили, у кого есть шансы выжить в Игре престолов
Ученые выяснили, у кого есть шансы выжить в Игре престолов

Персонажи Игры престолов с большей вероят...

Выяснилось, как полиграфия увеличивает продажи
Выяснилось, как полиграфия увеличивает продажи

В последнее время рекламная полиграфия стремит

Следи за лексиконом - и воздастся!
Следи за лексиконом - и воздастся!

В новом исследовании, основанном на психо...

Как выглядит работающий рекламный баннер
Как выглядит работающий рекламный баннер

Баннером принято называть рекламный носитель с...

В приоритете у экспертов - нейрометрическая диагностика бренда
В приоритете у экспертов - нейрометрическая диагностика бренда

01-10 июня 2015 года специалисты исследователь...

Телевизионная реклама стимулирует продажи онлайн
Телевизионная реклама стимулирует продажи онлайн

Многие телевизионные рекламодатели высказывают...

Реклама по ТВ должна быть уместной
Реклама по ТВ должна быть уместной

Грустная телевизионная драма близится к р...

Скорость просмотра имеет значение
Скорость просмотра имеет значение

Казалось бы, давно ли книги и винило...

Ученый предсказал развитие событий в Игре престолов
Ученый предсказал развитие событий в Игре престолов

Ричард Вейл из университета Кентербери в&...

В сми работает больше кофеманов, чем в других отраслях
В сми работает больше кофеманов, чем в других отраслях

Ученые подсчитали, люди каких профессий&n

В Манчестерском университете обнаружен древний амулет
В Манчестерском университете обнаружен древний амулет

В фондах библиотеки Манчестерского университет...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Транзисторы на основе бальзового дерева усилят позиции зеленой электроники
Транзисторы на основе бальзового дерева усилят позиции зеленой электроники
Наноразмерное покрытие ускоряет работу катализаторов на основе наночастиц золота
Наноразмерное покрытие ускоряет работу катализаторов на основе наночастиц золота
Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Scientific Reports: ИИ показал больший творческий потенциал, чем человек
Ecology: Японские медведи в поисках пищи разоряют лесопосадки
Ecology: Японские медведи в поисках пищи разоряют лесопосадки
NSMBio: Исследование проливает свет на истоки неврологических заболеваний
NSMBio: Исследование проливает свет на истоки неврологических заболеваний
British Journal of Anaesthesia: Ученые выявили ошибку в работе пульсоксиметров
British Journal of Anaesthesia: Ученые выявили ошибку в работе пульсоксиметров
FEARC: Археологи используют фундук для реконструкции древних лесных массивов
FEARC: Археологи используют фундук для реконструкции древних лесных массивов
Blood: Создана новая стратегия поиска и уничтожения стволовых клеток лейкемии
Blood: Создана новая стратегия поиска и уничтожения стволовых клеток лейкемии
Лесовосстановления недостаточно для возмещения углерода от заготовки древесины
Лесовосстановления недостаточно для возмещения углерода от заготовки древесины
PRL: Ученые продвинулись в управляемом ускорении электронов в микромасштабе
PRL: Ученые продвинулись в управляемом ускорении электронов в микромасштабе
PNAS Nexus: Хоть горшком назовите, только учитывайте культурные различия
PNAS Nexus: Хоть горшком назовите, только учитывайте культурные различия
Nature Comm: Ошибка Пифагора вынуждает пересмотреть принципы создания музыки
Nature Comm: Ошибка Пифагора вынуждает пересмотреть принципы создания музыки
Открыт антивозрастной эффект витамина D и рецептора в средней кишке дрозофилы
Открыт антивозрастной эффект витамина D и рецептора в средней кишке дрозофилы
Physical Review Applied: Ниобий воскресили для квантовых технологий
Physical Review Applied: Ниобий воскресили для квантовых технологий
Journal of the American Heart Association: Сидячий образ жизни приближает смерть
Journal of the American Heart Association: Сидячий образ жизни приближает смерть

Новости компаний, релизы

НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
НАИРИТ объявит итоги Всероссийского инновационного конкурса 21 февраля
«Инструменты инновационного развития»
«Инструменты инновационного развития»
3 причины перехода с печатной рекламы на цифровую
3 причины перехода с печатной рекламы на цифровую
Виды резервирования серверов для задач АСУ ТП
Виды резервирования серверов для задач АСУ ТП
Выбор клиники и лечащего врача с помощью специализированного сервиса
Выбор клиники и лечащего врача с помощью специализированного сервиса