Благодаря алгоритму, разработанному исследователями из Корнельского университета и Google Research, кинематографисты вскоре смогут стабилизировать дрожащее видео, менять точку съемки, создавать эффекты стоп-кадра, масштабирования и замедленной съемки, не снимая нового материала. Программное обеспечение, получившее название DynIBar, синтезирует новые ракурсы, используя информацию о пикселях исходного видео, и работает даже с движущимися объектами и нестабильной операторской работой. Эта работа является значительным прогрессом по сравнению с предыдущими, которые позволяли получить лишь несколько секунд видео и часто представляли движущиеся объекты размытыми или нечеткими. Код для этой исследовательской работы находится в свободном доступе, а между тем проект все еще на ранней стадии разработки и не интегрирован в коммерческие инструменты видеомонтажа.
Снавели представил работу «DynIBaR: Neural Dynamic Image-Based Rendering», на конференции IEEE/CVF 2023 по компьютерному зрению и распознаванию образов, где она была удостоена почетного упоминания в номинации „Лучшая статья“. Ведущим автором исследования был Чжэнци Ли (Zhengqi Li), доктор философии 21-го года, сотрудник Google Research.
Существующие методы визуализации неподвижных сцен, например, методы, позволяющие придать фотографии трехмерный вид, используют двумерную сетку пикселей изображения и восстанавливают трехмерную форму и внешний вид каждого объекта на фотографии. DynIBar делает еще один шаг вперед, оценивая также перемещение объектов во времени. Однако учет всех четырех измерений создает невероятно сложную математическую задачу. Исследователи упростили эту задачу, используя разработанный в 1990-х годах подход к компьютерной графике, называемый рендерингом на основе изображений. В то время традиционным методам компьютерной графики было сложно визуализировать сложные сцены с большим количеством мелких деталей, например, листву дерева, поэтому исследователи разработали методы, позволяющие получать изображения сцены, а затем изменять и комбинировать детали для создания новых изображений. Таким образом, большая часть сложности сохранялась в исходном изображении и могла загружаться быстрее.
Ванг разработал метод использования рендеринга на основе изображений для синтеза новых видов неподвижных изображений, на который опирается новое программное обеспечение. Несмотря на достигнутые успехи, эти функции не скоро появятся в вашем смартфоне. Для обработки 10-20 секунд видео даже на мощном компьютере требуется несколько часов. По словам Снавели, в ближайшей перспективе эта технология может найти применение в программах для автономного редактирования видео. Следующим препятствием будет определение того, как выводить новые изображения, когда в исходном видео отсутствует пиксельная информация, например, когда объект движется слишком быстро или пользователь хочет повернуть точку обзора на 180 градусов. Снавели и Ванг полагают, что в скором времени для восполнения этих пробелов можно будет использовать генеративные методы ИИ, например, генераторы текста в изображение. 11.07.2023 |
Медиа
PNAS: ИИ помогает находить, но не учит отличать фейковые новости | |
Многие технологические компании и стартап... |
Использование прозвища бренда — не самая лучшая маркетинговая идея | |
Выгодно ли компаниям использовать прозвищ... |
Эксперт МХПИ поведала о плюсах и минусах фиолетового цвета в корпоративном стиле | |
Фиолетовый цвет в корпоративном стиле мож... |
«Литнет» выяснил, каким классическим произведениям нужны продолжения | |
Читателей интересует, что же было дальше ... |
Journal of Marketing: Сила бренда важна при создании стимулов продаж в ритейле | |
Исследователи из университетов Уэйк Форес... |
Московский Политех открывает «Книгу будущего» для развития инновационных изданий | |
Московский Политех открывает Передовую издател... |
Scientific Reports: Новые технологии снизили сложность песен за последние 70 лет | |
Сложность популярных песен в США, е... |
Canadian Journal of Political Science: Классические новости сменил инфотейнмент | |
Есть много причин для беспокойства о ... |
Clinical Psychological Science: Предупреждения об опасном контенте не работают | |
Сторонники использования триггерных предупрежд... |
Cognition: люди лучше запоминают символы, чем их словесные аналоги | |
Повседневные символы запоминаются отлично, уве |
Временный бесплатный доступ увеличивает число подписчиков на новостных сайтах | |
Новое исследование показало, что когда но... |
New Media and Society: Автиоритетные издания и фейкометы ловят хайп на разных темах | |
Первое в своем роде исследование, проведе... |
Исследование: американские сми становятся все более предвзятыми | |
Согласно результатам исследования 1,8 млн ... |
Новое программное обеспечение позволяет изменять точку съемки и масштабировать видео без съемки нового м... | |
Благодаря алгоритму, разработанному исследоват... |
Чтение негативных новостей о климате способно побудить людей к активным действиям | |
Группа исследователей из штата Пенсильван... |
Социальные сети могут и созидать, и разрушать | |
Социальные медиа объединяют людей и усили... |
КФУ представил нейромаркетинговую лабораторию на Российском венчурном форуме | |
Казанский федеральный университет представил с... |
Жители московского коливинга создали бренд одежды | |
В коливинге проекта Colife жители создали свой... |
Неймерам на заметку: на Западе рулят женственные бренды | |
Ученые из университета Калгари, университ... |
Каталоги с дополненной реальностью как маркетинговая стратегия будущего | |
Рекламная полиграфия способна привлекать покуп... |
Студия для создания 4d-съемки больше не нужна | |
Ученые из университета Карнеги-Меллон про... |
Как менялась информационная повестка в сфере науки и инноваций с 2010 года | |
Наступил 2019 год, и мы решили прове... |
Фактчекинг не вернет доверие к сми | |
Журналисты могут вернуть доверие к профес... |
Ученые выяснили, у кого есть шансы выжить в Игре престолов | |
Персонажи Игры престолов с большей вероят... |
Выяснилось, как полиграфия увеличивает продажи | |
В последнее время рекламная полиграфия стремит |
Следи за лексиконом - и воздастся! | |
В новом исследовании, основанном на психо... |
Научно установлено, какая инфографика наиболее эффективна | |
Facebook* и Pinterest любят инфографику. ... |
Как выглядит работающий рекламный баннер | |
Баннером принято называть рекламный носитель с... |
В приоритете у экспертов - нейрометрическая диагностика бренда | |
01-10 июня 2015 года специалисты исследователь... |
Телевизионная реклама стимулирует продажи онлайн | |
Многие телевизионные рекламодатели высказывают... |