Инженеры компании Google разработали компьютерный алгоритм, который способен создавать видеоролики на основании нескольких статических фотографий. Система DeepStereo может проанализировать несколько отличающихся изображений одной сцены. Затем на снимках выделяются различные объекты, а изображения комбинируются в анимационный ролик.
При этом алгоритм способен воссоздавать недостающие фрагменты и заполнять пустые места, которые могут образовываться в результате смещения точки обзора. Также автоматически прогнозируется и отображается изменение перспективы сцены. Фактически, система создаёт недостающие изображения, которые могли бы существовать при непрерывной съёмке и перемещении камеры в пространстве. Результат работы DeepStereo можно просмотреть на видео.
Сетевая архитектура, которая стоит за DeepStereo, является достаточно сложной и основана на различных предыдущих проектах. Упрощая объяснение принципа работы алгоритма, авторы DeepStereo говорят о двух “башнях” (или сетевых архитектурах), которые используются в работе. Одна из них прогнозирует глубину пикселей на основании имеющихся двумерных данных. Вторая прогнозирует цвет. Совместно они прогнозируют глубину и цвет объектов в 2D изображениях и, в конечном итоге, синтезируют полноценное видео. (Google/NovostIT)