Обработка стереоскопического изображения для преобразования из 3D в 2D

Question

Мне интересно, можно ли взять стереоскопическое изображение и суммировать его таким образом, чтобы сделать его моноскопическим, с результирующей точкой обзора в центре, где фактически находятся две точки обзора.

Например, если бы у меня было две камеры на расстоянии около 1 фута друг от друга, каждая из них снимает изображение субъекта на расстоянии 3 фута одновременно, могу ли я взять полученные изображения, обработать их и заставить полученное изображение выглядеть как если это было сделано с 3-й камеры, расположенной в центре двух внешних?

Существуют ли инструменты для такого рода интерполяции? Я помню пару сцен при создании Матрицы , где они говорили о заполнении кадров вращения, и для съемки требовалось всего 4 или 5 камер. (Честно говоря, я также помню ту часть, где у них было множество камер, каждая из которых снимала один кадр.)

Возможно ли это? Если да, то какие инструменты вы бы использовали для этого?

Answer 1

Вы, вероятно, в большинстве случаев можете восстановить изображение, которое выглядит убедительно, но вы не можете воссоздать то, что на самом деле было видно из точки между точками зрения.

Возьмем, к примеру, изображение, сделанное прямо перед деревянным забором, где каждая из двух точек обзора находится в середине панели, так что они обе видят только панель. Точка обзора между ними будет видеть между панелями:

    ^
    |
--- | ---
 o  x  o

Конечно, невозможно воссоздать то, что видно между панелями, из двух изображений панели.

На большинстве изображений были бы определенные углы, которые не были видны ни с одной точки зрения, но были бы видны с точки зрения посередине. Инструмент, который создал бы моноскопическое изображение, должен был бы угадать, что могло быть увидено.

Answer 2

Выезд Пику Пику .

Насколько я могу судить, они используют что-то вроде оптического потока, чтобы найти совпадающие пиксели в двух изображениях, а затем используют информацию о глубине, чтобы создать интерполированное представление с простым предположением ближайшего соседа для отсутствующих пикселей. Он очень хорошо работает на стереоскопических изображениях, с которыми я пробовал, и дает улучшенный эффект по сравнению с покачиванием стереоскопии . Вы можете увидеть заполненные пиксели и некоторые ошибки в этом примере .

Обычно это называется view интерполяция .

Answer 3

Во многих таких случаях, как, например, деревянный забор Гуффы, это невозможно. В некоторых других случаях, таких как бесконечно удаленный фокус, это тривиально. Для всего, что между ними, это действительно очень сложно. Для этого есть программы, в том числе прошивки на Kinect. Хитрость заключается в том, что вам нужно взять два вида и использовать их для создания трехмерной модели мира перед камерой, а затем создать вид на этот мир с нужной точки.

В некоторых текущих проектах Kinect вы можете произвольно перемещать виртуальную точку обзора, глядя на сцену сверху или сбоку. Чем дальше от камер, которые вы перемещаете, тем больше недоступной информации, и, следовательно, тем больше пробелов в результирующем изображении.