Наложение фотографий и термографических изображений

Question

У меня есть две камеры: одна - «видимая», а другая - термографическая, которая, как многие из вас могут знать, это камера, которая фиксирует инфракрасное излучение вместо видимого света.

Я должен наложить изображения, снятые этими двумя камерами. Проблема:

• они зафиксированы в двух разных положениях (коррекция параллакса необходимо)
• они, конечно, имеют различные внутренние параметры

Проблема настройки параллакса заключается в том, что мне нужно автоматически получить расстояние до каждого объекта. Я хочу избежать необходимости в расстоянии (есть бесчисленные ограничения ...). По этой причине мой вопрос следующий:

Если я размещу, исправлю и откалибрую две «видимые» камеры вместо одной (той же модели), чтобы и «видимые» камеры, и инфракрасная камера были копланарными и выровненными по вертикали, я мог бы извлечь промежуточный вид из двух видимых изображения, эмулирующие вид, фактически расположенные в одном и том же месте инфракрасной камеры. Могу ли я избежать таким образом информации о расстоянии?

Надеюсь, вопрос ясен. Спасибо.

Answer 1

Это зависит от геометрии вашей сцены.

Если объект, который вы наблюдаете, в основном плоский (или если вы достаточно далеко от основного объекта, представляющего интерес), то вы можете оценить гомографию на основе положения этой плоскости на двух изображениях. Этот метод используется, например, для панорамной мозаики или для стабилизации.

Гомографию можно определить по расположению 4 точек на обоих изображениях. Это можно сделать вручную или автоматически, см., Например, этот студенческий проект http://cs.brown.edu/courses/cs129/results/final/jcmace/.

Answer 2

В 3D стерео два глаза обычно находятся на расстоянии пары сантиметров. Однако используемые камеры слишком велики, чтобы размещать их рядом.

Одним из распространенных решений является использование стеклянного блока с наполовину посеребренной поверхностью под углом 45 градусов. («Расщепитель луча».) Это перенаправляет половину света на 90 градусов, где вторая камера расположена

Это не будет касаться внутренних параметров, таких как искажение и фокусное расстояние, конечно, но это однократное вычисление. После того, как вы внесли исправление, вы можете применить его в любое время, когда используете эту систему.

Пара недостатков:

• Вы потеряете остановку воздействия, и вам нужно будет компенсировать это
• Часто есть поляризационный эффект. Это, вероятно, не будет иметь большого значения, когда две камеры захватывают разные виды света, но при съемке в режиме стерео это может дать мерцание сцене.

Answer 3

Если у вас есть пара видимых камер сверху и снизу, вы сможете создать вид, соответствующий местоположению тепловой камеры. Самый простой способ - создать карту глубины, используя стерео соответствие, текстуру, отображающую изображение глубины, используя одно из исходных изображений, а затем повторно отрендерить его.

Этот подход имеет некоторые недостатки: точность карты глубины увеличивается с увеличением расстояния между двумя камерами, однако также изменяется и то, что части сцены будут видны только с одной (или ни с одной) камеры, что означает информацию о глубине. отсутствует, оставляя вас с пробелами в реконструкции. Насколько это серьезная проблема, зависит от сложности сцены.

Вы можете найти механическое решение, позволяющее установить видимую и тепловую камеры как можно ближе, тогда достаточно просто обрезать одно из изображений в соответствии с полем обзора другого.