Как делать снимки с выравниванием по пикселям с помощью цифровой зеркальной фотокамеры и iPhone 7?

Question

План

Итак, я пытаюсь сделать две фотографии, одну с цифровой зеркальной фотокамерой, а другую с iPhone 7. Почему iPhone 7? Это именно то, чем я владею в настоящее время, я хочу, чтобы фотографии были выровнены так, чтобы они были точно такими же. Камера и iPhone будут установлены на штатив, используя стереоскопическое крепление для штатива , например, , iPhone будет использовать , например, .

.

Идея состоит в том, чтобы поместить iPhone и DSLR на штатив и сделать снимок, а затем алгоритмически выровнять фотографии. У меня есть несколько проблем, потому что я немного новичок в фотографии ...

Шестерня

Это для исследовательского проекта, поэтому я могу использовать камеры в долг в моем университете. Вот комбо камеры и объектива, которые я имею в наличии со своими характеристиками:

• Canon 80D с объективом EFS Canon 18-135 мм
• Canon 70D с объективом Tamron 18-200 мм
• Canon 80D с объективом Tamron 18-200 мм

И говорит онлайн , что iPhone 7 имеет следующие характеристики:

Разрешение: 12MP

Датчик: Sony Exmor RS (1,22 мкм, 1/3 ")

Фокусное расстояние: 4 мм (28 мм эфф) 8 мм (56 мм эфф)

Макс. Диафрагма: F / 1,8

Концерны

Так что мой вопрос в том, какие переменные у меня есть здесь, которые мне нужно иметь в виду. Первый - горизонтальное смещение , видимое здесь в грубом макете с использованием фотографий . Я думаю, что это не будет слишком большой проблемой. Мое единственное беспокойство заключается в том, что из-за параллакса перекрывающаяся часть не будет точно такой же точной фотографией, и будет некоторая заметная разница. Это было бы проблемой.

Вторая проблема, с которой я понятия не имею, с чего начать: искажение объектива . Это связано с диафрагмой и фокусным расстоянием, верно? Теоретически, если я вручную установлю фокусное расстояние и диафрагму iPhone такими же, как у зеркальной фотокамеры (что легко сделать с помощью приложений для фотографий), получатся ли изображения точно одинаковыми?

Как мне начать это делать? Это обе большие проблемы, которые я действительно хочу знать, как решить наиболее легко. Я хочу сделать много фотографий рядом, и я пытаюсь определить рабочий процесс / настройку, которые сделают выравнивание фотографий максимально простым и точным , насколько это возможно. Я просто ищу руководство, чтобы знать, с чего начать, что купить и как сделать что-то профессионально.

Не стесняйтесь задавать вопросы, если я пропущу какие-либо важные детали.

Edit:

• Это для проекта ML, где я пытаюсь использовать изображения DSLR как основную правду для улучшения изображений iPhone. Это воссоздание этого исследования . Они используют линейное преобразование и кадрирование, которое очень похоже на ответ @ xiota (Вы умный человек, я рад, что я получил вашу помощь:))

Answer 1

Вход для мусора, Выход для мусора

Большая проблема с использованием фотографий DSLR в качестве "основной истины" для улучшения фотографий на мобильных телефонах заключается в предположении, что фотографии на DSLR обязательно лучше, чем фотографии на мобильных телефонах.

• Можно сделать фотографию DSLR, которая близко соответствует фотографии телефона, точно сопоставив поля зрения и DOF.

• Объективы, которые вы будете использовать, имеют относительно медленную диафрагму F3,5-6,3, что ограничит размытость фона, которую вы можете получить при любом заданном фокусном расстоянии.

• С камерами Canon мне часто трудно получить хорошо экспонированные тени без сглаживания бликов.

• Различные настройки камеры могут выглядеть по-разному.

Другая проблема заключается в том, что айфоны, как считается, уже производят очень хорошие изображения, поэтому количество возможностей для улучшения не так велико, как в других телефонах.

Некоторые идеи обучения нейронной сети

Это всего лишь идеи. Они могут на самом деле не работать.

• Обучение мини нейронных сетей для улучшения конкретных аспектов изображения. Шум, разрешение, цвет ... можно обучать в отдельных подсетях, которые впоследствии объединяются.

• Подсетям не обязательно выводить изображение. Подсеть, корректирующая экспозицию, может вернуть настройки коррекции экспозиции. Подсеть коррекции цвета может возвращать корректировочные кривые.

• Для некоторых подсетей может не потребоваться тренироваться с изображениями, снятыми на разные камеры.

  • Чтобы увеличить разрешение изображения, используйте зеркальное изображение с высоким разрешением вместе с версией с пониженной частотой дискретизации.

  • Чтобы работать с DOF, используйте DSLR-изображения одной и той же сцены и местоположения с разными настройками диафрагмы (рассчитанной в соответствии с настройками телефона).

  • Для коррекции экспозиции используйте изображения, снятые на одном устройстве, но с разными настройками экспозиции.

  • Чтобы уменьшить шум, используйте ISO 100 против других настроек ISO, принятых на том же устройстве. (Для правильной фиксации шумовых характеристик телефона, вероятно, лучше всего использовать телефон. Exif-данные могут использоваться для выбора надлежащим образом обученной подсети для обработки.)

• Некоторые функции, такие как коррекция цвета, могут не нуждаться в точном соответствии, поскольку изображение будет предварительно обработано (например, размытие). Матч должен быть достаточно хорошим. Тогда уже существующие инструменты могут сделать все остальное (align_image_stack).

• Я бы также предложил обучить некоторые подсети для улучшения бликов и бликов, потому что их особенно трудно исправить. Для тренировок используйте изображения, снятые с блендами и без них.

---

Следующее было написано до того, как я узнал, что цель изображений - использовать их в качестве обучающих данных нейронной сети для улучшения фотографий телефона. Хотя некоторые из них оказались непродуктивными, я сохраняю их, потому что они отвечают на вопрос так, как я понял, что их нужно задавать.

Факторы, способствующие различиям в изображениях

Получение двух "одинаковых" фотографий "на уровне пикселей" с двумя разными камерами и объективами практически невозможно по следующим причинам:

• Несоответствующие выходные размеры делают невозможным получение пиксельных изображений.

• Несоответствие соотношений датчиков делает невозможным получение точных изображений.

• Другие несоответствующие характеристики датчика , такие как светочувствительность и цветовая характеристика.

• Несоответствующие настройки камеры , такие как алгоритмы демозаписи и цветовые профили.

• Даже остроумиеПри наличии одинаковой камеры и объектива на штативе может быть сложно подобрать фотографии с такой точностью. Даже малейшее нажатие может привести к тому, что изображения будут отличаться «на уровне пикселей», потому что размеры сенсоров составляют всего около 5 микрон. (Больше для полнокадровых камер. Меньше для камер мобильного телефона.)

• Может быть движение внутри сцены , такое как листья и ветви, качающиеся на ветру.

• Любое смещение узловой точки приведет к различным изображениям. Штативная головка с двумя камерами не работает.

• Объектив поле зрения должно совпадать. (В DSLR используйте фокусное расстояние телефона * коэффициент обрезки.) Увеличение объективов DSLR регулируется вручную. Было бы трудно последовательно делать точные корректировки вручную.

• "Эквивалент" диафрагмы линз должны совпадать. (На цифровой зеркальной камере используйте коэффициент обрезки диафрагмы телефона *.) Часто диафрагмы перемещаются на предварительно установленные уровни с допустимой погрешностью. Необходимые точные значения могут быть недоступны или допустимая погрешность может превышать значение, необходимое для получения точности на уровне пикселей.

• Скорее всего, разные линзы не соответствуют искажениям характеристикам, которые могут включать типы бочонка, подушечка и усы. Смотри также:

  • В чем разница между перспективным искажением и бочкообразным или подушкообразным искажением?

  • Насколько сложно исправить искажение в форме усов?

• Возможно, разные объективы не совпадают хроматическая аберрация .

Подход, который копирует изображения телефона на DSLR

Чтобы изображения были как можно ближе, вы можете попробовать следующее:

1. Нормализуйте размер и соотношение изображений. Возможно, используя центральную обрезку с одинаковыми размерами пикселей во всех камерах.

2. Рассчитать коэффициент кадрирования для нормализованных изображений.

3. Сфотографируйте с помощью iPhone.

4. Используйте высокоточные моторы с контуром обратной связи , чтобы установить камеру DSLR в нужное положение с проверками и настройками изображения iPhone.

5. Используйте высокоточные моторы с контуром обратной связи для настройки фокусного расстояния и диафрагмы DSLR, снова проверяя и настраивая изображение iPhone.

6. Сделайте снимок на DSLR с настройками экспозиции, соответствующими iPhone.

7. Настройка контрастности, яркости и т. Д. Изображения DSLR в соответствии с изображением iPhone.

8. Выровняйте и исправьте изображения с помощью align_image_stack или аналогичного программного обеспечения.

9. Результаты могут все еще не быть идентичными на уровне пикселей.

Answer 2

Нельзя.

Вы можете преодолеть смещение двух линз, используя призму или зеркало, чтобы вы имели одинаковое положение и разделяли луч света.

Теперь вам нужно решить, как обрезать два датчика. Возможно, вам придется отделить телефон и камеру от линз и использовать линзу до того, как свет попадет в призму, чтобы избежать хроматических аберраций и искажений различий в линзах, а затем использовать специальную оптику для фокусировки на датчике другого размера и расстояниях. и чувствительность.

Но даже камеры одной и той же марки и модели изготавливаются из разных кремниевых пластин. Они могут иметь одинаковую структуру, но имеют молекулярные различия на поверхностях и микроразмерах.

Возможно, даже одна и та же камера, на штативе, в управляемой студией среде не может делать точно такие же две фотографии из-за этого квантового уровня шума. Хорошо, возможно, да, но ваш пример не так.

---

Я не понимаю, почему нужно делать один и тот же снимок двумя разными камерами.