Почему камеры не фиксируют динамический диапазон, как это делают наши глаза?

Question

Когда я сижу в комнате, где нет света, и я смотрю в окно, я легко вижу интерьер комнаты, даже если фокусируюсь на дереве снаружи.

Почему камера не может сделать изображение, похожее на то, что видят мои глаза? Я думаю, что новые камеры должны легко захватывать этот большой динамический диапазон. Я не верю, что отображение является проблемой, если этот большой динамический диапазон захвачен, потому что он может быть нормализован. В цифровой камере я должен установить экспозицию, которая будет правильно захватывать только внешнюю или внутреннюю сцену.

Это проблема только для цифровых камер или же для пленочных камер?

Подобный вопрос уже обсуждался здесь Как запечатлеть сцену именно так, как мои глаза видят? . Я не говорю о разрешении, фокусировке или деталях. Меня интересует экспозиция или динамический диапазон, подобный тому, когда мы смотрим на одну сцену.

Answer 1

Причина, по которой вы видите такой большой динамический диапазон, заключается не в том, что глаз, как оптическое устройство, может фактически захватить такой диапазон - причина в том, что ваш мозг может объединять информацию от множества и множества «воздействий» от глаза и создать HDR-панораму сцены перед вами.

Глаз довольно плох с точки зрения качества изображения, но он имеет очень высокую «частоту кадров» и может очень быстро изменять чувствительность, направление и фокусировку.

Мозг берет все эти изображения из глаз и создает изображение, которое, как вы думаете, вы видите - это включает в себя детали изображений с различной чувствительностью и даже детали, которые полностью составлены на основе того, что вы ожидаете увидеть. (Это одна из причин, по которой существуют оптические иллюзии - мозг можно обмануть, чтобы «увидеть» вещи, которых на самом деле нет).

Таким образом, вы можете видеть своей камерой точно так же, как своим глазом, просто сделайте много снимков с различными настройками, затем загрузите все в Photoshop, создайте HDR-панораму и используйте «заполнение с учетом содержания», чтобы заполнить пробелы.

Кстати, почему камеры «должны» иметь возможность снимать этот диапазон, а мониторы не должны воспроизводить его? Если технологии, которых не существует, должны существовать, тогда мониторы должны воспроизводить все, что мы видим (и я должен быть в состоянии провести отпуск в отеле с низкой гравитацией на Луне)

Answer 2

У вас может быть небольшое преимущество в динамическом диапазоне датчика по сравнению с камерой, но большая часть того, что имеет значение, заключается в сложной системе автоэкспозиции, саккадах , обработке HDR и системе распознавания сцены. это сохраняется при многократных воздействиях . Человеческий мозг, по крайней мере, так же важен для зрительной системы, как и глаз .

Представленная сцена с очень большим динамическим диапазоном, человеческая зрительная система требует некоторого времени для адаптации. Это не потому, что мы должны регулировать настройку динамического диапазона, а потому, что нам нужно анализировать очень яркие и очень темные части сцены по отдельности, а затем склеивать важные части изображения вместе. Очень много того, что мы «видим», на самом деле зависит от того, что мы уже знаем, что там; мы можем использовать очень мало признаков реальной детализации для заполнения пробелов (и когда нам не хватает реальной информации, мы можем интерполировать - , но не всегда правильно ).

Получение камеры - любой камеры - для работы на этом уровне будет означать разработку системы, которая «знает», на что она смотрит. Мы уже можем сделать «тупую» версию этого, используя различные методы HDR (в вашем конкретном примере, обычно с помощью простой маскировки, где дверной проем будет вырезан из-за воздействия темноты, и версии из-за яркой выдержки, вставленной на свое место). Текущие автоматизированные процессы основаны исключительно на яркости (поскольку они не могут анализировать значение или важность), и имеют тенденцию вызывать очевидные артефакты . И если вы когда-либо видели необработанное 32-битное HDR-комбинированное изображение, которое еще не было отображено в тональном режиме (что, по сути, является той вещью, которую вы получите исключительно за счет увеличения динамического диапазона датчика), вы, вероятно, заметили что изображение очень «плоское» и лишено как локального, так и глобального контраста. Это знание того, что это за сцена, которая позволяет нам делать отображение, чтобы решить, где контраст локально важен. Пока камера не сможет принимать такие же решения, она не сможет создать изображение, похожее на то, что видит ваш мозг.

Answer 3

Это связано с тем, как мозг интерпретирует информацию, предоставляемую глазами (или, иначе говоря, это программное обеспечение, а не аппаратное обеспечение).

Мы видим цвета и детали только в очень узком поле в центре нашего зрения. Чтобы создать детализированное красочное изображение, которое мы воспринимаем, мозг перемещает это центральное место без нашего ведома.

Я не нейробиолог, но само собой разумеется, что, поскольку мозг формирует эту более широкую картинку из множества крошечных снимков, он также выполняет некоторую нормализацию яркости, получая изображение, которое везде выглядит примерно одинаково, несмотря на районы гораздо ярче в реальности. По сути, способность видеть темные и яркие вещи одновременно является иллюзией.

Нет причин, по которым это поведение не может быть воспроизведено цифровыми камерами, а также нет причин, по которым мы не можем сделать датчики, способные к гораздо большему динамическому диапазону за одну экспозицию. На самом деле Fuji изготовила сенсор с очень низкими чувствительными фотосайтами, чтобы запечатлеть дополнительные яркие детали.

Проблема заключается в невозможности отображения изображений с большим динамическим диапазоном. Чтобы отображать такие изображения на стандартном мониторе с низким динамическим диапазоном, вам необходимо выполнить специальную обработку, называемую тональным отображением, которая имеет свой собственный набор недостатков. Большинству потребителей камеры с большим динамическим диапазоном просто доставят больше хлопот.

Answer 4

Резюме:

• Бог сотворил наши глаза.

• Мы производим камеры.

• Мы еще не догнали Бога.

• НО лучшая доступная камера соответствует требованиям, которые вы описываете.

• Есть способы достижения того, что вы хотите. Вы просто решили определить их как не то, что вы хотите. Это ваш выбор.

Уровень освещенности в затемненной комнате с окном, открытым для наружной сцены, может составлять всего около 0,1 люкс (0,1 люмен на квадратный метр). Уровень освещенности наружной сцены может составлять от 10 до тысяч люкс в данной ситуации. Вы описываете.

При внешнем 100 люкс и внутреннем 0,1 люкс это соотношение составляет 1000: 1 или чуть менее 10 бит динамического диапазона. Многие современные камеры могут различать тональные различия на обоих концах этого диапазона, установленного правильно. Если бы уровень света дерева просто насыщал датчик, то у вас было бы около 4 битов уровня в комнате = 16 уровней освещения. так что вы могли бы видеть некоторую степень детализации с самым ярким уровнем, ЗА ИСКЛЮЧЕНИЕМ, что уровень света настолько низок, что глаза будут иметь проблемы с ним.

Если бы уровень освещенности дерева составлял 1000 люкс (= 1% полного солнечного света), вам потребовалось бы около 13 бит динамического диапазона. С этим справятся самые лучшие 35-мм полнокадровые камеры. Регулировка камеры должна быть точной, и вы будете иметь около нулевой тональной информации в комнате. Этот уровень внешнего освещения выше, чем в других условиях, кроме освещенной в ночное время.

Многие современные DSLR среднего и высшего класса имеют встроенную обработку HDR, которая позволяет получить гораздо большие динамические диапазоны путем объединения нескольких изображений. Даже фотография HDR с 2 изображениями легко приспособится к вашей сцене. Мой Sony A77 предлагает HDR до +/- 6 EV 3 кадра. Это даст более 20 бит динамического диапазона - в вашем примере это будет очень адекватное изменение тона в верхнем и нижнем концах.

Answer 5

Глаз не захватывает динамический диапазон. Он сжимает динамический диапазон, и тогда «постобработка» в мозге создает иллюзию динамического диапазона. Сжатый динамический диапазон - вот почему вы можете одновременно видеть тени и освещенные области. «Усиление», так сказать, автоматически запускается в тех частях сетчатки, которая ощущает тени, делает их ярче и уменьшается там, где сетчатка видит освещенные участки. Мозг все еще знает, что он смотрит в тень, поэтому он создает ощущение, что там темно. Происходит своего рода расширение сжатых данных, так что вы не знаете, что динамический диапазон сжат.

Датчики в цифровых камерах могут легко превзойти сетчатку в необработанном динамическом диапазоне. Проблема в том, что вы не контролируете экспозицию для каждой области. Камеры имеют настройки усиления (обычно представленные в терминологии фильма как настройки ISO), которые являются глобальными.

То, что делает глаз, так сказать, похоже на использование «ISO 100» для светлой области и «ISO 800» для темной области одновременно.

Если бы камера могла регулировать усиление для определенных областей пикселей на основе яркости, это, несомненно, было бы полезно, но мы знаем из применения таких эффектов выравнивания усиления в постобработке, что мозг на самом деле не обманывает их. Это не выглядит естественно. Это выглядит естественно только тогда, когда ваш собственный глаз делает это в координации с вашим собственным мозгом.

Answer 6

Это довольно интересный вопрос, если вы дадите ему шанс вместо того, чтобы поднять очевидные причины того, почему камеры уже сделаны такими, какими они были.

Давайте рассмотрим ближайший вариант. Tone Mapping - это метод, в котором низкочастотный фильтр применяется к значениям экспоненты изображения RGBe. Это играет большую роль в том, как глаза видят что-то. Но давайте посмотрим, что наши глаза принимают длинные образы. Они работают больше как видеокамеры, чем фотоаппараты.

Тональное отображение можно было бы значительно улучшить, если бы оно было построено как шейдер GLSL, который работал в режиме реального времени со специальной видеокамерой, которая могла бы захватывать постоянный поток изображений HDR.

В гораздо более упрощенном примере фотографии «HDR» на iPhone представляют собой композиции изображения с низкой и высокой экспозицией, проталкиваемого через процесс тонального отображения, который работает довольно хорошо, если вы его не пробовали. Многие другие потребительские камеры делают подобные вещи.

Существует также захватывающая тема того, как интуиция / намерение / свободная воля играют в то, как ваши глаза калибруются в потоке времени. Если вы смотрите на темную стену и думаете о том, чтобы повернуть голову к ярко освещенному окну, ваш мозг может сказать своим глазам идти вперед и начать закрывать зрачки. Камера с автоматической экспозицией может делать то же самое, но только после того, как в нее попадает слишком много света. Люди, которые работают в кино, тратят много времени на то, чтобы настроить параметры видеокамер на плавность, чтобы они чувствовали себя естественно в сложном кадре. (или освещение сцены таким образом, что настройки камеры на самом деле не нужно настраивать) Но, опять же, единственная причина, по которой эти виды работ работают, это то, что режиссер знает, что должно произойти с камерой, прежде чем это произойдет.

Answer 7

Достаточно материала, чтобы заполнить книгу - но суть в том, что человеческие глаза видят яркость логарифмически, а камеры «видят» яркость линейно.

Таким образом, если вы принимаете условие, когда яркость изменяется от 1 до 10000 (случайно выбранное число), в базе 10 журналов человеческий глаз будет видеть яркость от 0 до 5, в то время как камера, линейно, видит ее как 1 до 10000. Построить датчик, который может покрывать такой большой диапазон, сложно, так как у вас есть шум, мешающий низким измерениям, и переполнение, мешающее измерениям с более высокой яркостью. Сказав это, я считаю, что есть КРАСНАЯ камера, которая может записывать 18 ступеней динамического диапазона - хотя я не уверен, что это только опытный образец или серийная модель.

Между прочим, логарифмическая и линейная разница также объясняет, почему яркость удваивается или уменьшается вдвое на одну остановку.

Но этого достаточно для темы исследования, так что это всего лишь краткий указатель.

Answer 8

Проблема только в цифровых камерах или в пленочных?

Ни один из ответов еще не коснулся этого, по крайней мере, напрямую ... да, это тоже очень большая проблема с фильмом. Например, знаменитая цветная прозрачная пленка Fuji Velvia имеет по-настоящему гнилой динамический диапазон (хотя и великолепный цвет!). В общем, прозрачная пленка страдает от этого. С другой стороны, негативные пленки могут иметь очень хороший динамический диапазон, примерно такой же, как лучшие современные цифровые камеры. Однако он обрабатывается немного по-другому - хотя у цифрового линейный отклик на свет, пленка имеет встроенную контрастную кривую с маркировкой «S». Черные и почти черные, а также белые и почти белые сгруппированы больше, чем средние тона.

Имейте в виду, что поскольку фотографии на пленках, как правило, печатаются чернилами на белом фоне бумаги, существует не слишком щедрое ограничение на то, какой динамический диапазон требуется для съемки в первую очередь! Взять, скажем, динамический диапазон в тридцать ступеней, а затем вывести его на ... что такое приблизительный DR фотографического отпечатка? Пять остановок? Шесть? ... выходной носитель будет выглядеть ... странно, если не сказать больше. Я подозреваю, что именно этот фактор больше, чем любые непреодолимые препятствия с химией, которая ограничивает динамический диапазон фотопленки. Не то чтобы мы не могли сделать это, а то, что мы активно не хотим сделать это.

Answer 9

Самой большой проблемой было бы воспроизведение захваченного изображения.

Это не выходит за рамки технологий, чтобы создать датчик изображения и конфигурацию, которая будет захватывать чрезвычайно широкий диапазон уровней яркости в одном изображении. В конце концов, это всего лишь вопрос счета фотонов, который является технологией, которая масштабируется до необходимых уровней. Текущие камеры в основном используют настройки экспозиции для модуляции яркости, которую видит датчик, хотя большую часть этой работы можно * сделать в датчике , возможно, это приведет к большему шуму ошибок, но вы, безусловно, можете получить более широкий диапазон из датчика фото, чем то, что в настоящее время доступно на рынке.

Но проблема заключается в следующем: Как только вы получите эту картинку, что вы делаете с ней? Даже на высококачественных дисплеях по-прежнему используется 24-битный цвет, то есть только 256 оттенков на цветовой канал разрешен. Текущие принтеры так же ограничены, если не больше. Так что на самом деле ничто не могло бы быть выполнено с таким изображением без какой-либо предварительной обработки, чтобы уменьшить диапазон до того, что производят существующие камеры.

Возможно, вы уже сталкивались с этой проблемой раньше: большинство современных форматов RAW уже хранят более широкий диапазон, чем может быть воспроизведено, и диапазон цветов уже должен быть сжат или обрезан, прежде чем вы сможете посмотреть на изображение. Добавление еще большего диапазона к выходу RAW будет просто таким же. Камера, вероятно, будет значительно дороже, но снимки не будут значительно лучше, потому что вам все же придется сократить диапазон до 24-битного цвета, прежде чем вы сможете на него смотреть.

Тем не менее, возможно, с правильным программным обеспечением и подходящим типом пользователя, вы сможете получить из этого что-то замечательное. Вероятно, это будет не очень похоже на текущую фотографию HDR, но вам не нужно будет делать несколько снимков.