Может ли настройка «универсальная экспозиция» быть практически возможной?

Question

Не уверен, насколько необразован этот вопрос, но мне интересно учиться, поэтому заранее спасибо за вашу снисходительность.

Пленка физически изменяется в течение времени экспонирования. Цифровой датчик, однако, не делает; это просто чтение данных. Есть ли какая-то причина, по которой камера не могла «запомнить», какие показания датчика были в каждой точке воздействия? Это просто данные. Это может быть много данных, но бывают случаи, когда кто-то может захотеть это сделать, нет? Предоставление большей гибкости в постобработке.

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Answer 1

Цифровой датчик на самом деле не лучше всего описывать как «чтение данных». Гораздо лучший способ описать это - «собирать фотоны», которые затем преобразуются в данные путем измерения микроскопических электрических зарядов, которые они производят по истечении периода сбора . Они не имеют возможности непрерывно фиксировать изменяющееся состояние каждого пикселя, поскольку они собирают свет. И в зависимости от того, как мало или сколько света падает на сенсор, может потребоваться много времени, чтобы достаточное количество фотонов попало на сенсор, прежде чем будет сгенерировано что-либо большее, чем случайные данные. С другой стороны, при очень ярком свете иногда все пиксельные лунки могут заполняться так быстро, что любые дополнительные фотоны, падающие на сенсор, теряются.

В первом сценарии собрано недостаточно фотонов, чтобы создать различимую картину через «шум», генерируемый энергией, протекающей через датчик, который используется для сбора напряжений, создаваемых фотонами, попадающими в пиксельные лунки. Таким образом, полезная информация не собирается. Вся ваша фотография темная со случайными пятнами цвета и света.

Во втором сценарии собирается так много фотонов, что каждый пиксель считывается с одинаковым максимальным значением, называемым полным насыщением, и, поскольку каждый пиксель в изображении имеет одинаковое значение, полезная информация не сохраняется. Вся ваша фотография сплошного ярко-белого цвета.

Только когда достаточное количество фотонов попадает на датчик, области с большим количеством фотонов в единицу времени имеют более высокое значение считывания, чем области с меньшим количеством фотонов, поражающих их в единицу времени. Только тогда датчик собрал значимую информацию, которая может различать области различной яркости.

Представьте себе, что вы кладете в своем дворе несколько ведер с водой для сбора капли дождя. Вообразите, что у них всех есть немного воды, но вы бросаете это до того, как вы их разместите. Некоторые из них находятся под карнизом вашего крыша дома. Некоторые из них находятся под большими деревьями во дворе. Некоторые размещен открытым Некоторые находятся под носиком, который сбрасывает вода из ваших желобов во двор. Затем начинается дождь.

Скажем, дождь идет очень короткое время: 15 секунд. Там несколько капель воды в каждом ведре. Но не хватает воды в каждом ведре, чтобы иметь возможность определить, было ли в каждом ведре больше в него попадает дождевая вода или, возможно, осталось еще несколько капель в ведро, когда вы сбросили воду, прежде чем положить ведра во дворе. Поскольку у вас недостаточно данных, чтобы определить сколько осадков выпало на какие части двора, вы свалите все Ведра и ждать дождем снова.

На этот раз идет дождь в течение нескольких дней. К тому времени, когда дождь прекращается каждое ведро во дворе переполнено. Даже если вы довольно некоторые ведра заполняются быстрее, чем другие, у вас нет способ узнать, какие ведра заполнены быстрее и какие ведра заполнен в прошлом. Так что вам нужно снова выгрузить ведра и ждать больше дождя.

На третьей попытке дождь идет три часа, а затем прекращается. Вы выходите во двор и осматриваете свои ведра. Некоторые почти заполнены! У некоторых в них почти нет воды! У большинства есть различные суммы воды между двумя крайностями. Теперь вы можете использовать местоположение каждое ведро, чтобы определить, сколько осадков выпало на каждом участке вашего двора.

Причина, по которой мы изменяем экспозицию в цифровых камерах, заключается в попытке собрать достаточно света, чтобы самые яркие области были почти, но не совсем, насыщенными. В идеале это происходит с камерой с базовой чувствительностью ISO. Иногда, однако, не хватает света, чтобы сделать это. Даже при самой большой доступной диафрагме мы не сможем собрать достаточно света за самое долгое время, которое мы посмели оставить открытым затвором (из-за движения наших объектов). В этом случае мы настраиваем настройку ISO в нашей камере таким образом, чтобы все значения, поступающие с датчика, умножались с коэффициентом, который приводит к наивысшим значениям в точке, где они почти, но не полностью насыщены. К сожалению, когда мы усиливаем сигнал (напряжения, создаваемые фотонами, попадающими в лунки пикселей), мы также усиливаем шум (случайные неравные напряжения, создаваемые током, используемым для сбора напряжений из каждой лунки пикселей). Это приводит к более низкому отношению сигнал / шум , что уменьшает количество деталей, которые мы можем создать из данных, которые мы собрали с датчика.

Существуют и другие технические ограничения, которые не позволяют камерам сохранять «общее количество» количества фотонов, собранных с различными интервалами, когда затвор открыт. Бросьте достаточно денег на проблему и некоторые из этих ограничений можно преодолеть, хотя бы частично. Но либо законы физики должны будут измениться, либо нам нужно полностью изменить способ, которым датчики считают фотоны, прежде чем другие из этих ограничений могут быть преодолены. В конечном итоге технология в некоторых или во всех этих устройствах может заменить способ, которым мы в настоящее время снимаем изображения очень высокого качества, но мы еще далеко от этого.

Answer 2

У нас уже есть некоторые технологии для этого. Наш термин для запоминания показаний датчика в каждой точке экспозиции - «видео», а вы запрашиваете восстановление оптимального неподвижного изображения из нескольких видеокадров.

Для обзора работы Microsoft Research по этому вопросу, начните здесь: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Доступный пример приведен в приложении Synthcam, которое можно использовать для уменьшения шума при слабом освещении путем объединения видеокадров, снятых камерой телефона: https://sites.google.com/site/marclevoy/

Это долгий путь от практического для повседневной фотографии, но возможно, что будущие камеры будут снимать много кадров видео высокой четкости с высокой частотой кадров, позволяя фотографу достичь желаемого результата, выбирая и комбинируя позже.

Обновление в конце 2016 года: когда я писал оригинальный ответ, это было каким-то образом с рынка. В конце 2016 года это кажется намного ближе. Приложение Марка Левоя *1011* "See In The Dark" объединяет несколько видеокадров со стабилизацией на потребительском смартфоне для получения полезных изображений при лунном свете. См. Также камеру Light L16 , которая объединяет несколько маленьких датчиков в одно изображение.

Answer 3

Исходный вопрос основан на неверном предположении (о том, что цифровой датчик не меняет состояние во время экспонирования), но концепция связана с идеей Quanta Image Sensor (QIS), исследованной Эриком Фоссумом .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

QIS - это революционное изменение в способе сбора изображений в камера, которая изобретается в Дартмуте. В QIS цель состоит в том, чтобы подсчитать каждый фотон, попавший на датчик изображения, и обеспечить разрешение 1 млрд или более специализированных фотоэлементов (называется Jots) для каждого датчика, и считывать JOT битовые плоскости сотни или тысячи раз в секунду, что приводит к терабитам / с данных.

Такое устройство (цитируя вопрос)

«помните», какие показания датчика были в каждой точке воздействия

и имея полный набор данных, мы могли бы, например, «изменить» эффективное время экспозиции после того, как была сделана «фотография».

Сегодня это может быть аппроксимировано путем записи видео и объединения кадров в постобработке для имитации более продолжительного времени экспозиции (ограничено производительностью камеры, разрешением режима видео и скоростью затвора, но это показывает идею)

Если QIS работает так, как было обещано, в него также будут добавлены другие интересные функции, такие как улучшенная производительность при слабом освещении, увеличенный динамический диапазон, отсутствие сглаживания, полностью настраиваемая чувствительность (например, в виде пленки), нет настроек ISO, настраиваемое разрешение и шум

Недавнее объявление: http://phys.org/news/2015-09-breakthrough-photography.html

Answer 4

Пленка физически изменяется в течение времени экспонирования. Цифровой датчик, однако, не делает; это просто чтение данных.

Это действительно зависит от типа датчика. Тип CMOS-датчиков, которые используются в современных DSLR, накапливает электрический заряд в каждом пикселе с течением времени, поэтому они, на самом деле, меняются со временем так же, как пленка. Если бы они не работали таким образом, изображение существовало бы только до тех пор, пока был открыт затвор. Датчики CCD (другая распространенная технология для датчиков изображения в фотоаппаратах) также работают таким образом, накапливая свет с течением времени.

Есть ли какая-то причина, по которой фотокамеру нельзя было «запомнить», какие показания датчика были в каждой точке воздействия?

Это именно то, что делает камера, когда записывает изображение. Я думаю, что вы имеете в виду, что если датчик может считывать мгновенную интенсивность света, то вы можете отрегулировать экспозицию после факта на любое значение, которое вы хотите. Как объяснялось выше, это не совсем так, как работает большинство датчиков изображения. С другой стороны, мы можем , а часто делаем совсем немного корректируем экспозицию при постобработке.

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Что касается «запоминания» данных с датчика, то для многих фотографов является нормой . Большинство камер позволяют записывать изображения в формате «RAW», и это в значительной степени данные, считанные с датчика, плюс немного больше данных о настройках камеры в то время. Изображения RAW занимают намного больше места, чем другие форматы, такие как JPEG, но они дают фотографу свободу повторной интерпретации данных позже, так что вы можете легко изменять настройки, такие как цветовая температура и баланс белого при постобработке.

Answer 5

Давайте упростим задачу, чтобы понять, почему мы всегда должны идти на компромиссы.

Давайте изобретем камеру, которую вы хотите, но только с одним монохромным пикселем. Он должен иметь возможность надежно получать и уведомлять процессор о приеме одного фотона. Он также должен иметь возможность принимать и уведомлять процессор о приеме, практически говоря, бесконечно бесконечных фотонов.

Первый случай в ситуации, когда нет света. Второе в случае даже умеренного количества света.

Основная проблема заключается в том, что у нас просто нет технологии для создания датчика с таким широким динамическим диапазоном. Нам всегда придется идти на компромисс, и сейчас мы идем на компромисс, выбирая более высокий диапазон, в котором сенсор может принимать почти бесконечные фотоны и дает нам показания, которые предполагают относительное количество света, попадающего на сенсор. Он их вообще не считает, но действует так, как делают наши глаза - они просто выдают результат, соответствующий количеству фотонов, поражающих их, без попытки подсчета фотонов.

Это еще более усложняется тем фактом, что это собирается со временем.

Идеальный датчик на самом деле был бы больше похож на счетчик Гейгера - он измерял время между фотонами, чтобы дать нам почти мгновенное измерение количества света, падающего на датчик, предполагая, что фотоны относительно равномерно распределены (что не правда, но это удобное предположение, и почему счетчики Гейгера усредняются во времени так же, как камеры).

Квантовые датчики будут иметь по существу ту же проблему. Конечно, они могут ощущать отдельный фотон, но в какой-то момент они приходят достаточно быстро, чтобы вы просто не могли измерить время между ними или даже сосчитать, сколько их приходит за период воздействия.

Таким образом, у нас есть этот компромисс, который требует, чтобы мы или сделали несколько снимков с несколькими экспозициями, или добавили несколько изображений с одинаковой высокой экспозицией вместе, чтобы выявить участки с низкой освещенностью, или разбили входящий свет на два или более путей с помощью разных датчиков с различным динамическим диапазоном, или создавать датчики, которые могут группировать пиксели вместе, или складывать датчики света, или, или, или - есть буквально тысячи способов, с помощью которых фотографы преодолели эту основную проблему за десятилетия с помощью широкого спектра носителей.

Это физическое ограничение, которое вряд ли будет преодолено. У нас никогда не будет камеры * без участия фотографа, которая позволяет принимать все решения при постобработке.

* _{Конечно, если вы измените определение камеры, вы можете быть удовлетворены результатами других процессов, но это в значительной степени субъективно. Реальность такова, что если вы снимаете сцену с помощью камеры, а затем показываете сцену человеку, то изображение, которое вы сняли, будет воспринимать различия из-за внутренних различий между глазами, датчиком изображения и процессом печати. изображение. Фотография так же важна для интерпретации и искусства, как и для съемки света, поэтому фанатичный фокус на «идеальной камере», вероятно, не очень полезен.}

Answer 6

Другие уже объяснили, почему это не будет работать технически. Я хочу коснуться того, почему это не сработает практически .

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Рассмотрите величину различных условий освещения, которые мы можем захотеть сфотографировать. Даже игнорируя такие крайности, как астрофотография (где вы часто фотографируете маленькие пятнышки света, окруженные почти полным черным), у вас все еще есть вечерняя или ночная наземная фотография и ярко освещенные заснеженные зимние пейзажи. Я собираюсь использовать последние два в качестве примера.

Кроме того, я собираюсь предположить, что для точного воссоздания любой желаемой экспозиции мы должны выставить датчик до точки полного насыщения.

Кроме того, я предполагаю, что мы можем считывать значения датчика неразрушающим способом. (Это, вероятно, одна из тех проблем, которые попадают в категорию «бросить достаточно денег на проблему, и это может быть решаемо».)

В случае с ночной фотографией нам нужно было бы выставить датчик на очень долгое время для насыщения всех пикселей, что означает, что любая фотография, независимо от того, что мы на самом деле хотим картина, собирается взять абсурдно долго, чтобы взять. Классическая туристическая картина танцоров в баре на открытом воздухе становится почти невозможной, потому что, ну, вы можете сделать несколько снимков в течение всего вечера. Нехорошо. Поэтому мы не можем подвергаться насыщению, по крайней мере, не без разбора. (Экспонировать некоторый процент насыщенных пикселей одинаково бесполезно, но по разным причинам; попробуйте получить правильную экспозицию, когда фотографируете камин с горящим в нем огнем. Это практически невозможно; как бы вы ни старались, некоторые пикселей будут раздуты или огромные полосы изображения будут ужасно недодержаны.)

При фотографировании ярко освещенного заснеженного ландшафта, такого как зимний пейзаж в дневное время, когда солнце отсутствует, экспозиция, к которой стремится автоматическая система экспозиции камеры («18% серый»), крайне неадекватна. Вот почему вы часто видите фотографии темного снега, где снег выглядит скорее светло-серым, чем белым. Из-за этого мы часто используем настройку положительной компенсации экспозиции , в результате чего снег становится почти насыщенным белым. Однако это означает, что мы не можем полагаться на систему АЭ камеры, чтобы определить, когда нужно закончить экспозицию: если мы это сделаем, такие снимки неизменно будут недоэкспонированы .

Другими словами, воздействие полного насыщения нецелесообразно во многих случаях, и воздействие, чтобы осчастливить систему АЭ, во многих случаях неадекватно. Это означает, что фотографу все равно придется сделать какой-то выбор, , и в этот момент мы как минимум так же хорошо, как и мы, и фотографы привыкли улучшая системы AE и предоставляя фотографу легкий (более легкий?) доступ к настройкам компенсации экспозиции. Увеличивая практически используемый динамический диапазон датчика, мы можем (даже) увеличить широту изменений экспозиции при постобработке; оригинальные цифровые зеркальные фотоаппараты были ужасно дорогими, но по-настоящему ужасными в этом отношении по сравнению с сегодняшними даже моделями начального уровня.

Все это может быть сделано полностью в рамках того, что у нас уже есть. Это не означает, что существенное улучшение полезного динамического диапазона датчика составляет просто , но это, вероятно, намного проще, чем то, что вы предлагаете, и это проблема, с которой у поставщиков есть опыт работы.

Профессионалы почти по определению знают, как использовать оборудование своей профессии. Ничего особенного, если они фотографы или пилоты космических челноков . Особенно, когда это можно сделать без информационной перегрузки, обычно лучше дать пользователю полный контроль над профессиональным оборудованием. На мой взгляд, современные высокопроизводительные зеркальные фотокамеры неплохо справляются с этой задачей.