Почему камеры не записывают световые данные по всему затвору?

Question

Извините, если название вопроса вводит в заблуждение, я не знаю, как лучше это сформулировать, поэтому смело меняйте его, если можете придумать что-нибудь получше. Я узнал, что электронные затворы могут захватывать изображение сразу, вместо того чтобы использовать механический затвор, который использует занавес. Это дало мне идею. Допустим, данный снимок будет правильно экспонирован с интервалом 1/200 с, но динамический диапазон изображения слишком широк, чтобы камера могла сделать снимок.

Почему нельзя использовать камеру с электронным затвором непрерывно захватывать и записывать световые данные с изображения на протяжении всей продолжительности затвора вместо простого сбора световых данных и, наконец, их одна картина? Это все равно что видеть комнату, начинающуюся с темноты и постепенно увеличивающуюся в яркости. После этого камера сможет захватывать весь динамический диапазон изображения и компилировать данные в изображение со всем динамическим диапазоном всего за одну фотографию вместо необходимости многократных экспозиций для HDR. Это также позволило бы регулировать экспозицию при постобработке без потери любой информации, поскольку камера сохраняла данные о освещении от всего диапазона экспозиций. Почему эта идея в настоящее время не реализуется?

Answer 1

Это было сделано в рентгеновских лучах.

TimePix - это детектор 256x256. Имеет три режима работы :

• обычная «полная энергия в этом пикселе с тех пор, как мы начали интегрирование»;
• Time-over-Threshold (TOT): обнаруженная высота импульса записывается в счетчик пикселей в режиме TOT; и
• Время прибытия (TOA): режим TOA измеряет время между триггером и приходом излучения в каждый пиксель.

Эта технология была адаптирована для оптической визуализации . Режим TOT лучше всего описывается как действующий как АЦП Уилкинсона - показания соответствуют общему времени, когда накопленный заряд находится на или выше порогового значения. Вычитание этого из времени затвора говорит вам, сколько времени потребовалось для насыщения этого пикселя. Таким образом, для каждого пикселя вы можете нарисовать линию от 0 до насыщения с течением времени с момента открытия затвора. Таким образом, вы можете выбрать любое необходимое время виртуального затвора (при условии, что все пиксели насыщены) и использовать линию каждого пикселя, чтобы оценить его накопленный свет до этого времени виртуального затвора.

---

A Более прямая реализация вашей идеи была сделана в CMOS. Каждый пиксель записывает и сообщает о времени достижения порогового заряда. (Вместо того чтобы АЦП пиксели, которые не насыщаются во времени, порог сметается, поэтому каждый пиксель в конечном итоге превышает достаточно сниженный порог.)

---

Напомню, что Pixel Digital Pixel System ( пример ) также делала это, используя АЦП на пиксель и неоднократно считывая накопленный заряд (чтобы получить наклон накопления). Но я не могу найти текущих подтверждающих доказательств.

Answer 2

Вы упускаете некоторые очевидные проблемы с этой идеей.

Вы хотите "непрерывно" захватывать данные о освещении, но это уже делается.

По-видимому, вы имеете в виду серию изображений, доступных после экспозиции, каждое из которых экспонируется с начала до времени, продвигающегося в течение всей экспозиции. Более поздние изображения будут иметь больше деталей в теневых областях, но могут иметь обрезанные яркие области. Микропрограмма камеры может затем собрать одно изображение с большим динамическим диапазоном, чем любое из отдельных изображений.

Две вопиющие проблемы с этим:

• как быстро прочитать все миллионы пикселей, и
• где поставить результаты.

Технология не доступна сегодня, чтобы сделать это.

Answer 3

Вы предлагаете: «Или каждый раз, когда фотон попадает в пиксель на сенсоре, укажите ему временную метку» - это будет огромный объем данных. Быстрый поиск показывает, что каждый пиксель - или сенсор - в цифровой камере насыщается где-то между 20 000 и 100 000 фотонов. Допустим, мы довольны 12-мегапиксельной камерой и в порядке с нижней стороной чувствительности. Это все еще четверть триллиона точек данных. Если речь идет о 50-мегапиксельной камере с большим динамическим диапазоном, может быть, пять триллионов . Даже если мы сделаем наши временные метки просто двумя байтами каждый (один байт дает только 256 значений, так что вряд ли этого будет достаточно, чтобы все это оправдало себя), это ... много данных для одного изображения. Я имею в виду, буквально терабайты.

Это явно в настоящее время неосуществимо с точки зрения конвейера данных с современной технологией, не говоря уже о , помещающем это куда-то .

Answer 4

То, что вы просите, непрерывный отбор проб света, теоретически возможно, но практически слишком дорого. Может быть возможно приблизить это с очень высокой частотой дискретизации. Это можно сделать с помощью высокоскоростной видеокамеры с очень высокой частотой кадров. Затем выходные данные могут быть обработаны для создания изображения.

Быстрый поиск показывает достаточно Phantom

Эти вещи работают благодаря наличию быстрых датчиков и способности перемещать и хранить огромные объемы данных. Попытка непрерывной выборки или достаточно высокая частота выборки, чтобы она выглядела непрерывной, увеличивает эту проблему и стоимость.

Answer 5

Электронный затвор уже на шаг вперед. Теперь мы можем взять все пиксели одновременно, а затем сказать им, чтобы они прекратили собирать (т.е. отбирать каждый пиксель) и измерять информацию для каждого цвета каждого пикселя последовательно, собирая данные об изображении, которое было снято одновременно.

Раньше такого не было.

Нам все еще нужно сделать несколько взломов для HDR-декораций, хотя, однако, это не так плохо, как раньше, опять же из-за достижений в сенсорной технологии. Теперь у нас повышенная чувствительность сенсора и динамический диапазон, поэтому теперь снимок, который раньше требовал двухстороннего снимка и последующей обработки, теперь можно снимать на камеру, поскольку сенсор может измерять как максимумы, так и минимумы определенных изображений. Фактически, датчики стали настолько хорошими, что вы редко будете сталкиваться с ситуацией, когда для получения полного динамического диапазона требуется более трех снимков в квадратных скобках. Для более старых датчиков может потребоваться 5 или более снимков в скобках.

Ваша идея, насколько я понимаю, требует непрерывных измерений для каждого пикселя.

Хотя это отличная идея, реализация остается проблемой. Камеры предназначены для последовательной потоковой передачи данных с датчика. Для каждого пикселя процессора нет строки, вместо этого датчик изображения имеет логику, которая позволяет процессору считывать значение для пикселя или множества пикселей одновременно, но не все сразу. Он должен пройти через все пиксели, и это занимает время.

Мы не можем преодолеть это, потому что мы не сможем проложить 50 миллионов проводов между датчиком и процессором. Мы могли бы интегрировать больше обработки в датчик, но датчик специализирован, чтобы делать одну вещь и делать это хорошо. Добавление цифровых схем приведет к увеличению шума и, возможно, уменьшению пикселей, даже если используются трехмерные ИС. Кроме того, процессы, используемые для создания хорошего светочувствительного кремния, отличаются от тех, которые используются для создания хорошего, маломощного, быстродействующего цифрового кремния.

Все эти вещи являются препятствиями, однако для некоторых специализированных приложений они уже используются. Обычно в научно-производственной сфере.

Но это не значит, что мы остались в дураках. По мере улучшения датчиков, особенно в динамическом диапазоне, вы обнаружите, что в конечном итоге вы получите «HDR» в камере без скоб - датчики просто будут достаточно чувствительными, чтобы получить полный диапазон, и линзы и корпус камеры будут хорошими Достаточно, чтобы предотвратить кровотечение, отражение и другие проблемы, которые не позволяют сенсору полностью реализовать свои возможности.

Так что, хотя идея не плохая, она сложная, дорогая, и у нас все еще есть пространство для роста в других невероятных областях, так что ваш метод может даже не стать необходимым.

Answer 6

Реальный ответ - цена. Если вы готовы заплатить в 10-100 раз больше за свою камеру, вы можете приобрести действительно красивые датчики.

Желаемый результат, который вы описываете, - это более высокий динамический диапазон для каждого пикселя. Есть несколько способов сделать это. Очевидный путь - получить лучший датчик АЦП и КМОП, но это стоит денег и не в духе того, что вы думаете. Следующим подходом было бы отсосать заряд в непрерывном процессе в аналоге. Это позволит вам получить непрерывную функцию, описывающую количество фотонов, попадающих на пиксель. Однако такого рода аналоговое оборудование чрезвычайно сложно. В вашей камере все пиксельные данные проходят через довольно небольшое количество АЦП. Отчасти красота наших датчиков заключается в том, как они могут это делать, производя более дешевое оборудование в сотни раз. Для этого постоянно требуется, чтобы каждый пиксель имел необычайно хорошо настроенное аналоговое оборудование.

Что подводит нас к подходу цифровой выборки. Вы упомянули идею сбора данных каждые 1/1000 секунды, что говорит о том, что вы на самом деле не думали о непрерывном процессе, а о выборке процессе, где Вы получаете много точек данных для тонких временных отрезков и соединяете их вместе. Как упоминалось в других ответах, HDR + на некоторых телефонах делает именно это. Он быстро делает несколько фотографий и смешивает их, чтобы получить эффект HDR. Для этого они, очевидно, имеют гораздо более высокую пропускную способность АЦП, чем нужно для одного изображения, но им не потребуется столько, сколько потребуется для непрерывной обработки каждого пикселя.

Судя по звуку, вы хотите, чтобы каждый пиксель выполнял выборку по времени самостоятельно. Чтобы сделать это, нам сначала нужно было бы заняться трехмерной интегральной схемой. Вам не нужно, чтобы какое-либо оборудование каждого пикселя занимало место на поверхности датчика, или у вас возникнут проблемы с наличием слишком малого количества пикселей или потерей пучка света, когда он падает на не принадлежащие сенсору части ИС. Единственный способ сделать это - построить 3D-чип. Это действительно технология будущего. Мы начинаем , чтобы изучить, как это сделать, но это не так просто. Если у вас есть сотни тысяч долларов, которые вы можете сэкономить для своей камеры, мы можем сделать так.

В конце концов, звучит так, будто вы хотите, чтобы на выходе каждого пикселя было «число с плавающей запятой», а не «целое число». То есть каждый пиксель будет иметь значение для количества попаданий фотонов и показатель степени, который в основном говорит, на сколько умножить это значение, чтобы получить фактическое количество фотонов. Когда пиксель выставлен, он будет производить выборку с очень высокой частотой (возможно, 5000 Гц), и если число фотонов становится слишком большим, он выбирает большую экспоненту.

Теперь реальный вопрос в том, какую выгоду вы получите от этого? Помните, что подход HDR + - это современная технология для мобильных телефонов на сотни долларов. Вы говорите об использовании ультрасовременной технологии с гораздо более жесткими допусками, чем любая другая камера. Это будет стоить. Что он тебе купил? Что на самом деле покупали эти однопиксельные устройства во время затвора, чего не дала дешевая технология CMOS, которую продвигает Google? Ответ не очень. Может быть несколько маленьких крошечных угловых случаев, когда это предпочтительный подход, но с ценой, значительно превышающим существующую технологию, это коммерческий стартер.

Answer 7

Режимы Olympus Live Bulb и Live Time идут в направлении, которое вы описываете.

Из руководства OM-D E-M5 :

Для просмотра хода экспозиции во время съемки выберите дисплей интервал для [Live BULB] (стр. 89) или [Live TIME] (стр. 89).

Вот видео . Обратите внимание, что вы получаете только одну экспозицию в конце, даже если вы видите несколько из них во время процесса. Пиксели сенсора заботятся только об общем количестве фотонов, полученных ими во время экспозиции, они не знают, когда и в каком порядке эти фотоны попали на сенсор.

Answer 8

Это можно сделать несколько другим способом. Вместо одного снимка вы берете несколько кадров с разным временем экспозиции. Затем вы складываете изображения, чтобы получить какое-то среднее значение в зависимости от алгоритма, который вы используете для укладки.

Например, с недавним полным солнечным затмением количество видимой невооруженным глазом короны было намного больше, чем то, которое показывало бы одно время экспозиции для камеры. Это потому, что глаз имеет логарифмический динамический диапазон, тогда как глаз имеет линейный динамический диапазон. Таким образом, при суммировании различных времен экспозиции вы можете намного лучше приблизить на изображении то, что увидели наблюдатели на глаз.

Answer 9

Почему камера с электронным затвором не может непрерывно снимать и записывать световые данные с изображения на протяжении всего времени затвора вместо того, чтобы просто собирать световые данные и в конечном итоге сохранять их как одно изображение?

Я думаю, что вы действительно предлагаете здесь описать изображение не с точки зрения того, «сколько света было собрано за всю экспозицию?» а скорее "насколько яркой была сцена в каждой точке?" Это отличная мысль, и я могу придумать несколько способов сделать это, но их объединяет то, что они увеличивают сложность датчика.

Производители камер уже давно работают над тем, чтобы обеспечить больше пикселей, и я предполагаю, что поддержание структуры каждого отдельного пикселя простым помогает в этих усилиях. Теперь, когда зеркалки обычно имеют сенсоры с 20–50 миллионами пикселей, возможно, мы увидим, как они работают вместо создания лучше пикселей. Мы уже видим это в некотором смысле - одним из примеров является двухпиксельная автофокусировка. И, конечно, есть компании, работающие над созданием датчиков, которые обеспечивают больший динамический диапазон , меньше шума и т. Д.

Короче говоря, я думаю, что, скорее всего, мы увидим что-то похожее на то, что вы предложили в будущем, даже если это не будет работать именно так, и причина, по которой мы уже там не Вероятно, в прошлом другие цели, такие как увеличение плотности пикселей, были более приоритетными.

Answer 10

Нечто очень похожее реализуется. Он по-прежнему работает с разными кадрами, потому что есть цифровые преимущества, а не аналоговый подход Но подходы существуют с временным разрешением в пико-секундах.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second