Почему датчики цифровой камеры не могут экспонировать каждый фотосайт индивидуально? - Фотопедия
14 голосов
/ 03 января 2012

Почему датчики камеры не могут функционировать так, как может человеческий глаз? Я имею в виду, почему определенная часть изображения должна быть переэкспонирована или недодержана, если мы компенсируем темные и светлые области соответственно при съемке фотографии и выборе настроек диафрагмы и скорости затвора.

Я понимаю, что поступление света зависит от диафрагмы и скорости затвора, но поскольку цифровые зеркальные камеры не могут существовать, не может быть технологии, которая позволила бы каждой ячейке датчика использовать свои собственные измерения, и, следовательно, все они не подвергались бы воздействию столько же света, но в зависимости от замера, процессор камеры отключит определенные ячейки, чтобы не переэкспонировать их.

Надеюсь, я не говорю глупости. Мне это кажется правдоподобной идеей.

Ответы [ 8 ]

19 голосов
/ 03 января 2012

Кто решает, какие пиксели получают, сколько выигрывают? Многое из того, что происходит в зрительной системе человека, происходит в коре, а не в глазу, и зависит от того, что, на наш взгляд, важно видеть на основе сочетания интеллектуального решения и (несколько переопределенного) инстинктивного стремления к самосохранению. , Хотя в одном смысле мы видим, что есть, верно и в другом смысле, что мы видим то, что хотим (или должны) видеть.

Было бы почти тривиально создать датчик с относительно низкой плотностью пикселей с большими фотосайтами, которые обеспечивают огромный динамический диапазон и (при условии технологии типа ПЗС, поскольку нынешняя технология датчиков КМОП не может работать таким образом) электронный затвор на пиксель в дополнение к механическому затвору. Так что же это даст тебе? Плоское изображение с большой битовой глубиной и очень низким локальным контрастом (если вся битовая глубина преобразуется как есть для отображения или печати) вместе с количеством пикселей, которые почти, но не совсем, обрезаются насыщением датчика ( хотя на самом деле они ограничены ограничивающим действием электронного затвора непосредственно перед точкой насыщения). Скажем, ради аргумента, однако, что этот датчик и связанный с ним компьютер могли записывать данные отсечения (причина, по которой он прекратил запись на этом датчике, что может быть так же просто, как запись фактической продолжительности воздействия на этом сайте). Это позволило бы электронике камеры воссоздать, какими были бы цифры, если бы фотосайт оставался в игре до финального свистка. Так что теперь у нас получилось более ровное изображение с большей битовой глубиной. А где ты рисуешь черту? 32 бита? 64

Теперь самое сложное - превратить эти плоские данные изображения с высоким динамическим диапазоном в убедительную фотографию. Самый простой подход состоит в том, чтобы взять восемь бит (или любой другой выходной битовой глубины), которые представляют первичное измеренное изображение, и выбросить остальные. Вероятно, было бы не намного сложнее разместить данные в S-образной кривой, сжимая экстремальные тени и / или блики - что более или менее соответствует настройкам расширенного динамического диапазона на более новых камерах. Но для каждого пикселя доступно только очень много выходных битов, и большинство расширенных значений подсветки округляется до белого (или, по крайней мере, 254 и 255 микса). Таким образом, вы очень мало выиграли, значительно усложнив систему.

Но есть еще один открытый вариант - выборочное картирование области. Почему бы не уменьшить небо, скажем, или просто облака в этом небе, чтобы оно могло сохранить детали, сохраняя при этом желаемый контраст на переднем плане? Вот где живет трудная проблема. Что важно? Должна ли камера решать за вас? Если камера решит, то у нас есть большой прогресс в машинном зрении и искусственном интеллекте, чтобы добраться до первого. Если нет, то действительно ли вы хотите принимать этот уровень решения после съемки для каждого снимка? Да, я знаю, что будут фототехники, которые действительно хотят быть такими практичными, но можем ли мы признать, что это патологическое состояние, и что профессионалы, интересующиеся временем оборота, и подавляющее большинство потребителей не нравится?

Таким образом, вам нужен новый датчик, значительно более сложная электроника вокруг датчика, огромный файл изображения для проецируемых необработанных данных (что требует больших карт и более длительного времени записи / более низкой частоты кадров), и все это для сбора данных, которые будут большую часть времени выбрасывается, так что вы можете время от времени снимать HDR-снимки одного кадра, которые требуют большого вмешательства человека в пост (или огромного скачка в MV / AI). Возможно, вы могли бы продать некоторые из них, но я ожидаю, что рынок будет выглядеть намного больше, чем рынок среднего формата, чем существующий рынок 35 мм / APS-C. То есть вы продали бы избранной группе фотографов с хорошими каблуками, которые либо действительно нуждаются в способностях по профессиональным соображениям, либо для реализации своего изобразительного искусства, а также тем, кто просто получает достаточно большое удовольствие от постобработки, чтобы заплатить технологический налог.

3 голосов
/ 30 декабря 2015

Во-первых, динамический диапазон человеческого глаза не так уж велик. Это только кажется лучше, чем наши современные камеры высокого класса, потому что наш мозг постоянно объединяет «снимки», сделанные с использованием различных настроек экспозиции. Наши глаза не могут регистрировать чрезвычайно яркие и чрезвычайно темные объекты одновременно (даже если мозг может). Истинное чудо обработки изображений, но только посредственная оптика / устройство обработки изображений.

Существует несколько предложений / прототипов, показывающих, как можно значительно улучшить динамический диапазон датчиков изображения:

  • Камера по модулю от MIT

    каждый фотодиод сбрасывает свое состояние при достижении максимального заряда и запоминает, сколько раз это произошло

  • Датчик изображения Quanta Эрик Фоссум

    использует гораздо меньшие и более быстрые пиксели с подсчетом фотонов вместо "аналоговых" контейнеров заряда + аналого-цифровые преобразователи

3 голосов
/ 04 января 2012

Есть одна вещь, о которой упоминают лишь несколько человек, и это то, что сцена не будет выглядеть одинаково, если разные области будут по-разному экспонироваться другим областям. Сцена выглядит так же, как и , потому что имеет различия. Да, это может быть способ сохранения бликов и усиления теней, но в конце концов, то, что вы действительно хотите, - это больший динамический диапазон, который может захватывать динамический диапазон в сцене, используя одна настройка экспозиции.

Наши глаза способны предоставить нам гораздо больший динамический диапазон, чем современные технологии потребительских камер. Я могу быстро осмотреться и одновременно увидеть четкие детали в затененных областях и ярких освещенных солнцем областях.

Один из способов, с помощью которого производители камер могут обойти эту проблему, заключается в использовании пикселей с высокой и низкой чувствительностью в одном датчике, а затем объединении результата на пиксель. Новые цифровые кинокамеры RED оснащены матрицей пикселей с нормальной и низкой чувствительностью, которые называются HDRx. Маленькие пиксели сенсора с низкой чувствительностью объединяются в блики ярких пикселей для увеличения динамического диапазона.

2 голосов
/ 04 января 2012

Вам не хватает некоторой базовой физики здесь. Основная проблема заключается в том, что реальные сцены имеют большие контрастные отношения. Наши глаза развились, чтобы справиться с этим, воспринимая уровни света логарифмически, а не линейно. К сожалению, современная сенсорная технология измеряет свет линейно. Или, точнее, шум фиксируется на линейной шкале освещения.

В современных технологиях максимальный контрастный предел в основном зависит от уровня шума. Для аргумента давайте используем шкалу освещения 0-1000, что означает, что датчик может сообщать вам уровень освещенности от 0 до 1000. Какое максимальное отношение он может измерить? Это зависит от уровня шума. Уровень шума в основном то, что вы получаете вместо истинного черного, который будет 0 в этом примере. Грубо говоря, если уровень шума равен 2, то вы получите соотношение яркости примерно 1000: 2 = 500: 1. До тех пор, пока сцена не превосходит это (хотя почти все будет, хотя в действительности 500: 1 не так уж много), вы можете делать любое логарифмическое отображение, которое захотите позже.

Таким образом, текущая стратегия, учитывая, что датчики тока по своей природе линейны, состоит в том, чтобы попытаться увеличить отношение сигнал / шум и предоставить достаточно битов, чтобы шум квантования был ниже собственного случайного шума. Чем меньше шум датчика, тем шире сцены с динамическим диапазоном, которые вы можете снимать, не обрезая блики или не затуманивая тени.

Существует совершенно другая сенсорная технология, которая по сути измеряет лог яркости. Иногда их называют датчиками «CMOS», потому что они во многом похожи на динамические ОЗУ CMOS со снятой крышкой (я упрощаю, но первый тест в лаборатории был на самом деле выполнен именно так). Вы получаете напряжение, пропорциональное логарифму света, но в настоящее время они имеют гораздо более низкое отношение сигнал / шум. Mitsubishi был первым, кто начал коммерциализировать эти датчики, но они еще недостаточно хороши для камер высокого класса.

Нет никаких сомнений в том, что на нескольких фронтах будут достигнуты успехи, и я уверен, что мы будем наблюдать устойчивый прогресс в течение многих лет. Однако есть веские причины, почему все так, как сейчас, а не только потому, что никто не может представить что-то лучшее. Если бы у кого-то была технология, которая могла бы точно измерять широкий динамический диапазон и по цене, за которую люди готовы платить, он бы там разбогател.

1 голос
/ 03 января 2012

Я считаю, что это слишком сложно.

В принципе было бы два возможных подхода; либо каждый фотодатчик может отслеживать время и выключаться, либо ЦП может отслеживать данные с фотодатчиков и выключать их.

Для первого подхода это означало бы, что каждому фотодатчику потребовался бы тактовый сигнал и счетчик, чтобы он мог отслеживать, сколько времени прошло, пока он сам не отключился. Это намного больше схем, чтобы соответствовать чипу, и намного больше электричества, необходимого для его запуска, что увеличивает шум сигнала. Вероятно, настолько, что расширение динамического диапазона было бы бессмысленным.

Для второго подхода CPU должен будет считывать все данные с датчика примерно раз в 1/10000 секунды. Это примерно в 1000 раз быстрее, чем может достичь нынешняя технология, так что это десятилетия в будущее, если это вообще возможно.

Кроме того, у такого решения есть и другие сложности, например, каждый пиксель получает разное время экспозиции. Вы получите довольно странные артефакты, если сфотографируете все, что движется.

0 голосов
/ 11 августа 2013

Это можно сделать математически (теоретически): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf

0 голосов
/ 04 января 2012

В данный момент я не могу найти информацию, но, похоже, вспомнил, что читал описание подобной технологии. Идея была примерно такой: единственное, о чем нужно позаботиться, - это раздутые блики. Если вы можете предотвратить это, темные участки можно позаботить, увеличив экспозицию всего изображения. Таким образом, чтобы предотвратить чрезмерное выделение света, каждый датчик будет отслеживать накопленный свет, и, если он приблизится к максимуму, датчик отключится. Это само по себе ничего не улучшит, это фактически усугубит ситуацию, вместо нескольких ярких белых раздутых бликов, в итоге получатся еще более темные блики. Таким образом, вместо того, чтобы просто отключить, ячейка также отключит ячейки в некотором районе, что сохранит некоторые детали в ярких областях. Проблема в том, что он создавал легкие ореолы вокруг ярких объектов на темном фоне.

Как я уже писал, сейчас я не могу найти текст, но каким-то образом он связан с цифровыми камерами HP.

0 голосов
/ 03 января 2012

Несмотря на то, что цифровые зеркальные камеры действительно являются цифровыми, объективы - нет. Все датчики ячейки будут подвергаться одной и той же апертуре, независимо от того, насколько умным будет корпус DSLR, потому что апертура установлена ​​на объективе. Поэтому я думаю, что изменение диафрагмы на сенсорную ячейку отсутствует, по крайней мере, при использовании современной технологии линз.

Что касается скорости затвора, то она контролируется камерой, но если мы представим камеру, которая может изменять выдержку на разных участках изображения для управления избыточной / недостаточной экспозицией, вы получите неравномерное размытие в движении. Более темные части сцены должны будут экспонироваться дольше и будут более размытыми, чем более яркие части. Я думаю, что решение, которое изменяет выдержку, не будет работать по этой причине.

Так что осталось только ISO. Изменение ISO будет означать разные уровни шума в разных частях изображения. Это звучит не так уж и плохо, учитывая, что вы получите взамен значительно увеличенный динамический диапазон. Я не знаю много о том, как работают датчики, но я бы предположил, что настройка ISO реализована в датчиках как своего рода «настройка» на определенный поднабор шкалы яркости. Мне кажется, что было бы непомерно дорого иметь независимые измерения и контроль ISO в каждой сенсорной ячейке, но, возможно, изображение можно разделить на области, и каждая область будет измеряться отдельно. Тогда у камеры должен быть какой-то алгоритм для смешивания различных экспонированных областей, что-то вроде того, что делает «enblend», когда собирает панораму, где каждое изображение имеет различную экспозицию. Это звучит выполнимо для меня.

Другим вариантом может быть наличие камеры с несколькими датчиками, каждый из которых настроен на разные ISO. В видео технологии есть 3 CCD камеры, где каждая CCD записывает одну из красных, зеленых и синих. Я не понимаю, почему не может быть аналогичной концепции для зеркальных фотокамер, где несколько датчиков снимают изображение на разных уровнях ISO, создавая изображение HDR.

...