Агрегация пикселей при слабом освещении

Question

Если бы конечное изображение с более низким разрешением было приемлемым, не было бы возможности вдвое уменьшить ширину и вдвое высоту изображения при слабом освещении и взять сумму света в каждом блоке 2x2 пикселя при создании нового ( В 4 раза ярче) изображение? В конце концов, если бы ПЗС-датчики были в 4 раза больше, они наверняка захватили бы в 4 раза больше фотонов? Я ожидаю, что если бы это было сделано с необработанными RGB-каналами, это могло бы быть так же просто, как добавление, но с общим форматом сжатого изображения, таким как JPEG, выражение агрегации могло бы быть другим (для размещения цветовых пространств и т. Д.). Попробовано ли это или видел раньше?

Answer 1

Да, было много камер с агрегированными пикселями, чтобы уменьшить шум, от моего древнего Fuji Finepix s602z, который выводил изображения размером в 1 мегапиксель выше ISO400 до самой последней версии среднего формата PhaseOne, которая предлагает более высокие настройки ISO в " датчик + ", но на одну четверть числа пикселей (половина ширины и высоты).

Важно отметить, что хотя теоретически вы получаете как можно больше света, суммируя значения четырех маленьких пикселей, по сравнению с одним большим пикселем, в действительности, при получении значения, как правило, имеется небольшое количество шума считывания, так что вы получаете 4 раза шум чтения с меньшими пикселями. Некоторые датчики выполняют сложение (называемое бинингом) прямо на чипе перед считыванием и оцифровкой для борьбы с этим.

Answer 2

Теоретически камеры на базе Foveon (в настоящее время продаются только Sigma) делают это. Самые последние камеры (с датчиком Merrill) имеют разрешение, достаточное для того, чтобы сделать его практически вдвое меньшим, чем при разрешении изображения с разумным количеством пикселей.

Answer 3

Фуджи делал это годами. Мэтт упомянул более старый S602Z, но они действительно работали и совершенствовали это.

Так как Fuji представила свой первый SuperCCD EXR , они делают это с помощью дополнительных схем, чтобы сделать это ранее в конвейере. Fuji использует специальный массив цветовых фильтров, который повернут на 45 °, так что всегда есть два смежных подпикселя одного цвета. Последние камеры Fuji используют EXR на CMOS .

Конструкция позволяет решить две проблемы, одной из которых является низкая производительность, как вы предлагаете. Другой - это дополнительный динамический диапазон, потому что они могут считывать половину каждой пары смежных фотосайтов на полпути через экспозицию до насыщения всего пикселя. Таким образом, они получают два изображения сцены с половинным разрешением, которые смешиваются вместе, чтобы сохранить детали подсветки, до 4 остановок (1600%, как называет это Фудзи).

Если вы измените размер изображения (JPEG или другой) до четверти его размера, вы делаете то же самое, но когда камера делает это, результаты получаются лучше из того, что я видел. Тем не менее, разница минимальна от того, что я видел.

Answer 4

Это типичный подход к снижению шума и называется биннингом. В камерах машинного зрения это встроенная настройка, и это делается до АЦП, чтобы улучшить динамический диапазон. Таким образом, он имитирует больший размер пикселя. В посте более нормально уменьшить шум, имея несколько снимков одной и той же статической сцены и усредняя их. Но это должна быть статичная сцена. Биннинг в почте может иметь свои достоинства, и его нельзя достичь путем изменения размера до 50%, поэтому он нуждается в своей собственной функции.

Здесь до и после пост-бининга темного изображения, просматриваемого с одинаковым размером и яркостью, каждый может сделать свои собственные выводы, достаточно ли это полезно:

Большой для пиксельного подглядывания