Ключевое различие между ними заключается в том, что один из них работает с пост-оцифрованным изображением, а другой - с предварительно оцифрованным аналоговым сигналом. Всякий раз, когда вы работаете с аналоговым сигналом, у вас есть возможность быть более точным и точным, и вы можете устранить шум до того, как он будет «записан» в оцифрованное изображение. Это, безусловно, не означает, что применение постцифрового шумоподавления неэффективно. Напротив, с помощью продвинутых алгоритмов, таких как хорошо информированная деконволюция вейвлетов, шумоподавление может быть чрезвычайно эффективным. Аппаратное шумоподавление может сделать некоторые вещи, которые программные шумоподавители не могут или просто не могут быть столь же эффективными, хотя.
Типы аппаратного шума
Ключевой областью, где аппаратное шумоподавление наиболее эффективно, является снижение электронного шума . Это шум, создаваемый самими электронными устройствами и во время считывания с датчиков, и он в первую очередь ответственен за неприглядные, неестественные структурированные формы шума: шум чтения, шум с фиксированной диаграммой направленности (fpn), шум динамической диаграммы направленности / шум горизонтальной и вертикальной полос и неравномерный шум отклика (или шум неравномерности отклика пикселя, PRNU). Эти формы шума чрезвычайно трудно устранить с помощью программного обеспечения, если программное обеспечение не знает точных характеристик каждого конкретного датчика. Такой алгоритм потребовал бы значительного количества вспомогательных данных для функционирования ... для каждого датчика, с которым он должен был работать. Таким образом, гораздо эффективнее удалять эти типы шумов непосредственно в аппаратном обеспечении.
Каждый тип шума, вносимый электроникой датчика или процессом считывания, может быть скомпенсирован, в некоторых случаях полностью, а в большинстве других. Есть множество источников этого шума. Темновой ток, электрический ток, проходящий через цепи датчика, отвечает за ограничение низкого уровня сигнала, поскольку он часто «добавляет» несколько собственных электронов к каждому пикселю, который не был сгенерирован преобразованием фотонов. Поскольку он стоит всего несколько электронов, он влияет только на IQ в областях с очень низким уровнем сигнала, но это может означать разницу между наличием или отсутствием одного или двух полных остановов дополнительного динамического диапазона.
Фиксированный шум является неотъемлемым свойством каждого датчика и отличается от датчика к датчику. Некоторые пиксели "горячие", а другие "крутые". Более горячие пиксели снова имеют тенденцию вводить больше электронов в пиксель, помимо того, что может быть добавлено темным током. Эти различия часто являются результатом микроскопических производственных нюансов и их трудно контролировать. FPN часто проявляется в неизменных горизонтальных и вертикальных полосах, часто присущих типу крайне нежелательных типов шума фотографов.
Динамический характерный шум или полосатость также часто проявляется в горизонтальной и вертикальной полосах. Причин полос может быть множество: от колебаний тока, протекающего через датчик, до помех внешнего сигнала в плохо экранированном датчике. Поскольку этот тип шаблонного шума является динамическим, его практически невозможно удалить в посте, так как он меняется от кадра к кадру. Тем не менее, он, как правило, является довольно слабым аспектом шума и возникает при очень низком уровне сигнала, поэтому он обычно виден только в очень глубоких тенях.
Шум из-за неоднородного отклика связан с очень небольшими различиями в квантовой эффективности между пикселями. Квантовая эффективность (Q.E.) датчика может падать в пределах определенного процентного диапазона, однако обычно все еще существуют очень небольшие различия между данным пикселем и пикселями, которые его окружают. Также могут быть небольшие различия в аналоговом усилении для каждого пиксельного усилителя, что может привести к еще большей незначительной ошибке подсчета.
Аппаратное шумоподавление
Большинство вышеперечисленных типов шума могут контролироваться и либо устраняться, либо значительно уменьшаться. Наиболее распространенной формой аппаратного шумоподавления является коррелированная двойная выборка (CDS). Датчики Canon, Nikon и Sony используют CDS в той или иной форме. Общая идея заключается в том, что отдельная часть схемы для каждого пикселя измеряет, сколько шумового темнового тока вносит во время считывания. Перед считыванием пикселя, темновой ток считывается (дискретизируется), затем берется полный пиксель, и разница между ними сохраняется как фактический сигнал пикселя.
Большинство датчиков не используют гораздо больше средств для снижения уровня шума на аппаратном уровне. В случае нового бренда датчиков Exmor от Sony используются различные дополнительные аппаратные механизмы снижения шума. Неоднородный ответ обрабатывается дополнительной схемой, которая компенсирует разницу в Q.E. между соседними пикселями. Это уравновешивает Q.E. всех пикселей в целом, производя гораздо более равномерный ответ на окончательный сигнал изображения. Чтобы бороться с некоторыми FPN, Sony также использует колонно-параллельное аналого-цифровое преобразование (CP-ADC).
АЦП, как правило, является виновником «шума считывания», когда дополнительный шум сигнала, а также шум квантования вводится в аналоговый сигнал изображения при его оцифровке. Частично это связано с высокой скоростью блоков АЦП ... которые обычно не подключены к матрице датчика и размещены во внешней микросхеме обработки изображений. В большинстве камер используется тот или иной параллельный АЦП, однако АЦП значительно меньше, чем строки или столбцы пикселей. Они должны работать на достаточно высокой частоте, чтобы преобразовать достаточное количество пикселей для поддержания частоты кадров камеры, а высокочастотные схемы имеют тенденцию вносить больше шума при чтении. CP-ADC перемещает АЦП на матрицу датчика и добавляет один блок АЦП на пиксельный столбец. Это позволяет каждому АЦП работать на гораздо более низкой частоте, что значительно снижает количество вносимого шума чтения. Он гиперпараллелизирует конвейер считывания, улучшая общую скорость считывания датчика (теоретически ... нам еще предстоит увидеть датчик Sony Exmor, способный к более быстрому считыванию, чем датчик Canon.) Наконец, каждый АЦП может быть настроен для уменьшения вертикальных полос в его столбце, помогает смягчить фиксированный шум, который проявляется в виде полос.
Преимущества аппаратного шумоподавления
Из-за нескольких уровней аппаратного шумоподавления сенсоры Sony Exmor гораздо менее чувствительны к электронным и считывающим шумам. Они по-прежнему страдают от небольшого количества, а микроскопические производственные дефекты по-прежнему вызывают помехи на каждом пикселе, что приводит к появлению «горячих» красных, зеленых и синих пикселей. Удар в большинстве случаев стоит всего пара электронов, так как большинство темнового тока, а также вертикальный и горизонтальный фиксированные шумы устраняются благодаря их дополнительным схемам шумоподавления. Шум чтения снижается благодаря АЦП, которые работают на более медленной частоте параллельно. Это приводит к тому, что уровень сигнала значительно ниже большинства других производителей (в том числе для датчиков среднего формата), который может упасть от 8 до 35 электронов при считывании шума при ISO 100.
Большинство может подумать, что это просто приводит к уменьшению шума. В общем, это не так. Это только приводит к уменьшению электронного шума и шума считывания, который, даже при стоимости более 30 электронов, все еще составляет очень малую долю максимального сигнала. В датчиках APS-C максимальный диапазон сигналов составляет от 15 000 до 30 000 электронов на пиксель. В датчиках FF максимальный сигнал находится в диапазоне от 60 000 до 100 000 электронов на пиксель, возможно, даже больше для датчиков с особенно большим шагом пикселя. Подавляющее большинство шумов изображения происходит от шума фотонных импульсов. Это шум из-за случайной природы света, так что фотоны не гарантируют равномерное распределение по сенсору и создают плавные градиенты и гладкие твердые тела. Устранение случайного шума фотонных импульсов - это область, в которой вейвлет-деконволюция превосходит другие, поэтому использование программного удаления шума все еще является критическим компонентом удаления шума в целом.
Истинная выгода от аппаратного шумоподавления заключается не столько в уменьшении шума, сколько в преимуществе динамического диапазона. Благодаря снижению электронного шума и шума считывания от десятков электронов до примерно 2,8 электронов на пиксель, динамический диапазон в областях сигнала с низким уровнем сигнала может быть значительно улучшен. Это основная причина того, что Nikon D7000, D800 и D3200 способны достичь более 13 ступеней динамического диапазона, в то время как датчики Canon с трудом достигают 11 ступеней и никогда не достигают более 12 ступеней динамического диапазона.
Преимущества программного шумоподавления
Наконец, программное шумоподавление имеет свое место и так же важно, как аппаратное шумоподавление. Неважно, насколько хорошо ваше аппаратное шумоподавление, на фотографии всегда будет какое-то количество шума. По крайней мере, АЦП имеет тенденцию вносить некоторую степень ошибки квантования из-за нескалярного усиления. Если усиление равно 1,4, это означает, что каждые 1,4 электрона приводят к одному уровню цифрового выхода. Поскольку вы не можете конвертировать .4 электрона, АЦП будет колебаться между чтением одного электрона как одного цифрового уровня и чтением двух электронов как одного цифрового уровня. Это производит небольшое количество шума, который обычно называют «шумом чтения». Это в основном незначительно, но его можно наблюдать минимально, пока пиксель заглядывает.
Чем выше отношение сигнал / шум, которое можно улучшить при улучшении Q.E., тем меньше случайная физическая природа света будет вызывать видимый шум. Тем не менее, он всегда будет вызывать некоторые из них, и он всегда будет наиболее заметным в областях с более плавным тоном ниже среднего серого (18% серого). Повышение ISO также увеличивает влияние шума фотонного выстрела на изображение. Независимо от эффективности датчика, фотографирование при высоких значениях ISO всегда будет более шумным, чем при низких значениях ISO. Это связано с тем, что датчики на самом деле являются аналоговыми устройствами с фиксированным откликом, которые воспринимают свет линейным образом. Увеличение ISO на самом деле не увеличивает чувствительность. Наоборот, это просто уменьшает количество электронов, которое считается «максимальным насыщением». Если ваш полнокадровый датчик способен регистрировать 100000 электронов при ISO 100, он сможет зарегистрировать 50000 электронов при ISO 200, 25000 при ISO 400, 12500 при ISO 800, 6250 при ISO 1600 и т. Д. Помимо ISO 400 ваш всегда работает с сигналом, который с линейной точки зрения ниже среднего серого, и просто усиливает его. Чем дальше вы нажимаете ISO после этой точки, тем более выраженным становится шум фотонного выстрела.
Когда дело доходит до предсказуемого случайного шума, такого как шум, вызванный выстрелами фотонов и вводимого АЦП, программные алгоритмы превосходны. Одной из лучших форм устранения шума для этого типа шума являются различные алгоритмы деконволюции вейвлетов, которые достаточно хороши для прогнозирования случайного распределения фотонов. Кажется, что большинство алгоритмов шумоподавления в коммерческом программном обеспечении работают в соответствии с менее продвинутыми концепциями, чем деконволюция вейвлетов, поэтому удаление шума в настоящее время в целом менее эффективно, чем это могло бы быть. Надеемся, что в будущем мы увидим более продвинутые алгоритмы удаления шума, которые появятся в коммерческом программном обеспечении, в надежде, что случайный шум можно будет почти полностью устранить, не затрагивая полезные, реальные детали.