Каковы плюсы и минусы различных алгоритмов демоакции Байера?

Question

Датчики Байера используют комбинацию красных, зеленых и синих пикселей и объединяют их вместе в окончательное цветное изображение с одним пикселем на каждый один цветной датчик. Это можно сделать с помощью «наивного» смешения соседних датчиков, но я слышал о более сложных подходах с такими именами, как AHD, HPHD и AMaZE.

Каковы эти другие подходы и какие преимущества они приносят? Есть ли у них недостатки помимо вычислительной сложности?

Я полагаю, что подход, используемый для встроенного в JPEG JPEG, более тщательно охраняется, но очевидно, что многие исследования и разработки идут в этой области. Вызывает ли ограниченная вычислительная мощность в камере какие-либо компромиссы в этой области?

Answer 1

Несколько месяцев назад я был удивлен, обнаружив, что моя SDK камеры машинного зрения использует «интерполяцию» ближайшего соседа в своей встроенной функции Байера. Это самый быстрый, но наихудший тип, с четкими краями, особенно когда вы начинаете делать математические расчеты на каналах изображения для обеспечения постоянства цвета или изменения яркости. Я нашел этот обзор алгоритмов:

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

Следующий шаг - это билинейные и бикубические интерполяции, которые могут быть вычислены довольно быстро, потому что они равны только ядрам свертки. Они дают цветные зубья на скошенных краях - билинейные, а не бикубические.

Можно увидеть в этой статье и с количественными данными о качестве по 5 различным алгоритмам:

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

Вот почему они сделали интерполяции на основе направления края. Тем не менее, они рассматривают зеленый как более «важный канал» (поскольку он имеет лучшее разрешение и учитывает большую часть нашей визуальной чувствительности и разрешения наших глаз). И затем они создают синий и красный в зависимости от зеленого канала, сохраняя оттенок. Это, в свою очередь, делает высокочастотный контент зеленого канала более подверженным ошибкам. Сложность выше, поскольку они должны обнаружить, что происходит, и требуют нескольких проходов. Муар и кукуруза являются общими артефактами этих типов интерполяции.

Здесь они показывают примеры адаптивной однородности демозаики и билинейных версий с аддонами, сохраняющими оттенки и сохраняющими края, и без них:

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

Эта статья поддерживает AHD и не показывает отрицательную часть. На этой странице вы можете увидеть различные артефакты паттернов: демоачивание адаптивной однородности, группирование узорных пикселей и переменное число градиентов (наведите указатель мыши на имена):

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

Таким образом, в этих алгоритмах используется ряд допущений, и артефакты возникают, когда предположение не выполняется:

• За гладкость канала. Если ближайшие соседи не совпадают, сделайте переход плавным. Артефакт: пилы / молнии, мягкость
• Постоянство яркости с направленными краями (билинейное направление). Артефакты: высокочастотная текстура муара, цветная окантовка
• Постоянство оттенка. если в окрестности оттенок одинаков, поэтому, если один канал меняется, другие должны следовать. Артефакты: цветные молнии по краям цвета
• Постоянство можно предсказать из зелени. Артефакт: лабиринты

Answer 2

Я немного поиграл с этим и обнаружил, что наивный подход не так уж и плох. Это просто обрабатывает каждый цвет отдельно и интерполирует, чтобы получить промежуточные пиксели. Основным недостатком этого является то, что, если вы выглядываете в пикселях в месте с высокой контрастностью, вы можете увидеть небольшую цветную окантовку. Другими словами, если у вас есть светло-серая область, примыкающая к черной области, вы увидите несколько цветных пикселей на границе. К счастью, они усредняются в целом, но если край почти вертикальный или почти горизонтальный, они усредняются по низкой частоте. Тот же эффект может быть еще более очевидным на тонких ярких линиях, почти вертикальных или горизонтальных.

Вот пример. Эта фотография была сделана намеренно как пробный снимок:

Обратите внимание на очевидную полосу линии хромированной отделки. Чтобы представить это в перспективе, вот полный кадр:

Я думал об альтернативном подходе, но до сих пор всегда были другие вещи, которые нужно сделать в первую очередь. Эта схема будет стремиться сначала найти только яркость . Это был бы один канал данных изображения, если изображение было черно-белым. Каждый сенсор вносит свой вклад в это, хотя цвета не дают в равной степени. Как только интенсивность определена, вы должны интерполировать цвета, как в простом методе, но использовать результат только для того, чтобы установить цвета таким образом, чтобы сохранить интенсивность. Интенсивность будет иметь более высокую полосу пропускания или будет более резкой в ​​фотографическом отношении, чем информация об оттенках. Аналоговое телевидение использовало эту уловку, чтобы уменьшить требования полосы пропускания цветного изображения. Им это сошло с рук, потому что зрительная система человека придает большее значение интенсивности, чем цвета, особенно красный.

Во всяком случае, это всего лишь некоторые мысли. Как я уже сказал, на самом деле я еще не пробовал это и не проработал детали. Когда-нибудь.

Answer 3

Насколько я понимаю, различные версии процессов в Lightroom (до сих пор у нас есть 2003, 2010 и 2012 годы) соответствуют, среди прочего, различным алгоритмам демозаики. Еще одно интересное программное обеспечение - UFRaw , которое предлагает следующее (цитата с веб-страницы):

---

После настройки баланса белого UFRaw интерполирует паттерн Байера.

• AHD-интерполяция - это адаптивная интерполяция, направленная на однородность. Это интерполяция по умолчанию.
• В интерполяции VNG используется интерполяция переменных градиентов на основе пороговых значений. Раньше это была интерполяция по умолчанию, и она все еще очень хорошо .
• Четырехцветная интерполяция VNG должна использоваться, если на фотографии есть артефакты Байера (подробнее см. Часто задаваемые вопросы DCRaw ).
• PPG-интерполяция означает интерполяцию по шаблонному пиксельному группированию. Это почти так же хорошо, как все вышеперечисленное и намного быстрее.
• Билинейная интерполяция является очень простой интерполяцией, но она намного быстрее.

---

Это может дать материал для экспериментов. Кстати, UFRaw кажется открытым исходным кодом, который позволяет вам заглядывать в сами алгоритмы.

Answer 4

В астрофотографии эта тема глубоко изучена, потому что при использовании одноцветного сенсора цветопередача приводит к значительному снижению разрешения. С другой стороны, использование файла RAW по-прежнему позволяет получить доступ к исходным данным, и его можно обработать до применения цвета. Эта тема тесно связана с программной стороной.

Короче говоря, если у вас есть доступ к большому количеству изображений с одинаковыми объектными данными (что сделано для уменьшения шума датчика), вы можете обменять однокадровое преобразование с AHD на метод измороси, который может восстановить потерянное разрешение. , Выбор зависит от того, какие исходные данные у вас есть. Большинство фотографов могут использовать только одно изображение.

Некоторое программное обеспечение, которое я использовал для выбора процессов Debayering: Deep Sky Stacker и Pix Insight. Есть и другие. Многие основаны на DCRAW .

Вот ссылка на статью на странице Deep Sky Stacker, где они обсуждают некоторые из вариантов: Выбор Debayering