RAW файлы хранят 3 цвета на пиксель или только один?

Question

Кен Роквелл говорит , что производители камер учитывают отдельные датчики R / G / B, когда говорят о мегапикселях. Таким образом, изображение ниже будет камерой 6x6 пикселей, а не 3x3, как вы могли бы представить.

Если это так, файл RAW будет содержать только одну информацию о цвете на пиксель (будь то R, G или B) в виде числа 10, 12 или 14 бит.

Мое замешательство возникает, когда я читаю в некоторых местах такие вещи, как:

• RAW-файлы хранят среднее значение двух зеленых датчиков на пиксель.
• Файлы RAW используют 12 бит на пиксель, но есть 3 цвета, так что на самом деле это 36 бит на пиксель.

Что, очевидно, было бы ложным, если утверждение Кена верно.

Так в чем правда?

Answer 1

Необработанные файлы на самом деле не хранят любых цветов на пиксель. Они хранят только одно значение яркости на пиксель.

Это правда, что с маской Байера над каждым пикселем свет фильтруется либо красным, зеленым или синим фильтром - по каждой ячейке пикселя. Но нет жесткого ограничения, когда только зеленый свет проникает в пиксель с зеленым фильтром или только красный свет проникает в пиксель с красным фильтром. Там много совпадений. Много красного света и немного синего света проходит через зеленый фильтр. Много красного света и даже немного синего света проходит через красный фильтр, а некоторое количество красного и зеленого света регистрируется пикселями, отфильтрованными синим.

Поскольку необработанный файл представляет собой набор отдельных значений яркости для каждого пикселя на датчике, фактическая информация о цвете для каждого пикселя отсутствует в необработанном файле. Цвет получается путем сравнения смежных пикселей, отфильтрованных по одному из трех цветов, с маской Байера. Но так же, как установка красного фильтра перед объективом при съемке черно-белой пленки не привела к получению монохроматической красной фотографии (или черно-белой фотографии, в которой только красные объекты вообще не имеют яркости), Маска Байера перед монохроматическими пикселями тоже не создает цвета. То, что он делает, это изменяет тональное значение (насколько ярким или темным записывается значение яркости определенного цвета) разных цветов на разные величины. Когда сравниваются тональные значения (интенсивности серого) смежных пикселей, отфильтрованных с использованием трех разных цветов, используемых в маске Байера, то цвета могут быть интерполированы из этой информации. Это процесс, который мы называем demosaicing .

Много математики сделано, чтобы назначить значения R, G и B для каждого пикселя. Существует много разных моделей для этой интерполяции. Сколько смещения уделяется красному, зеленому и синему в процессе демозаики - вот что устанавливает баланс белого / цвета . Гамма-коррекция и любое дополнительное формирование кривых светового отклика - вот что устанавливает контрастность . Но в конце каждому значению присваиваются значения R, G и B. В примере 6x6 пикселей в этом вопросе результатом демозаики будет 36-пиксельное изображение с 36 пикселями, каждое из которых имеет значения Red, Green и Blue.

Немного разрешения теряется при переводе. Оказывается, что с точки зрения количества чередующихся черных и белых линий на дюйм или мм, которые могут быть разрешены датчиком с маской Байера RGGB и хорошо выполненным демозайсом, предел абсолютного разрешения датчика Байера составляет около 1 / √2. по сравнению с монохроматическим датчиком, который не имеет маски Байера и, следовательно, не нуждается в демозацировке (но может видеть только в черно-белом режиме).

Даже если ваша камера настроена на сохранение необработанных файлов, изображение, которое вы видите на задней панели ЖК-экрана вашей камеры сразу после съемки, не - необработанные необработанные данные. Это предварительное изображение, сгенерированное камерой путем применения настроек камеры к необработанным данным, что приводит к предварительному изображению в формате JPEG, которое вы просматриваете на ЖК-дисплее. Это изображение предварительного просмотра добавляется к необработанному файлу вместе с данными от датчика и информацией EXIF, которая содержит настройки в камере во время съемки фотографии.

Настройки разработки камеры для таких вещей, как баланс белого, контрастность, тень, блики и т. Д., Не влияют на фактические данные с датчика, записанные в необработанном файле. Скорее, все эти настройки перечислены в другой части необработанного файла.

Когда вы открываете «сырой» файл на вашем компьютере, вы видите одну из двух вещей:

• Предварительный просмотр JPEG-изображения, созданного камерой во время съемки. Камера использовала действующие настройки, когда вы сделали снимок и добавили его к необработанным данным в файле .cr2. Если вы смотрите на изображение на задней панели камеры, то вы видите предварительный просмотр в формате jpeg.

• Преобразование необработанных данных приложением, которое вы использовали для открытия «необработанного» файла. Когда вы открываете 12-битный или 14-битный «сырой» файл в приложении для обработки фотографий на компьютере, на экране вы видите 8-битный рендеринг демозацированного необработанного файла, который очень похож на JPEG, а не фактический 14-битный файл, отфильтрованный по Байеру. При изменении настроек и ползунков «необработанные» данные перераспределяются и снова отображаются в 8 бит на цветовой канал.

То, что вы увидите, будет зависеть от настроек, выбранных вами для приложения, с которым вы открываете необработанный файл.

Если вы сохраняете свои фотографии в необработанном формате, когда вы их делаете, то при выполнении постобработки у вас будет та же самая информация для работы независимо от того, какие параметры разработки были выбраны в камере во время съемки. Некоторые приложения могут первоначально открывать файл, используя либо предварительный просмотр jpeg, либо применяя настройки в камере, активные во время съемки изображения, к необработанным данным, но вы можете изменять эти настройки без каких-либо разрушительных действий. потеря данных, на все, что вы хотите в сообщении.

Canon 1066 * Digital Photo Professional откроет файл .cr2 raw в том же стиле изображения , который был выбран в камере при съемке. Все, что вам нужно сделать, чтобы изменить его, это использовать раскрывающееся меню и выбрать другой Стиль изображения . Вы даже можете создать «рецепт» для одного изображения, а затем применить его ко всем изображениям, прежде чем начать работать с ними. Программное обеспечение для необработанной обработки другого производителя аналогично, и обычно есть возможность, чтобы приложение открывало изображение с примененными настройками разработки камеры.

С сторонними приложениями необработанной обработки, такими как Adobe Lightroom или Camera Raw , Apple Aperture или Фотографии , PhaseOne's Capture One Pro , DxO Lab OpticsPro и т. Д. Получение изображений для отображения в соответствии с настройками камеры может быть немного сложнее. Например, продукты Adobe игнорируют почти все разделы maker notes необработанных данных EXIF, где многие производители включают хотя бы некоторую информацию в настройки камеры.

_{¹ Фактические цвета маски Байера перед датчиками большинства цветных цифровых камер: синий - слегка фиолетовая версия синего с центром в 450 нм, зеленый - слегка голубоватая версия зеленого с примерно 540 нм, а красный - слегка оранжевый вариант желтого цвета. То, что мы называем «красным», - это цвет, который мы воспринимаем для света с длиной волны около 640 нм. «Красные» фильтры на большинстве массивов Байера пропускают большую часть света где-то в районе 590-600 нанометров. Перекрытие между "зелеными" и "красными" колбочками в сетчатке человека еще ближе к этому, с "красным" в центре около 565 нанометров, что мы и называем желто-зеленым.}

Answer 2

Кен прав в утверждении, которое вы цитируете - вроде. Правильно, что современные цифровые камеры (за исключением тех, которые оснащены датчиками Foveon от Sigma) работают с использованием матрицы Байера, а разрешение датчика указывается в качестве размера матрицы. Ваше изображение в качестве примера представляет датчик «36 пикселей». Тем не менее, важно признать, что камеры превращают это в полноцветное изображение полного указанного размера в фактических пикселях , и что это не так плохо, как это делает Кен,

Несколько вещей, которые он говорит в этой статье, совершенно неверны, начиная с:

Начиная с 2006 года, эти умные алгоритмы позволяют начинать с одной трети данных и выглядеть примерно так же, как половина заявленных пикселей.

Это была ерунда в 2006 году и ерунда сегодня. Процесс работает на некоторых простых предположениях. Больше из них выложено здесь , но основной из них заключается в том, что вы можете предсказать, какую «недостающую» информацию следует искать на соседних пикселях разного цвета. Это оказывается хорошим предположением большую часть времени, и очень неправильным в других случаях. В случаях, когда нет очень подробного перехода между цветами, результат так же хорош, как если бы каждый сенсор записывал полный цвет. В тех случаях, когда предположение неверно, это намного хуже. В реальном мире первое действительно очень распространено и работает намного лучше, чем «половина», но важно то, что оно зависит от контекста.

RAW здесь не дает никаких преимуществ, кроме одной потенциальной игры. Байеровская интерполяция происходит в программном обеспечении, открывающем необработанные данные. Будущие достижения в алгоритмах интерполяции Байера могут быть включены в будущее сырое программное обеспечение, если и только если ваш производитель камер продолжит поддерживать вчерашние камеры в завтрашнем программном обеспечении. Вполне вероятно, что ваш производитель камер больше не будет поддерживать вашу старую камеру в завтрашнем программном обеспечении!

Он прав в том, что съемка RAW не меняет основ, но идея о том, что старые файлы перестанут работать, - , по сути, бессмыслица . Поскольку в старых камерах используется один и тот же базовый принцип и принципиально схожие форматы файлов, продвижение поддержки старых моделей на неопределенный срок не обходится дорого, и у производителей есть много стимулов для этого - и даже если это произойдет, есть большие декодеры с открытым исходным кодом.

И, конечно же, хранение файлов RAW дает другие преимущества , не связанные с демозаикой.

Но также глупо утверждать, что возможность будущих улучшений является преимуществом только . Как я уже говорил, существуют различные предположения относительно содержания вашего изображения, и различные алгоритмы (или настройки этих алгоритмов) будут лучше соответствовать различным ситуациям в реальном мире, поэтому, если вы окажетесь в ситуации, когда вы получаете муар или другие артефакты, вы можете иметь дело с этим. (Хотя, я должен добавить, что это на очень суетливом уровне - очень редко бывает ситуация, когда стоит посмотреть внимательно).

Есть также фактор, за который Кен может быть извинен, потому что статье уже десять лет. В 2006 году большинство камер находились в диапазоне 5–8 мегапикселей, а высококлассные модели зеркальных фотокамер растянулись до 12. Теперь типичные зеркалки низкого / среднего диапазона и беззеркальные камеры предлагают 16 и 24 мегапикселя, и эта цифра растет. На данный момент спор о цветовой детализации на уровне пиксельного подглядывания действительно академический, потому что в реальном мире очень редко, когда освещение, линзы, стабильность и все остальное выстраиваются так хорошо, что это ограничивающий фактор.

ВВообще, сайт Кена Роквелла похож на этот. (См. этот ответ для получения дополнительной информации .) Это прискорбно, поскольку на самом деле он может сказать много интересного и дать несколько полезных советов, но также есть много глупостей, и вместо того, чтобы признать это или улучшить это, он имеет тенденцию удваиваться, и затем утверждает, что весь сайт - сатира.

Да, и еще один забавный факт: ЖК-экраны и камеры EVF на задней панели камеры также используют три цветных субпикселя для представления одного цифрового пикселя, и эти экраны обычно продаются с количеством субпикселей * 1042. * - фактически в 3 раза больше, чем можно ожидать от разрешения экрана компьютера.

Answer 3

Это все правда, но толкование можно растянуть.

Этот конкретный образец необработанного цвета называется шаблоном Байера.

Да, необработанный - это один цвет на пиксель, и этот пиксель составляет (обычно) 12 бит. Таким образом, есть три цвета необработанных пикселей, некоторые синие, некоторые красные, и в 2 раза больше зеленого.

Затем, программное обеспечение для необработанной обработки (для создания RGB JPG, оно может быть непосредственно в камере или намного позже может быть внешним) конвертирует необработанные данные в изображение RGB, чтобы мы могли его использовать. Это интерполяция, соседние пиксели двух других цветов объединяются в каждый из этих пикселей RGB, но все они становятся пикселями RGB. В этот момент это 36-битные пиксели RGB, однако пространственное разрешение слегка нарушено, и различные данные о пикселях передаются соседям. Мы можем получить (например) 6000 RGB пикселей ширины сенсора, но это было из 2000 синих и 2000 красных сенсоров и т. Д. (И данные также передаются по вертикали, они поступают из более чем трех пикселей) Это называется демозапись ... которую можно найти в Интернете.