Как и почему выходные данные TIFF и DNG VueScan отличаются?

Question

Приложение vuescan поддерживает сохранение сканов в формате DNG и TIFF, которые можно обрабатывать и / или как они называются raw . Я хотел бы понять различия между форматами, чтобы помочь выбрать лучший выбор для архивного хранения.

Я выполнил несколько тестов с двумя 48-битными выборками при 2400 точек на дюйм. Первое суммируется так:

293936902 281M 2016-06-18-0001.dng   Zip
293918182 281M 2016-06-18-R-0001.dng Zip

293805386 281M 2016-06-18-0002.tif   None
293783510 281M 2016-06-18-R-0002.tif None

237436594 227M 2016-06-18-0004.tif   LZW   smallest
326009196 311M 2016-06-18-R-0004.tif LZW   largest

Первая пара была сохранена как DNG, та, у которой -R- в имени, является необработанной. Вторая пара - это несжатый TIF, а третья - это сжатый TIF. Второй образец следует аналогичной схеме:

raw.dng  124159636 119M ZIP 
save.dng 124159636 119M ZIP 

raw.tif  124051702 119M None
save.tif 124051702 119M None

raw.tif  154583376 101M LZW    smallest
save.tif 105012638 148M LZW    largest

Проверка файлов с помощью Imagemagick показала, что необработанные файлы были темнее (как и ожидалось для гаммы 1), но Imagemagick сообщила о гамме как 0,454545 для всех файлов. Различия, которые я обнаружил, заключались в том, что Imagemagick сообщило как Channel statistics плюс, в файлах DNG, dng:ChannelMultipliers, dng:Green и dng:Temperature.

В VueScan отсутствует опция для выбора механизма сжатия (т.е. ZIP или LZW), только независимо от того, включен он или нет, и только для TIFF; формат DNG всегда сжат ZIP. Возможно, это требование DNG?

Файлы DNG того же размера, что и несжатый формат TIFF, указывают на то, что сжатие ZIP неэффективно. Но почему существует такая огромная разница в размере между сжатыми файлами TIFF LZW, когда несжатые файлы TIFF и DNG имеют одинаковый размер?

Учитывая вышеизложенное, я бы выбрал сжатый TIFF LZW (потому что он наименьший) или необработанный TIFF без сжатия, если нет веских причин использовать DNG.

Таким образом, я вижу, что форматы имеют разные выходные данные, но я не понимаю всех различий, некоторые из которых являются неожиданными - например, размеры файлов и сообщаемые значения гаммы. Без понимания этого трудно выбрать наиболее подходящий файл для архивирования. Отсюда вопрос:

Чем отличаются эти форматы, особенно с учетом варианта использования архива, и, поскольку VueScan является предпочтительным инструментом, делают ли эти различия DNG или TIFF в VueScan более подходящими для архивирования?

(я искал ответы в руководстве и библии , прежде чем спрашивать здесь.)

Дополнительная информация

Вот гистограммы Lightroom для четырех изображений:

Сырье DNG TIFF

Сырье DNG TIFF

Сохранить DNG Сохранить TIFF

Сохранить DNG Сохранить TIFF

Все четыре гистограммы различны, что указывает на разницу между форматами TIFF и DNG. Между необработанными и сохраняемыми файлами DNG очень мало различий, но TIFFS сильно отличаются, а необработанный TIFF значительно отличается от других.

Файл сохранения TIFF является единственным файлом со встроенным профилем ICC, который называется «sRGB IEC61966-2.1».

Ниже (слева, уменьшенное изображение) приведен снимок предварительного просмотра VueScan, который, я бы сказал, наиболее близок к сохраненному файлу TIFF. Более крупное изображение - это изображение с сохраненным тиффом с откалиброванным профилем ICC сканера вместо sRGB по умолчанию.

Answer 1

Данные пикселей изображения, содержащиеся в необработанных файлах TIFF и DNG, созданных VueScan, идентичны. Это можно доказать, извлекая и сравнивая эти данные. Это можно сделать с помощью инструментов командной строки Linux dcraw и imagemagick:

$ diff -s \
 <(stream -map rgb -storage-type short raw.tif - | sha256sum) \
 <(dcraw -E -4 -c raw.dng | tail -n +4 | dd conv=swab 2> /dev/null | sha256sum)
Files /dev/fd/63 and /dev/fd/62 are identical

(Я не буду путать этот ответ с техническим объяснением - добавьте комментарий, если это будет здесь интересно.)

Общее содержание файла, однако, отличается. Файл DNG - это файл TIFF с определенной структурой, включающей предварительный просмотр с низким разрешением и специальные метаданные. Особого внимания заслуживают следующие теги:

• ColorMatrix1
• As Shot White XY
• Baseline Noise

Эти три тега устанавливаются VueScan и используются приложением разработчика (например, DarkTable ) в качестве входного цветового профиля (который DarkTable перечисляет как встроенная матрица ). Существуют и другие теги, но они не влияют на способ обработки изображения.

Вы можете взять VueScan DNG и «пересканировать» его в сырой TIFF, и данные пикселей в обоих файлах будут одинаковыми. Вы также можете использовать dcraw, чтобы сделать то же самое: $ dcraw -E -4 -T raw.dng

Таким образом, проблемы, поднятые в вопросе, связаны не столько с различиями в содержимом файлов, сколько с тем, как Darktable (или что-то еще) обрабатывает различные файлы. Вы можете сделать DNG похожим на TIFF, удалив вышеупомянутые теги и выбрав цветовое пространство sRGB.

Что касается размеров файлов - я не смотрел на эффективность алгоритмов сжатия, потому что, как другие предлагали, похоже, что это зависит от распределения входных данных. Но, сравнивая аналогичные, содержимое данных растрового изображения идентично.

Остается неясным, как VueScan вычисляет ColorMatrix1, AsShotWhiteXY и BaselineNoise.

Answer 2

Различие может заключаться не в данных, содержащихся в сопоставимых несжатых 48-битных файлах TIFF и DNG, а в том, как Imagemagick интерпретирует эти данные для представления их на 24-битном экране.

Я не уверен, как это работает с данными со сканера, но с необработанными данными с камеры, которые включают в себя конфиденциальную информацию, такую ​​как данные из замаскированных пикселей, собранных на датчике, преобразование в DNG «запекает» черный точка и белая точка файла изображения, отбрасывая информацию из замаскированных пикселей, а также другие конфиденциальные данные, которые собирают некоторые датчики.