Действительно ли Lightroom перезаписывает файл * ENTIRE * DNG при каждом изменении метаданных?

Question

Когда Lightroom сохраняет изменения метаданных в файле DNG, делает это:

A) Просто переписать часть XMP / метаданных файла DNG в существующий файл, то есть частичное обновление файла.

или

B) Перезаписать весь файл на диск (на месте).

или

C) Удалить существующий файл и записать новый файл на диск (очевидно, с тем же именем файла). (Я даже не уверен, что это технически отличается от B выше)

В случае, если это уместно / имеет значение, я использую Lightroom на Windows 8.1 64bit на файловой системе NTFS на обычном вращающемся жестком диске (не SSD). Но также хотел бы знать, отличается ли ответ для других систем или твердотельных накопителей.

В основном я рассматриваю возможность использования DNG со встроенным исходным файлом RAW, поэтому мои файлы DNG будут иметь размер около 30 МБ. Просто интересно, будут ли эти 30 МБ перезаписываться на диск каждый раз, когда я что-нибудь касаюсь в Lightroom (и даже когда я ничего не меняю в соответствии с тем, что сообщали некоторые люди).

Answer 1

Если метаданные интегрированы в основной файл, то основной файл обычно переписывается большинством операционных систем / файловых систем в большинстве вычислительных систем, используемых фотографами. Я не знаю ни одного текущего сценария, который, даже если файловая система допускает возможность частичной перезаписи файлов, на самом деле происходит таким образом при использовании Lightroom.

Если метаданные хранятся в отдельном файле боковой панели, то необходимо переписать только файл дополнительной коляски. В Lightroom пользователь может использовать отдельные файлы боковой панели XMP для хранения метаданных и шагов редактирования, выполняемых при работе с файлом изображения. Пользователь также имеет возможность включить метаданные в сам файл изображения. Есть преимущества и недостатки для любого выбора.

Существуют файловые системы, которые обрабатывают изменения в файлах таким образом, что они не перезаписывают весь файл при каждом изменении файла, но они не очень распространены среди потребителей, которые используют свои домашние компьютеры для хранения фотографий, или даже большинством профессиональных фотографов. Если вы используете файловые системы, такие как ZFS или ReFS (которые даже теоретически допускают возможность частичной перезаписи файлов) для хранения фотографий, вы находитесь в очень небольшом меньшинстве.

По мере того, как число пользователей, использующих новую APFS от Apple (в связи с предстоящей заменой оборудования), растет, что может со временем измениться, и такие приложения, как Lightroom, могут использовать такую ​​возможность в будущем. На данный момент большинство фотографов не используют такую ​​файловую систему на своих компьютерах, и даже те, кто ничего не получает в отношении частичной записи файлов, если приложение, такое как Lightroom, не использует эту возможность.

Answer 2

Lightroom не перезаписывает весь файл DNG при сохранении метаданных в файл, либо через Cmd / Ctrl-S , либо если у вас включена настройка каталога «Автоматически записывать изменения в XMP».

Я проверил это, наблюдая за Lightroom CC 2016.6.1 в OS X 10.11.6 под dtruss, затем написал скрипт Perl для анализа собранных данных. Комментарии в этом скрипте объясняют метод, но если вы хотите увидеть только типичный набор результатов, то вы идете:

Data I/O for file _1020153.RW2:
    256K read
Data I/O for file _1020153.xmp:
    6.87K read
    3.59K written
Data I/O for file _1020176.dng:
    3.38M read
    6.52K written

Два указанных выше необработанных файла были сняты в один и тот же день одной и той же камерой, и ввод / вывод происходит от применения одного и того же ключевого слова к каждому файлу. Единственное отличие состоит в том, что один из них является исходным необработанным файлом камеры (Panasonic RW2), а другой был преобразован Lightroom в DNG перед тестом. Файл RW2 составляет 18,7 МБ, а файл DNG - 13,4 МБ. (Разница в размерах заключается в том, что DNG использует лучшее сжатие без потерь, чем обычно для исходных форматов необработанных снимков.)

Как видите, хотя ни одно из обновлений не записало почти достаточно данных для перезаписи всего файла, обновление DNG задействовано около 13 раз; столько читать и почти в 2 раза; столько написания.

Также интересно, что Lightroom делает больше, чем просто пишет в файл XMP в родном случае с камерой. Он также считывает значительный объем данных из необработанного файла, вероятно, для того, чтобы убедиться, что необработанный файл не изменился из-под него, прежде чем он перейдет к записи в сопутствующий XMP-файл.

Однако я бы не стал воспринимать этот единственный тест в качестве представителя. Попробуйте это на ваших собственных файлах. Я не удивлюсь, если вы получите другие результаты.

Имейте в виду, что полная стоимость этих операций ввода-вывода оплачивается только в первый раз, когда вы работаете с данным набором файлов в данном сеансе Lightroom. Если последовательно применить несколько ключевых слов, чтение данных, в частности, будет практически мгновенным, поскольку содержимое файла все равно будет находиться в буферном кеше вашей ОС.

dtruss недоступно для Windows, но есть эквивалентные варианты . Адаптация сценария анализа Perl для работы с выходными данными таких инструментов должна быть простой.