Насколько актуальны оценки и тесты DxOMark?

Question

Мне кажется, что рейтинг датчика DxOMark немного странный. Недавно они оценили датчик Nikon D3300 на тот же счет, что и Canon 1Dx, получивший , что, по моему мнению, вряд ли отразит их производительность, и которое также заставило меня скептически относиться к их системе начисления очков.

Я ценю их измерения датчика, что приводит к созданию инструмента для сравнения различных датчиков камеры, но действительно ли они актуальны? Насколько я знаю, нет документации о том, как рассчитывается оценка по динамическому диапазону, чувствительности цвета и показателям ISO при слабом освещении. Кроме того, DxO Labs заинтересована в продаже своего программного обеспечения, а не непосредственно в предоставлении инструментов для сравнительного анализа в научных исследованиях, и вполне может быть ориентирована на определенного производителя.

Насколько полезны оценки DxOMark и как вы можете использовать их для сравнения разных камер?

Answer 1

Первичные «баллы» DXOMark совершенно бесполезны. ИГНОРИРУЙ ИХ. Бесполезно пытаться свести сложную сущность, такую ​​как DSLR, к одному скалярному числу, которое говорит вам все об этом. Это ошибка. Есть слишком много факторов, чтобы рассмотреть, и какие факторы являются наиболее важными для данного фотографа, отличаются. Один счет полностью отрицает цель проведения измерений в первую очередь.

Когда речь идет о других показателях DXO, таких как слабое освещение, ландшафт и тому подобное, принимайте их с изрядной дозой соли. Их общие оценки сильно взвешены и часто основаны на результатах измерений, а не на фактических измерениях. Например, оценка Пейзаж основывается на «мере» Print DR. Проблема заключается в том, что DXO на самом деле не измеряет Print DR, поскольку оно не основано на выборках, взятых из фактических изображений с пониженной дискретизацией. Print DR - это простая математическая экстраполяция из ИСТИННОГО измеренного динамического диапазона датчика.

Поэтому Print DR ничего не говорит о датчике. Когда DXO говорит, что D800 и D600 имеют 14,4 ступени DR, это DR печати, который экстраполируется от фактического аппаратного DR, который составляет 13,2 ступени. То же самое касается сенсоров Canon. Когда DXO сообщает, что у датчика 12 остановок DR, это действительно не так. В действительности, большинство датчиков Canon на аппаратном уровне имеют около 10,95 ступеней DR.

Однако проблема еще хуже. Большая часть информации о глубине цвета и оценке чувствительности цвета взвешена, как и многие оценки на основе ISO. Весовые коэффициенты основаны на достижении камерами определенных пороговых значений, таких как SNR при определенном значении ISO, превышающем определенный уровень. Это дает определенный «бонус» на счет этой камеры. В тот момент, когда в игру вступает любой вид начисления бонусов на основе веса, ваша способность напрямую сравнивать что-либо по любому показателю полностью исчезает из окна. Теперь вы находитесь на нелинейном игровом поле, где вы, честно говоря, не знаете, была ли та камера Nikon с баллом 95 сильно взвешена по сравнению с этой камерой Canon с баллом 80.

Когда речь идет о реальных измерениях, информация DXO является одной из лучших из доступных. Их показатели SNR, DR, Screen, цветовой чувствительности и т. Д. Вполне приемлемы, поскольку все они взяты непосредственно из нескольких образцов RAW-изображений для каждой протестированной камеры. Их методология тестирования довольно строгая, и нет ничего, что указывало бы на то, что часть их методологии должна подвергаться сомнению. С научной точки зрения, в отношении того, как они тестируют и что они измеряют, DXO обладает надежной практикой и достоверной информацией.

DXO - действительно смешанная сумка. У них могут быть надежные методы тестирования, но их оценка, учитывая, что она часто основана на математически выведенной взвешенной информации, и тот факт, что пару их баллов часто получают «бонусные» баллы просто за достижение определенных порогов, полностью снижает балл из того, что делает DXO: для получения линейной оценки для каждой камеры, которая позволяет легко сравнивать камеры. Начать с заблуждения с одним номером было ошибочно, но они сильно ухудшили то, как они справляются с фактическим процессом подсчета очков.

Answer 2

Общий балл

Обычно я игнорирую общий балл, поскольку он слишком общий, если вы понимаете какой-либо из отдельных баллов.

Общий балл является функцией различных (довольно) детерминированных тестов, каждый из которых является достаточно информативным, и большинство (если не все?) Имеют четкие единицы измерения. Но затем они генерируют «счет», который объединяет эти показатели с различными измерениями. Это все равно что сравнивать одну машину с другой, добавляя максимальное ускорение (м / с / с), размер их топливного бака (L), их максимальную скорость (км / ч) и количество пассажиров, которых они могут перевозить. Всем захочется по-разному оценивать различные компоненты, поэтому общий балл становится довольно неактуальным.

Счета за использование

Как вы говорите, Canon 1DX получил тот же общий балл, что и Nikon D3300, но обратите внимание на некоторые большие различия, даже на сводной странице «Результаты»:

• "Пейзажный" показатель (он же Динамический диапазон) составляет 11,8 против 12,8 EV (1 ступень лучше на D3300)
• «Спортивный» балл (он же ISO при слабом освещении) составляет 2786 против 1385 ISO (1 ступень лучше при 1DX)

Эти " баллы вариантов использования " уже намного более конкретны и чувствительны к размерам, и позволяют проводить гораздо лучшие сравнения.

Тем не менее, они также

1. не обязательно легко понять, а
2. не обязательно полезное измерение для всех применений

Например, вариант использования «Спорт / Низкий свет ISO» равен

ISO при низкой освещенности - это самая высокая настройка ISO для камеры, которая позволяет ей достичь SNR 30 дБ, сохраняя при этом хороший динамический диапазон в 9 EV и глубину цвета 18 бит.

Эти выбранные значения являются произвольными, но часть , полезная , заключается в том, что они используются последовательно для одинакового измерения всех датчиков. Это означает, что, хотя вы смотрите только на одно значение, вы по крайней мере можете сравнить яблоки с яблоками. Насколько хорошо сравниваются датчик A и датчик B для одной конкретной точки данных. Это полезное сравнение , потому что все датчики имеют тенденцию работать лучше при более низких значениях ISO, и все они, как правило, имеют аналогичные спады при увеличении ISO и т. Д. Но вы действительно полагаетесь на такую ​​же производительность для всех датчиков для этого полезно сравнение общего назначения.

Измерения

Если вы перейдете в раздел «Измерения» сравнения, вы увидите еще несколько полезных сравнений. Много данных, в разных условиях. Вот где вы можете (вроде) начать отвечать на такие вопросы, как «Насколько меньше ISO-шума я получу от камеры A против камеры B при ISO 6400?». Или, если вы уже знаете, что с вашей текущей камерой все в порядке до ISO 1600, вы можете использовать SNR для вашей камеры при ISO 1600 в качестве базовой линии для сравнения других камер (в этом случае будет аналогичное количество шума изображения в 1DX при ISO 3200, как это было бы в D3300 при ISO 1600). Ну, даже это не совсем так, поскольку данные SNR на 18% серые!

Сравнение производительности между сложными устройствами со многими размерами / степенями свободы по своей сути является очень сложной проблемой. Вы можете часто сравнивать отдельные тесты, но проблема в том, чтобы найти общие тесты, которые быстро и легко отображают относительную или абсолютную производительность. Я думаю, что "Use Case Scores" достигают этого в значительной степени, но только потому, что технология большинства датчиков довольно схожа, позволяя вам сделать обобщения, подобные приведенному выше, о том, что 1DX "на один шаг лучше" для шума при слабом освещении , (Представьте, если бы шум датчика не был простой функцией ISO для всех датчиков!)

Имейте в виду также, что один датчик превосходит другой не обязательно полезен . Производительность ISO (SNR 18%) для D3300 и 1DX практически не имеет значения при съемке в формате JPEG яркой сцены дневного света. Более полезными будут такие вещи, как динамический диапазон (для теней / выделения деталей с резкими тенями). И даже тогда, снимая JPEG, вы не получите намного больше от большего динамического диапазона (есть небольшая степень сжатия тона, чтобы сформировать JPEG, но оба по-прежнему способны значительно превосходить 8-битный динамический диапазон JPEG). Повторять аналогию с автомобилем - это все равно, что сравнивать максимальную скорость и ускорение между автомобилями для городских поездок. Вы никогда не достигнете предела ни одной «быстрой» машины, так что это не имеет значения для этого приложения . Вам действительно нужно хорошо разбираться в конкретном приложении, если вы хотите осмысленно сравнить два датчика, и вот что вы хотите знать:

1. Фактические измерения, для сравнения (не только общие оценки)
2. Какие измерения полезны для приложения
3. Каков предел полезности для конкретной меры производительности

Резюме

Общий балл довольно бесполезен, за исключением того, что он представляет собой действительно общее руководство по чьему-либо взвешиванию вариантов использования (не обязательно вашего!) S.

баллы вариантов использования - намного лучшие руководства для нескольких общих трендов производительности между различными датчиками.

Измерения позволяют вам делать свои собственные сравнения, если вы знаете, что сравнивать, и иметь в виду применение. Также важно знать, сколько «достаточно» или когда вы получаете «убывающую отдачу» для любого конкретного приложения.

Если вы действительно не понимаете электронику, оптику, физику ... абсолютные числа, вероятно, довольно бессмысленны.

Answer 3

Я доверяю DXoMark настолько, насколько я могу бросить их, и я не особенно хорош в толкании ядра. Они представляют собой интересный источник информации о лабораторных условиях и могут быть иногда полезны при сравнении камер одного и того же производителя, но в этих тестах слишком много переменных, которые отличаются от реальных условий, чтобы сделать их в целом полезными для сравнения камер, особенно из производителей.

Как и на любом другом сайте, посвященном обзору камер, реальная производительность всегда важнее лабораторных условий. Если вы знаете, как читать информацию и понимать, что имеет и не имеет отношения к реальному миру, вы можете сделать некоторые значимые данные из DxOMark, но, по моему опыту, лучше всего взять их с большим количеством соли.