Понижение частоты дискретизации в камере и шум, эквивалентный ISO

Question

У меня корпус Sony с 24-мегапиксельной матрицей APS-C CMOS. Он будет хранить изображения в следующих разрешениях:

1. 6000x4000 (24MP)
2. 4240x2832 (12MP)
3. 3008x2000 (6MP)

При сравнении 24-мегапиксельного и 6-мегапиксельного корпусов легко увидеть, что камера может эффективно производить выборку из четырех физических пикселей для получения каждого сохраненного пикселя. Основываясь только на этом факте, я бы ожидал, что SNR будет в два раза выше. Или, говоря иначе, я мог бы удвоить ISO при записи 6MP и ожидать того же шума, который я вижу при 24MP, при прочих равных условиях. Насколько точна моя теория?

Теперь, на практике Камеры с понижающей дискретностью достигают такого полного теоретического улучшения шума?

Существует так много физических и логических уровней между точкой, в которой изображение сталкивается с датчиком, и местом, где оно, наконец, записывается в поток цифровых изображений. Мне остается только подумать, может ли камера сделать даже лучше при пониженной выборке?

(И наоборот, если известно, что понижающая дискретизация на камере является субоптимальной, предпочтительнее было бы «платить» за запись с максимальным разрешением и понижающей дискретизацией при постобработке, где можно добиться полного улучшения Sqrt [N] в SNR. )

Answer 1

Всегда возможно, что плохо написанное приложение постобработки может выполнить шумоподавление и понижающую дискретизацию, а также другие необработанные процессы преобразования, с более низким качеством, чем в камере. Но хорошо написанные приложения пост-обработки (которые включают в себя все популярные и многие из менее популярных) могут сделать это намного лучше, чем встроенные в камеру процедуры, которые ограничены проблемами скорости и мощности, а также -size-fits-all подход к каждому изображению, преобразованному в камере.

Каждый снимок, который делает ваша камера, начинается с файла необработанных данных 6000x4000 пикселей. Для получения файлов JPEG с разрешением 24MP, 12, MP или 6MP камера обрабатывает эти необработанные данные в файл изображения JPEG.

Вы можете, по крайней мере, сделать то же самое, и, как правило, намного лучше, разрабатывая эти необработанные данные и применяя шумоподавление на компьютере. Причины должны быть достаточно очевидными:

• Камеры оптимизированы (или, по крайней мере, используют сбалансированный подход) для экономии заряда батареи. Компьютеры оптимизированы по вычислительной мощности. Встроенный в камеру процессор разработан для повышения эффективности, а алгоритмы обработки написаны для повышения эффективности с точки зрения энергопотребления. Обработка на компьютере, как правило, не связана с энергосбережением - необработанное приложение преобразования на компьютере обычно более оптимизировано для максимальной вычислительной мощности, поскольку в большинстве камер у него гораздо больше энергии, чем аккумулятор.
• Камеры рассчитаны на скорость. Чем короче процедура обработки, тем быстрее она может быть выполнена. Это позволяет камере обрабатывать каждое изображение быстрее и переходить к следующему изображению. Более короткое время обработки в камере обеспечивает более высокую частоту кадров, пока не будет достигнута точка заполнения внутреннего буфера (когда скорость записи с камеры на карту становится узким местом). Существует несколько приложений для обработки фотографий на компьютере, которые оптимизированы для скорости за счет качества, но большинство из них позволяют пользователю устанавливать качество в качестве приоритета, если приложение не написано таким образом для запуска.
• Шумоподавление довольно интенсивно использует процессор. Иногда это может потребовать больше вычислительной мощности, чем демозаика того же файла. Смотрите первые два пункта выше.
• Шумоподавление также более гибко в большинстве приложений постобработки, чем в большинстве элементов управления в камере. Вместо того, чтобы выбирать Off-Low-Medium-High в камере и позволять камере фактически устанавливать значения для яркости и шума цветности строго на основе предварительно установленного значения для определенного ISO, при постобработке вы можете контролировать уменьшение яркости и шума цветности независимо и включить пользовательская основа для каждого кадра на основе фактического содержания. Вы также можете выборочно применять различные уровни NR к разным областям одной и той же фотографии, используя кисть, если ваше приложение имеет эту функцию.
• Камеры обрабатывают необработанные данные в изображение JPEG. Если выбран формат вывода файла jpeg, камера сохранит только информацию в формате jpeg на карту памяти. Остальные данные в необработанном файле отбрасываются и не сохраняются. Таким образом, вы застряли с единственной интерпретацией необработанных данных. Если вам не нравится этот результат, вы не можете вернуться к необработанным данным и сделать это снова с другими настройками. Если дан необработанный файл, компьютеры сохраняют все необработанные данные, даже если они отображают только часть их в более или менее виде JPEG на мониторе. После внесения изменений в настройки приложение может опираться на все данные в необработанном файле, чтобы преобразовать эти данные в другую более или менее форму jpeg для отображения на экране. Эти изменения не разрушают исходные необработанные данные. Единственное, что изменилось, это то, как эти необработанные данные интерпретируются для создания изображения. Если пользователю не нравится эта интерпретация, он может изменить настройки и позволить приложению повторно интерпретировать исходные необработанные данные снова. И опять. И опять. И снова ...
• Существует много других соображений при обработке необработанных данных, касающихся качества изображения, помимо снижения шума. Для обработки в камере, смотрите первый и второй пункты выше. На компьютере каждый шаг может занять столько времени, сколько пользователь желает, и может быть выполнен по одному, чтобы оптимизировать каждый шаг в процессе в соответствии с предпочтениями фотографа / редактора. Камеры, как правило, используют один и тот же подход для обработки необработанных данных в формате JPEG.
• Все подходы к понижающей дискретизации не равны. Грубый квадрат 4 пикселя в один пиксель при уменьшении 4: 1, как описано в вопросе, не дает столь же плавного изображения, как метод, который использует информацию из окружающих пикселей, во многом аналогично тому, как демосайсинг создает значения цвета интерполировать значения пикселей результирующего сокращения. Конечно, такой подход также более сложен и требует большей вычислительной мощности.