Улучшение разрешения изображения CSI: насколько это реально?

Question

Итак, я посмотрел следующий 1-минутный клип Youtube от CSI New York . В клипе, используя запись, которая выглядит как запись со стандартной банковской камеры, они увеличивают как минимум до 100 и видят изображение преступника в отражении глаза девушки.

Теперь, я подумал, что это было совершенно нелепо, настолько, что я подумал, что это действительно очень смешно.

Однако, мой друг утверждал, что есть очень хорошие приемы для улучшения изображения, такие как «суперразрешение» - процедура, при которой несколько кадров видео создают изображение с гораздо более высоким разрешением. Он действительно думал, что шоу немного изгибает правду, но сколько?

Честно говоря, я ничего не знаю об этих вещах, поэтому мой вопрос:

Насколько хорошо современное улучшение разрешения изображения? Кроме того, как далеко находятся телевизионные программы CSI?

Спасибо,

Примечание: Это кросс-пост на сайте Skeptics. Мне сказали, что я мог бы получить лучшие ответы здесь.

Answer 1

Краткий ответ: Вы можете получить очень хорошие результаты, но только при определенных условиях и абсолютно даже близко к тому, что показано в связанном видеоклипе.

Моя компания, Amped Software , разрабатывает программное обеспечение для обработки изображений и видео для криминалистических и интеллектуальных приложений, поэтому в основном мы являемся реальным аналогом программного обеспечения CSI.

Говоря об общей проблеме повышения качества, могу вам сказать, что для нашего рынка это огромная проблема, чтобы оправдать ожидания, связанные с сериалами и голливудскими фильмами. Вы можете увидеть на нашей странице образцов , что иногда результаты, которые мы можем получить, действительно удивительны, но важно понимать, что мы можем получить их только при определенных условиях: если есть информация, охватываемая беспокоит, но он там , мы можем его восстановить. Если информации нет, мы не можем и не должны воссоздавать ее. В этом конкретном приложении важно не только получить результаты с визуальной точки зрения, но также после научного рабочего процесса, который должен быть принят судом .

В прошлом году я представил исследование , описывающее проблемы и результаты почти 200 случаев, над которыми я работал, и окончательный результат был следующим:

• в более чем 50% случаев делать нечего (например, восстановить номерной знак размером 5x2 пикселей абсолютно невозможно с любым программным обеспечением в мире);
• примерно в 30% случаев мы можем получить небольшой результат (например, восстановить какую-то букву номерного знака или улучшить общий вид лица);
• в 10% случаев вы получаете хорошие результаты (например, вы получаете большую часть номерного знака).

Обратите внимание, что во всех этих случаях были серьезные проблемы с качеством. Если их качество было хорошим, нас не просили поработать над ними.

Для чего конкретно повышение разрешения :

• при увеличении изображения вы интерполируете недостающие пиксели: из одного изображения вы можете визуально улучшить внешний вид изображения, но вы не будете добавлять какие-либо реальные детали ;
• Методы суперразрешения могут дать хорошие результаты при определенных условиях: у вас должно быть достаточно кадров, смещенных на нецелое количество пикселей и предпочтительно с несколькими артефактами сжатия. В лучшем случае вы можете ожидать хороших результатов в 2x и 3x кратном увеличении.

То, что показано в видеоклипе, возможно, только если исходное видео было снято с разрешением несколько мегапикселей, и тогда у вас будет разрешение для очень близкого увеличения (более или менее, как вы делаете это на Google Картах). Конечно, в этот момент все еще будут другие проблемы, такие как правильная фокусировка, плохое освещение, тот факт, что перспектива глаза отличается от перспективы всего объекта в видео, и это лишь некоторые из них.

Answer 2

Вы не можете сделать что-то из ничего, вы должны иметь (или угадать) некоторую информацию, чтобы иметь возможность каким-либо образом улучшить изображение. Например, если вы знаете свойства функции размытия (и нет шума на изображении), тогда вы действительно можете размазать фотографию. Однако вы редко знаете, что функция размытия и шум присутствуют всегда, что сильно ограничивает то, что вы можете восстановить (Adobe недавно продемонстрировала фильтр unblur, но их демонстрация была с синтетическим размытием).

Короче говоря, CSI - это почти чистая выдумка - выгоды, которые возможны в реальной жизни, незначительны, ничего подобного увеличению разрешения в 5 раз, которое представлено на телевидении.

Проверка работоспособности: если бы они могли все это сделать, люди не заплатили бы десятки тысяч за камеры с разрешением 40+ MP Hasselblad, было бы дешевле просто продублировать программное обеспечение!

edit: Я почему-то не заметил первоначальный вопрос о супер-разрешении видео. Сверхразрешение нескольких изображений возможно в реальности, но только с учетом ограничений датчика. Он работает с использованием набора изображений с субпиксельными сдвигами. Это дает информацию о значениях между пикселями, что позволяет создать изображение с более высоким разрешением. Супер-разрешение видео работает, потому что движущийся объект создает такие же сдвиги, однако внешний вид объектов не должен сильно меняться между кадрами. В лучшем случае метод дает вам результаты только с сенсором с более высоким разрешением, вы не можете преодолеть пределы разрешающей способности объектива, которые были бы весьма ограничены для объективов CCTV.

Вот пример сверхразрешения при хороших условиях:

_{(источник: wikimedia.org )}

изображение с photoacute.com

улучшение разрешения, да, но все еще далеко от уровня CSI.

Чтобы сослаться на мой комментарий выше, последние Hasselblads фактически реализуют сверхвысокое разрешение сенсорного сдвига под названием «захват нескольких кадров», так что вы все еще не можете победить производителей среднего формата в их собственной игре, используя умное программное обеспечение ...

Answer 3

Итак, вот что у меня есть:

Площадь глаза, где они видят баскетбол, составляет около 1 квадратного миллиметра. Исходя из роста девушки, мы можем с уверенностью оценить, что она должна составлять не более одной миллионной доли от общего числа пикселей на экране. (Ширина и высота изображения, хотя и недостаточно четко определены для фотографий, поскольку некоторые объекты могут быть ближе, выглядят примерно 3 х 3 метра, что будет означать 10 миллионов квадратных миллиметров. Однако глаз может быть ближе к объективу реальной камеры Я грубо оцениваю и делю на 10 $.)

Если бы запись была HD-качества, то это все равно было бы всего 2 мегапикселя, поэтому, где мы видим, баскетбольный мяч должен быть размером в один пиксель.

Я думаю, что рассуждения, несомненно, показывают, что это неправда, но я все еще задаюсь вопросом, каковы верхние пределы для улучшения изображения?

Answer 4

Существует некоторое коммерчески доступное программное обеспечение с Super Resolution. Я сам не пробовал ничего из этого, но рекламный материал довольно хорош. Программное обеспечение предназначено для наблюдения, безопасности и вооруженных сил, но я думаю, что некоторые судебные подразделения будут иметь доступ к этому материалу.

Два примера: Ikena от MotionDSP и TacitView из 2d3

Answer 5

Повышение качества изображения / видео до уровня, предлагаемого в телешоу, просто невозможно, и фактически ограничено устройством захвата изображения. Это технология, которая должна развиваться в первую очередь.

Невозможно получить информацию из набора из 10 пикселей в узнаваемый объект. На уровне пикселей это окончательный объем информации, представленной на изображении. У вас есть только 100 цветных блоков в этом конечном увеличении. Вы можете увеличить область 10x10 пикселей до 100x100 пикселей с помощью интерполяции, но информация в 10x10 пикселей - это все, что нужно, и интерполяция опирается на образованные предположения, основанные на этих 10 x 10 пикселей программным обеспечением. Результатом будет размытие 100 х 100 пикселей. В качестве альтернативы, возьмите изображение размером 2000x2000 пикселей и интерполируйте его до 4000x4000 пикселей, и некоторые нечеткие размытия на исходном изображении могут выглядеть более четкими, чем возможные объекты на большом изображении, чисто через пареидолию - но даже тогда это предположение или предположение. Интерполированное изображение дало бы «иллюзию» большего количества деталей, но все еще полагается на детали исходного захвата изображения 2000x2000 (или 4 000 000 конечных пикселей информации).

Улучшение изображения основывается исключительно на максимальном объеме информации, получаемой через исходный источник изображения, и масштабирование в пикселях - это все, что есть. Некоторые камеры могут снимать изображения с очень хорошим разрешением, но никакое программное обеспечение не может выявить детали, которые не записаны в исходном изображении.

Теперь, чтобы вернуться к шоу CSI, большинство из них захватывает ваши стандартные кадры с камеры видеонаблюдения, которые, во-первых, не слишком высоки в разрешении в реальной жизни, поэтому, когда я вижу такого рода улучшения на шоу, это просто заставляет меня смеяться - поскольку это невозможно даже с самой продвинутой формой программного обеспечения для редактирования изображений (и PhotoShop хорошо и действительно находится на верхнем уровне расширенного масштаба). Улучшение изображения и масштабирование на 100% основаны на информации, получаемой устройством обработки изображений - поэтому камера наблюдения, способная захватывать отражение лица человека на чьей-то роговице глаза, должна быть сверхмощной и невероятно дорогой , Видеозапись должна иметь чрезвычайно высокое разрешение пикселей на кадр (скажем, 100 мегапикселей или около 9,5 терабайта для хранения 1 секунды отснятого материала), что приведет к увеличению размера файла отснятого материала до такой степени, что каждой камере наблюдения потребуется небольшой серверная ферма для хранения видеоматериалов за 24 часа. Очень дорого. Получающаяся в результате технология улучшения будет опираться на устройства захвата изображений, способные в первую очередь выполнять этот уровень детальной видеозаписи и захвата изображений, чтобы хранить данные удобным способом и быть в такой ситуации, что это недорого для развертывания по городам. Размер файла будет настолько огромным на видео (помните, что он составляет около 9,5 терабайт в секунду), что для работы программного обеспечения потребуется чрезвычайно мощный суперкомпьютер (по современным стандартам). С развитием технологий с такой скоростью, как это возможно, это может быть возможно в какой-то момент в будущем, возможно, при нашей жизни. Только тогда они смогут сделать это, но изображения не будут улучшены, они будут только увеличивать сверхдетальные изображения. Я знаю это, поскольку я работаю в области цифровых изображений, работая полный рабочий день.