Чтобы обнаружить размытие, вы хотите обнаружить отсутствие резкости, самый простой способ сделать это - посмотреть на первое и второе производные изображения, так как мелкие детали будут отображаться как сильный градиент. Я хотел бы взглянуть на использование чего-то вроде фильтра Лапласа.
Если вы хотите специально обнаружить размытие в движении, вам нужно использовать анизотропное ядро, которое будет определять, где есть детали в одном направлении, но не в другом (поскольку линейное размытие в движении уменьшает детализацию вдоль определенной оси). Для этого хорошо подходит что-то вроде детектора углов Harris.
И то и другое (я думаю) может быть легко реализовано с помощью свертки, в matlab есть функция для этого, я думаю, это называется что-то вроде conv2