Да, установщик LR5 автоматически перенесет каталог LR3 в LR5. Еще лучше, что установщик сделает копию вашего каталога LR3 и перенесет только копию, так что ваш оригинальный каталог LR3 останется нетронутым в случае возникновения проблем.
Так что не бойтесь, установите LR5 (установка LR3 останется).