AFAIK этот эффект называется Соляризация (или соляризация), и это явление уже известно в аналоговой фотографии, когда части изображения полностью или частично обращены в тональный тон.
Вы, вероятно, могли бы сделать дальнейший поиск по оригинальному явлению и попытаться выполнить обратный инжиниринг с помощью слоев, прозрачности и т. П. Есть также множество практических рекомендаций и видеоуроков по этому вопросу - не стоит быть слишком трудным, чтобы сделать это в любой версии фотошопа.
См. Также: страница Википедии о соляризации .