사진 특징을 다른 사진에 옮겨 바꾸는 경량 알고리즘 「FastPhotoStyle」을 엔비디아가 개발

사진 특징을 다른 사진에 옮겨 바꾸는 경량 알고리즘 「FastPhotoStyle」을 엔비디아가 개발

GPU 최대기업 NVIDIA가, 이미지가 가지는 특징적인 「스타일」을 전혀 별도의 사진에 「이식」하는 「FastPhotoStyle」이라고 하는 알고리즘을 개발했습니다. FastPhotoStyle은 이미 GitHub에서 무료로 공개중입니다.

[1802.06474] A Closed-form Solution to Photorealistic Image Stylization

NVIDIA에 의하면, 종래형의 기술에서는 가공에 높은 연산 능력이 필요로 되어 VGA(640×480픽셀)사이즈 사진을 가공하는것에도 몇분 걸렸습니다. 그러나, 새개발된 알고리즘을 이용하는 FastPhotoStyle은 이 컴퓨팅 비용의 제한을 클리어했습니다.

FastPhotoStyle에서는, 「stylization(정형화)」 스텝과 「smoothing(평활화)」 스텝에 2개의 과정을 경과합니다. stylization 스텝에서는, 참조 원인이 되는 사진의 스타일을 대상 사진에 옮겨 바꾸고, smoothing 스텝으로 스타일을 공간적으로 배치합니다. 종래형의 알고리즘과 다르고, 반복해서 최적화를 설비하는 것이 불필요해서, stylization·smoothing 양쪽 모두 닫힌 형식이 되고 있다고 합니다.

FastPhotoStyle을 사용해서 특징을 옮겨 바꾼 예는 아래와 같습니다.

사진왼쪽 「Style Photo」가 가지는 특징적인 스타일을, FastPhotoStyle에서 사진중앙 「Content Photo」에 옮겨 바꾼 것이, 사진오른쪽 「Stylized Content」입니다.

NVIDIA는, FastPhotoStyle을 GitHub에서 공개했습니다.

또, FastPhotoStyle에 관한 기술적 사상에 대해서는 이하 논문을 읽으면 됩니다.

https://arxiv.org/abs/1802.06474