얼굴 특징으로부터 3D모델 생성&남의 얼굴에 바꿔 넣을 수 있는 「3D Face Reconstruction」

얼굴 특징으로부터 3D모델 생성&남의 얼굴에 바꿔 넣을 수 있는 「3D Face Reconstruction」

「3D Face Reconstruction」은 이미지나 무비내 사람 얼굴로부터 3D 얼굴 모델을 생성할 수 있습니다. 생성한 얼굴 모델은 눈 등 일부만을 다른 인물의 얼굴에 합성하거나, 얼굴전체를 바꿔 놓거나 하는 것도 가능합니다.

3D Face reconstruction은 상해 교통 대학교  feng yao씨가 발표한 논문인「(PDF파일)https://arxiv.org/pdf/1803.07835.pdf」를 바탕으로, 그 스스로 실제로 추가한 것입니다.

3D Face reconstruction 주된 기능은 이하 5점

◆얼굴 위치 검출 

인물 이미지로 얼굴부분을 특정하고, 안면에 있는 정점의 위치를 검출합니다. 한편, 정면을 향하고 있지 않는 이미지라도 합성은 가능합니다만, 이미지로 확인할 수 없는 부분을 3D모델화할 수 없습니다.

◆3D 얼굴 합성

이미지로 각정점에 대응하는 색을 취득하고, 얼굴 모델을 만들어 냅니다.

◆얼굴각도 판정

이미지내 인물이, 어느 방향을 향하고 있는 것일지를 정확하게 산출하는 것으로, 다른 얼굴을 합성할 때 위화감을 없애는 것이 가능합니다.

◆깊이 인식

이하 이미지와 같이, 기울어진 각도로 찍힌 인물의 얼굴을 3D모델화해도, 눈으로부터 떨어진 위치에 귀가 있는 것 같은 3D모델을 지을 일 없이, 위화감이 없는 위치 관계를 재현할 수 있습니다.

◆텍스처 편집

인물의 얼굴을 3D모델화하는 것으로, 다음과 같이 인물의 얼굴에 애니메이션 캐릭터의 눈을 합성하는 것이나……

트럼프 대통령의 얼굴을 여러가지 인물의 얼굴로 바꿔 놓는 것도 가능합니다.

또, GPU를 사용하면 3D모델을 고속으로 생성할 수 있는 것으로, GeForce GTX 1080을 사용했을 경우는 100fps이상의 무비로 실시간으로 얼굴 모델을 생성할 수 있다고 합니다.

Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network

3D Face Reconstruction은 Python 2.7로 개발되고, 인스톨 방법이나 실행시키기 위해서 필요한 라이브러리에 대해서는, 3D Face Reconstruction 문서로 설명되고 있습니다.