AI를 이용해서 애니메이션 캐릭터 고해상도 이미지를 생성해 애니메이션까지 붙이는 「PSGAN」을 DeNA가 발표

AI를 이용해서 애니메이션 캐릭터 고해상도 이미지를 생성해 애니메이션까지 붙이는 「PSGAN」을 DeNA가 발표

DeNA가, 인공지능(AI)을 이용하는 것으로 선명한 애니메이션 캐릭터 이미지생성이 가능한 기술 및, 작성한 캐릭터에게 움직임을 붙이는 것이 가능한 동영상 생성 기술을 개발했습니다.

Generative Adversarial Network(GAN)의 진보로 의해, AI를 채용해서 얼굴이나 손 등 일부 고해상도 이미지를 생성하는 것이 가능해졌습니다만, 기존의 방법에서는 산업용 애플리케이션에 있어서 중요한 「캐릭터의 전신」등을 생성할 수는 없었습니다. 물론 포즈나 얼굴에 기초를 두어서 이미지를 생성가능한 GAN도 제안되었습니다만, 그것들에서는 상업용에 이용하기 위해서는 화질이 불충분하다고 하는 문제점이 있었다고 합니다. 이러한 제약을 해소하고, AI를 이용해서 포즈 정보를 기초로 애니메이션 캐릭터의 전신 고해상도 이미지를 생성하고, 더욱 움직임을 붙이는 것까지 할 수 있다고 하는 새로운 프레임워크 「PSGAN(Progressive Structure-Conditional Generative Adversarial  Networks)」을 DeNA가 제안했습니다.

PSGAN에 의한 고해상도이미지(512×512픽셀) 및 동영상생성 공정은 아래와 같습니다.

우선은 PSGAN을 사용해서 잠재 변수로부터 많은 애니메이션 캐릭터(캐릭터1)가 생성됩니다. 다음에 생성된 애니메이션 캐릭터에게 대응하는 잠재치를 PSGAN에서 보충하는 것으로, 새로운 애니메이션 캐릭터(캐릭터2)를 생성. 이것에 의해 다양한 겉보기의 캐릭터 전신이미지를 생성하는 것이 가능해집니다.

실제로 PSGAN이 다양한 애니메이션 캐릭터를 생성하는 무비

↓

Full-body anime generation at 512x512 with Progressive Structure-conditional GANs

이 시점에서는 애니메이션 캐릭터의 전신량 해상도이미지가 생성되는것만입니다. 포즈는 단일인 것밖에 없습니다. 여기서 잠재 변수를 수정하고, 연속 포즈 시퀀스를 PSGAN에 주는 것으로, 생성한 애니메이션 캐릭터의 애니메이션이 생성 가능해진다고 합니다. 구체적으로는, 지정한 애니메이션 캐릭터 표현을 PSGAN의 입력 벡터가 되는 잠재 공간의 잠재 변수에 매핑합니다.

실제로 단일인 포즈밖에 없는 애니메이션 캐릭터의 전신이미지에, PSGAN으로 애니메이션을 붙인 무비

↓

Adding action to full-body anime characters with Progressive Structure-conditional GANs