거추장스러운 물체를 빈틈없이 칠하는것만으로 AI가 이미지를 위화감 없이 자동수정하는 기술 「Image Inpainting」을 엔비디아가 공개

거추장스러운 물체를 빈틈없이 칠하는것만으로 AI가 이미지를 위화감 없이 자동수정하는 기술 「Image Inpainting」을 엔비디아가 공개

사진 정보가 결핍한 부분을 자동으로 보정하는 기술 「Image Inpainting」을 NVIDIA가 공개했습니다. 딥러닝을 사용해서 실현한 Image Inpainting은 사진 안 필요없는 물체를 산뜻하게 지워 없애 줍니다. 또, 이미지 결핍 부분의 의미를 이해하고, 자연스러운 내용을 보충하는 것도 가능합니다.

[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions

Research at NVIDIA: AI Reconstructs Photos with Realistic Results

NVIDIA Guilin Liu씨들의 연구팀은, 「Tesla V100」이라고 학습 프레임워크 「cuDNN」을 사용해서 뉴럴네트워크를 훈련해서 Image Inpainting을 실현했습니다. 한편, 훈련에서는 5만종류를 넘는 랜덤한 마스크를 이용할 수 있어, 정밀도검증에는 다른 약2만5000장의 마스크를 이용하고 있습니다. Image Inpainting에서는 뉴럴네트워크는 부족하는 영역과 원래 사진 양쪽을 조사하는 것으로 픽셀을 재구축하는 방법을 학습했습니다. 류씨는 「개발한 모델은 정보가 결핍한 구멍의 형상이나 구멍의 장소에 관계없이 수복에 대응할 수 있다」라고 진술하고, 주변의 픽셀 정보로부터 결핍 부분을 예측하는 종래의 모델보다도 좋다고 합니다.