구글이 크로마키 합성 없이 촬영중의 무비에서 배경을 실시간 제거하는 것에 성공

구글이 크로마키 합성 없이 촬영중의 무비에서 배경을 실시간 제거하는 것에 성공

유튜브 라이브 등에서 생방송을 하고 있는 사람을 보면, 전송자 배경에 게임 화면 등 다른 화면을 비추고 있습니다. 이 촬영을 하기 위해서는 크로마키 합성 등을 사용하는 것으로 실현가능합니다만, 미리 배경이 되는 부분에 그린 일색의 벽을 둘러치는 등, 손이 많이 가는 준비가 필요합니다. 거기에서 Google이 이러한 손이 많이 간 준비를 없애기 위해서, 촬영중의 실시간 영상에서 배경만을 제거하는 기술을 개발한 것입니다.

Google에 의하면, 이 인물과 배경을 분리시키는 「세그멘테이션」기술은 「콘볼루션 신경망(CNN)」을 사용한 기계학습으로 실현하는 것으로, 실제 데모 이미지를 보아도 대부분 위화감 없이 별도의 배경 속에 인물을 세트할 수 있습니다.

이렇게 정밀도가 높은 「세그멘테이션」을 가능하게 하기 위해서, Google에서는 몇십만의 이미지 데이터를 학습시키는 것으로, 더욱 학습시킨 이미지에는 「머리」 「목」 「피부」등, 각부정도마다 정보를 부가하고 있었다고 합니다.

이 기술은 스마트폰으로 이용을 상정하고 있어, 종래 기술인 LSTM이나 GRU에서 배경을 제거하는 처리를 해버리면, 부하가 너무 높다고 하는 결점이 있습니다. 거기에서 연구자는, 「무비란 프레임이라고 불리는 1장 1장의 이미지 모임이며, 이웃이 되는 프레임에 대부분 변화는 생기지 않을 것이다」라고 하는 발상으로부터 인물 위치를 각프레임마다 계산해서 찾는 것이 아니고, 1개전의 프레임에 있었던 인물 위치도 고려해서, 현재 인물 위치를 계산하는 것으로, 계산 부하를 절감한다고 합니다.

Google에서는, 그 외에도 계산 부하를 저감하기 위해 궁리하고 있어, 아이폰7에서는 100FPS 이상, 픽셀2에서는 40FPS 이상의 무비 촬영이라도 이 세그멘테이션 기술을 적용할 수 있을 만큼, 스마트폰으로 고속인 처리 실현이 가능해졌다고 합니다. 한편, 이 세그멘테이션 기술은 유튜브 「스토리」 포맷에 첨가할 예정이라고 했습니다만, 구체적인 시기등 명확하지 않았습니다.