Oculus VR은 새로운 어프로치를 이용해서 「5K 초고화질 몰입형 무비」를 개발

Oculus VR은 새로운 어프로치를 이용해서 「5K 초고화질 몰입형 무비」를 개발

VR관련 하드웨어나 소프트웨어 개발 기업인 Oculus VR은, VR헤드셋 Oculus Go와 Oculus Rift의 2018년6월 업데이트로 새롭게 「5K 몰입형 무비」를 실험적으로 도입하겠다고 발표했습니다. Oculus VR 개발자 블로그에서, 새로운 기술 「5K 몰입형 무비」가 어떻게 개발된 것일지를 설명했습니다.

Oculus VR 최고기술책임자(CTO)인 존 카맥씨는, DOOM이라고 하는 FPS게임 원조라고 하는 게임 개발에 주임 프로그래머로서 종사한 슈퍼 프로그래머입니다. 카맥씨에 의하면, 비디오 디코더에 부과된 제약에는 디스플레이 해상도, FOV(실수체) 범위, 압축이라고 한 다양한 것이 있습니다. Oculus는 2015년에 출시한 단편 VR 애니메이션 「Henry」를 새로운 디코드 기술을 사용해서 5K로 재생하는 「5K 몰입형 무비」로서 재발매하겠가고 발표했습니다.

헤드셋 VR에서 360도로 5K 60fps 무비(대충 5120픽셀)을 1초간 투영하기 위해서는, 5120×5120×60로 실로 15억픽셀이나 되는 정보량이 필요합니다. 이 정도의 정보량을 디코딩하는 것은 대단히 곤란해서, 화질이나 프레임레이트를 희생시키는 정보량을 저하시킬 수 있습니다만, Oculus는 5K 무비를 실현하기 위해서 종래와 다른 어프로치를 검토했습니다.

VR무비에서는, 헤드셋을 장착한 사람의 시선에 맞춰서 표시되는 화면이 변경됩니다. 한번에 표시되는 범위는 공전체에 6분의 1에 지나치지 않기 때문에, 시야 부분만을 디코딩할 수 있으면, 방대한 정보량 문제를 해결할 수 있습니다. 그런데, 비디오 압축 구조로서 몇초의 영상을 GOP로서 디코딩하기 위해서, 몇초간으로 시점을 전혀 다른 것으로 바뀌는 가능성이 있는 VR무비에서는, 시야 부분만을 디코딩하는 시스템을 채용할 수 없었습니다.

시점에 맞춰서 투영하는 영상을 변경하기 위해서, 360도 영상은 2K×2K 영상 2개에 재샘플링됩니다. 2K×2K 영상은 더욱 10개씩에 분할되어, 각각 초점의 다른 20개 영상이 360도 무비로 만들어 냅니다. 사용자 시점이동에 의해 투영하는 영상 조합을 변경하고, 시점 이동에 맞춰서 보이는 영상을 바꿉니다.

그래서 Oculus는, 360도 무비 모두를 완벽하게 5K 화질로 디코딩하는 것이 아니고, 구형의 바로 위와 바로 아래 화질을 타협하는 것에 의해, 전체 정보량을 내린다고 하는 어프로치를 잡았습니다. 많은 사용자는 VR무비를 보고 있을 때에 바로 위나 바로 아래를 안 보고, 비교적 중요도가 낮은 개소다라고 하는 것에 더해, 바로 아래는 무비 카메라 부분으로 사용되는 것이 많고, 검게 빈틈없이 칠된 경우도 있습니다.

선명하게 해야 할 부분과 반드시 선명할 필요가 없는 부분을 구별하고, 전체로서의 퀄리티를 향상시킬 수 있었다고 설명한 카맥씨는, 「360도 무비가 대폭적인 품질개선에 성공해, 대단히 흥분하고 있습니다」라고 진술했습니다.