종래의 AR을 훨씬 넘는 리얼과 디지털 상호작용을 실현가능한 AR기술 「Niantic Occlusion」

종래의 AR을 훨씬 넘는 리얼과 디지털 상호작용을 실현가능한 AR기술 「Niantic Occlusion」

최근 Niantic이 매수한 Matrix Mill은, 복수의 카메라에서 주위의 물체에 관한 정보를 수집하고, 형상을 추측할 수 있는 딥 뉴럴네트워크 구축에 오랜 세월 열을 올린 팀입니다. 이 Matrix Mill이 오랜 세월 관하여 개발에 열을 올린 딥 뉴럴네트워크는, 「컴퓨터가 현실세계를 어떻게 보아서 이해하는 것인가?」를 재정의하고, 현실세계 오브젝트와 디지털 오브젝트가 어떻게 상호작용하는 것일지를 크게 바꿀 가능성이 있습니다. 그런 기술을 바탕으로, Niantic이 지금까지 확장 현실(AR)보다도 훨씬 리얼하고, 현실과 디지털이 정교하게 상호작용하는 것을 가능한 AR기술 「Niantic Occlusion」을 개발해, 데몬스트레이션이 공개되었습니다.

A Peek Inside the Niantic Real World Platform - Niantic

 

Codename: Niantic Occlusion - Real World AR Occlusion featuring Pikachu and Eevee

「Niantic Occlusion」과 같이, 현실세계에 있는 오브젝트를 상세하게 이해하고, 디지털 오브젝트에 「마치 현실세계에 있을 것 같이」 현실세계의 오브젝트와 상호작용시키는 것을 목표로 삼고 있는 것이, Niantic이 개발을 진행시키는 「Niantic Real World Platform」입니다.

이하는, 개발중인 컴퓨터 비전이 현실세계의 오브젝트를 잘잘하게 인식하고, 정량 가능한 신뢰 스코어로 각오브젝트가 「뭔가」를 설명하고 있는 모양. 컴퓨터 비전 알고리즘에 「테이블」이나 「의자」라고 한 오브젝트를 학습시키는 것으로 어휘가 늘어나고, 다양한 물체를 인식 가능하게 합니다.

컴퓨터 비전이 현실세계에 있는 오브젝트를 정확하게 이해할 수 있게 되면, Niantic Occlusion과 같은 「현실세계의 오브젝트와 상호작용」이외에도, 예를 들면 「현실세계에 있는 꽃」을 찾았을 경우는 「디지털의 벌」을 표시하거나, 「현실세계에 있는 호수」를 찾았을 경우는 「디지털의 오리」를 표시할 수 있기 때문에, AR의 가능성은 무한대로 펼쳐진다고 Niantic은 이야기했습니다.

Niantic은 「Niantic Occlusion」 이외에도 「Niantic Real World Platform」 대상 새로운 기술을 개발하고 있습니다. 예를 들면, 멀티플레이어 게임을 위해서 독자적인 저latencyAR네트워킹 기술을 개발하고, 이 덕택으로 복수인으로 즐길 수 있는 AR 멀티플레이어 게임을 연속적으로 실현하는 것을 가능합니다.

Codename: Neon - Real World Multiplayer AR Demo

Codename: Tonehenge - Real World Multiplayer AR Demo