메타버스 VR의 미래 – 오큘러스의 핸드 트래킹 기술

오큘러스에 대해 들어보셨나요. 오큘러스 VR은 미국의 기술기업으로 가상현실 하드웨어와 소프트웨어 전문 기업입니다. 2014년 페이스북 CEO 마크 저커버그가 오큘러스 VR을 인수하였고 현재 최고의 인기 제품인 오큘러스 퀘스트 2가 출시되었습니다.

메타버스 VR시장을 선점하게 될 오큘러스의 놀라운 기술들에 대해 알아보겠습니다. 가상현실의 미래와 오큘러스의 영향에 대해 알아볼 건데요.

메타버스

메타버스 세상
메타버스 세상

요즘 아주 핫한 키워드 메타버스(metaverse)에 대해 많이 들어보셨을 겁니다. 가공, 추상을 의미하는 메타(meta)와 현실 세계, 우주를 의미하는 유니버스(universe)의 합성어입니다.

그동안 버츄얼 리얼리티(Virtual Reality)란 표현을 했었고, 요즘은 새로운 진보된 용어로 사용되고 있습니다. 버추얼 리얼리티 줄여서 VR입니다. 그동안 굉장히 이슈화 되고 있는 떠오르는 미래 기술을 경험하고 있었던 것이죠.

가상현실이라는 사업이 한때 굉장히 각광을 받았던 적이 있었지만, 보급화 되기에는 너무나도 비싼 가격, 부족한 콘텐츠, 무겁고 불편함으로 점차 사그라들었죠.

하지만 코로나 바이러스로 인해 언택트 시대가 열리고 사람들은 새로운 소통의 공간을 찾기 시작합니다.

메타버스의 세계

메타 버스의 시대는 이미 열렸다고 해도 과언이 아닌데요.

포트 나이트(FORT NITE)

예를 들어 우리나라에는 크게 흥하지는 못했지만 전 세계적인 인기 게임의 ‘포트 나이트’의 파티 로열이라는 3D 소셜 공간은 빅 스크린 원형극장이나 메인 스테이지가 있고, 폭력 없이도 음악을 즐기며 편하게 쉴 수 있는 곳이죠.

트래비 스캇 포트 나이트 공연
트래비 스캇 포트 나이트 공연

지난번 미국의 유명 래퍼 ‘트레비 스캇’은 신곡 발표를 대형 아바타와 퍼포먼스를 통해 공개를 했습니다. 이 버츄얼 라이브에는 총 1,200만 명 이상의 플레이어들이 참가하면서 게임 사상 최대 규모인 이벤트가 되었다고 합니다.

‘포트 나이트’의 유저들은 각종 모르는 사람들과 함께 파티에 참가하며 현실 세계에서 처럼 즐거운 시간을 보낼 수 있었습니다.

이날 벌어들인 수익만 200억 원이 넘었고 ‘트레비스 스캇’은 빌보드 차트 1위를 차지하기도 했습니다.

방탄소년단 포트 나이트 공연
방탄소년단 포트 나이트 공연

또 방탄소년단 역시 파티 로열에서 다이너마이트의 댄스 버전 뮤직비디오를 전 세계 최초로 공개했는데요. 역시 반응은 폭발적이었습니다. 포트 나이트는 게임 역사상 가장 팝 컬처적 성향을 띠는 게임 중 하나로 남게 되었죠.

오죽하면 넷플릭스 CEO 인 리드 헤이스팅스는 자신의 라이벌은 디즈니가 아니라 ‘포트 나이트’라고 했겠습니까.

로블록스(ROBLOX)

로블록스
로블록스

또 로블록스라는 게임 잘 아시죠. 7전 세계 1억 5천만 명이 로블록스를 즐기고 있는데요. 

역시 가상세계에서 아바타로 소통하고 그 공간 안에 약 5,000만 개의 미니 게임들이 존재를 합니다.

많은 사람들이 만들어 놓은 게임을 즐기거나 본인이 직접 게임이나 콘텐츠를 만들 수 있기 때문에 로블록스 내에 게임 디자인을 전업으로 하는 개발자들도 많이 늘어나고 있다고 합니다.

돈이 되는 사람이 모이게 되어 있죠.

제페토(ZEPETO)

제페토
제페토

또 국내 서비스인 네이버의 제페토를 들 수가 있는데요. 실제 얼굴을 바탕으로 아바타를 만들고 가상공간 안에서 소통하는 서비스인데 가입자가 이미 2억 명을 넘어섰습니다.

특히 해외에서 굉장히 인기가 많다고 하는데요. 역시 요즘 많은 엔터테인먼트들이 투자를 하고 있고 블랙 핑크 또한 이 공간에서 팬사인회를 열었고 접속자가 무려 4천6백만 명이 몰렸다고 합니다.

메타버스 VR 기술

엔비디아 황회장
엔비디아 황회장

우리가 잘 알고 있는 엔비디아의 황 회장은 개발자 대회 연설에서 메타버스가 인터넷 뒤를 잇는 가상현실 공간이 될 것이고 메타버스에서 우리의 미래를 만들 것이라고 말한 적이 있습니다.

이렇게 굉장히 주목받고 있는 가상공간에 세계의 이 VR이라는 기술이 핵심이 아닐 수 없습니다.

삼성전자

삼성전자 갤럭시 스페이스 VR 헤드셋 브랜드
삼성전자 갤럭시 스페이스 VR 헤드셋 브랜드

삼성전자도 2018년 오디세이 플러스 이후 신제품 출시 소식이 없었는데요. 지난해 10월 미국 특허청의 ‘갤럭시 스페이스’라는 VR 헤드셋 브랜드로 추정되는 상표를 등록했습니다.

애플

애플의 고성능 VR 헤드셋
애플의 고성능 VR 헤드셋

또 증강현실은 AR 글라스 개발 소식만 들려오던 애플 또한 내년에 고성능 VR 헤드셋을 출시할 것이라는 전망이 있는데요. 6축 지원, 8k 디스플레이, 눈과 손동작을 트래킹 하는 12개의 카메라 등 예상 가격은 약 3천 불 이상 정도의 고가로 나올 것이라는 예상이 있습니다. 대중화되기에는 다소 비싼 가격이긴 하죠.

애플의 VR 장갑
애플의 VR 장갑

또 얼마 전에 애플의 VR용 장갑 특허가 공개되었는데요. 가속도와 회전 속도, 자력 등이 적용된 관성 측정 장치를 부착한 VR 장갑이라고 합니다

당장 출시는 아니지만 앞으로의 메타버스 시대에 빛을 볼 수 있을 것이라는 전망이 있습니다.

오큘러스

페이스북 오큘러스 퀘스트 2
페이스북 오큘러스 퀘스트 2

삼성전자나 애플에 비해 현재 출시되어 있는 ‘오큘러스 퀘스트 2’는 이미 한 단계 앞으로 나아갔다고 할 수가 있습니다. 아주 저렴한 가격인 $299의 가격으로 대중화에 기여했고, 선을 없앤 독립형 기기로 사용할 수 있어 쉽고 편하다는 점이죠.

오큘러스 퀘스트 2

오큘러스 퀘스트 2 판매량
오큘러스 퀘스트 2 판매량

이미 판매량에서 검증되고 있는데요. 지난해 4분기에 약 110만 대가 판매되었다고 하죠.

3분기에 100만 대 이상의 판매량을 기록한 VR기기는 오큘러스가 유일하다고 합니다.

또 sk 텔레콤을 통해 출시한 후에도 3일 만에 1만 대 이상 판매되었다고 하니 이미 대세임을 입증한 격입니다. 또한 지난 1월 60종 이상의 VR 타이틀이 100만 달러 한화로 약 11억 원의 수익을 기록했다고 합니다.

오큘러스 퀘스트 2 출시 이후 매출이 4배 이상 증가한 타이틀부터 유저 수가 3배 이상 증가한 것으로 알려진 작품들도 있습니다. VR 콘텐츠 또한 앞으로 전망이 밝아질 예정입니다.

오큘러스의 핸드 트래킹 기술

오큘러스 퀘스트 2

최근 페이스북은 여기에 만족하지 않고 핸드 트래킹 기술에 더욱 박차를 가하고 있습니다.

페이스북은 핸드 트래킹 기술을 이용하여 환경에 구애받지 않고 업무를 볼 수 있는 ‘인피니트 오피스’를 선보였습니다. 7손가락을 사용한 웹서핑과 타이핑, 그리고 편집도 할 수가 있는데요.

실사용을 해 보신 분들이라면 아직은 좀 아쉬운 것을 느끼셨을 겁니다. 이 핸드 트레킹이 자연 스러 졌을 때 몰입의 품질에 큰 변화를 줄 것입니다.

하지만 현재는 기능이 제한되어 있어 VR 경험을 감소시키는 트래킹 기술보다는 컨트롤러를 사용하는 게 낫죠.

페이스북 리얼리티 랩스 핸드 스캐닝 기술

최근 ‘페이스북 리얼리티 랩스‘에서는 인간의 손을 실시간으로 추적하는 것에 대한 논문을 게재했습니다.

현재 상호작용을 위해 손을 겹치거나 만지거나 복잡하게 엉킬 때도 추적할 수 있는 최초의 알고리즘을 개발했다고 주장합니다. 

위 영상을 보면 이 격자무늬가 손을 정확하게 추적하여 스캔하는 모습을 볼 수가 있는데요. 기존의 영상 핸드 스캐닝은 속도나 중첩의 경우 오류가 많았지만 이번 핸드 스캐닝 알고리즘은 속도가 빠를 때에도 또 손을 마사지할 때 표현되는 피부의 늘어짐까지 잡아낼 수 있는 추적 품질과 정확성을 볼 수가 있습니다.

위 영상은 기존의 영상 기반의 핸드 스캐닝과 현재 개발된 핸드 스캐닝 알고리즘의 차이인데 확연히 달라지 모습을 볼 수 있습니다.

위의 영상은 실시간 영상은 아닙니다. 124대의 124의 카메라를 사용하여 30 프레임으로 처리된 영상입니다. 논문에는 프레임당 처리되는 작게는 300초 길게는 1,300초 가까이 걸리는 것을 볼 수가 있습니다.

초당 30 프레임도 굉장히 방대한 데이터 양임을 알 수가 있죠.

이런 수준의 핸드 트래킹 기술은 아직 상용화되는 것을 쉽지 않아 보이지만 요즘은 어떤 알고리즘만 만들어진다면 발전된 속도는 엄청나게 빠르게 진행됩니다.

일단 ‘페이스북 리얼리티 랩스’에서 영상 추적 기술만으로 그동안의 핸드 스캐닝 기술의 문제점을 해결했다는 점에 주목할 필요가 있고 이렇게 컨트롤 없이 손 만으로 모든 것이 된다면 가상세계에서 경험은 배가 될 것이고 활용 가능한 콘텐츠의 발전 또한 굉장히 기대가 됩니다.

레디플레이어 원 VR
레디플레이어 원 VR

이 기술이 상용화만 된다면 빠른 미래에는 손으로 잡아야 하는 컨트롤러 없이 헤드마운트(HMD)만 가지고 더 많은 경험을 할 수가 있는 거죠.

대중화를 선점한 오큘러스가 기술적으로도 부여한 시장을 선점하기 위해 아주 많은 노력을 하고 있습니다.

정말 머지않아 ‘레디 플레이 원’처럼 영화 같은 경험도 가능할 것 같은 기회가 생기네요.

오큘러스를 구입한 분들은 메타버스 시대에 발맞추어 간다고 보이네요.