Offcanvas

AR|VR / How To / 디지털 트랜스포메이션 / 모바일 / 신기술|미래

기고 | 가상과 현실 매핑하기··· 혼합현실 야생 체험관 사례

2017.07.25 René Bokhorst  |  Techworld

미디어몽크의 테크니컬 디렉터가 측정과 적용, 보정 과정을 통해 실제 세계를 가상 공간과 매핑시키는 방법에 대해 공유했다.

2017년 2월, 세계 자연 기금(WWF), 아트사이언스 뮤지엄(ArtScience Museum), 구글 주(Google Zoo), 미디어몽크(MediaMonks)는 싱가포르에 '인투 더 와일드(Into The Wild)'라는 대형 혼합현실(mixed reality) 환경을 개소했다. 싱가포르 사람들이 자연 파괴와 비삼림화의 영향을 체험하고, 멸종 위기종과 서식지에 대한 지식을 넓히는 데 도움을 주기 위한 목적으로 열린 공간이었다.

이 곳에서는 세계 최초의 탱고 지원 스마트폰인 레노보 팹(Lenovo Phab) 2 프로를 사용해 개인화된 디지털 어드벤처로 방문객을 안내 및 인도한다. 전시장 1층에서 AR로 시작해 100% VR 환경으로 넘어간다. 그리고 가상으로 식목을 할 수 있는 4층에 도달하면 AR로 되돌아가 여정이 끝나게 된다.



미디어몽크를 포함한 개발진은 싱가포르 아트사이언스 뮤지엄의 1,000여 제곱미터 공간을 가상의 인터랙티브 열대 우림으로 바꿨다. 세계 최대의 AR 환경이며, 구글 탱고를 사용해 개발한 두 번째의 AR 박물관 환경이다.

개발이 쉽지는 않았다. 기술적인 관점에서, 우리는 가상의 열대 우림을 실제 박물관 공간에 정확히 구현하는 과정에서 큰 도전에 직면했다. 벽을 나무로, 복도를 숲의 길로 구현해야 했다. 박물관의 전시 공간과 층 구조를 감안해 가상 환경을 실제 환경으로 옮겨야 했다.

구현 방법
실제 세상을 가상 객체로 증강하기 위해 가장 먼저 할 일은 '보고 있는 것'을 렌더링 하는 장치(스마트폰과 모니터, CAVE, 헤드 마운트 장치 등)가 실제 세상에서 자신의 위치를 정확히 인식하도록 만들어야 한다. 즉, 장치는 3D 공간에서의 방향과 위치를 알아야 한다.

카메라 입력값 피드를 통해 증강이 이뤄지는 탱고의 경우, 렌더링 장치의 위치와 방향(회전 값)은 실제 세상의 좌표가 되어야 한다. 탱고 장치의 위치와 방향을 빨리 정확히 보고해야 적절히 증강 현실을 구현할 수 있다.

구글 탱고가 이 일을 아주 ‘쿨’하게 처리해 준다. 개발자는 이를 통해 자신만의 가상 세계로 실제 세상을 증강할 수 있다. 토끼 귀를 머리에 증강하는 식의 스냅챗 방식의 AR과는 차별화된다. 실제 세상을 연결한 증강을 이용할 때는 랜드마크에 기반을 둔 공유형 AR경험을 창조하는 것도 가능해진다.

우리는 아트사이언스 뮤지엄을 가상의 열대 우림으로 바꿀 수 있었다. 사용자는 박물관을 탐험하는 것처럼 생생하게 열대 우림을 탐험할 수 있다. 가상 세계의 모든 길과 장애물이 실제 세상인 박물관의 길, 장애물과 일치하기 때문이다.

구글 탱고 좌표
가상 세계를 창조하는데 이용된 도구는 유니티3D(Unity3D)였다. 우리는 유니티 개발자들에게 얼라인먼트(정렬)는 걱정할 필요 없으며, 척도만 충실하다면 자유롭게 원하는 위치와 방향을 사용해 가상 세계를 디자인하라고 말했다.

GIS(Geographic Information Systems)에 친숙한 개발자들은 이른바 '데이텀(Datums, 원점)'으로 불리는 좌표계가 많다는 사실을 잘 알고 있다. 그 동안 많은 기관이 각자 자신의 좌표계를 개발했었다. 그러나 GPS가 도입된 후, 미국은 현재 상업용 장치에서 가장 많이 사용되는 WGS84를 개발했다.

이 좌표계의 장점은 '직교'(Cartesian), '미터법 사용', '지구의 중심을 원점으로 사용하는 것'이다. 이것이 중요한 이유는 (올바르게 매핑된 환경에서) 구글 탱고가 지구에서의 정확한 위치와 방향을 WGS84 좌표계로 제공할 수 있기 때문이다. 구글 탱고는 이 좌표를 ecef 좌표라고 부른다. (이 글에서도 ecef라고 부르도록 하겠다.)

올바른 접근법을 결정
다음 단계는 유니티 세상을 실제 세상과 겹치게 만들어, 증강 현실을 구현하는 것이었다. 두 가지 접근법으로 이 문제를 해결할 수 있다는 판단이 들었다.

1. 첫째, 유니티 세상을 박물관 ECEF 좌표 위로 이동 및 회전시켜 변환한다.
2. 둘째, ECEF 탱고 장치 좌표를 유니티 세계의 좌표로 이동 및 회전시켜 변환한다.


둘 모두 가상(유니티)에서 실제 좌표(ECEF)로의 변환을 계산해야 하기 때문에 80% 정도 동일한 접근법이다. 그러나 차이점도 있다. 첫 번째 접근법은 가상 세계를 실제 세상으로 옮기는 것이고, 두 번째 접근법은 실제 카메라를 가상 세계로 이동시키는 것이다.

우리는 가장 적합한 접근법을 결정하기 위해, 실제 사용 사례에 대입해 좌표를 검토해야 했다. 다음은 유니티 좌표를 적용했을 때의 보기이다.

Object A: [10.000, 63.250, -11.990]
Object B: [-92.231, 33.253, -62.123]

다음은 이에 대비되는 ECEF 좌표의 보기 2개이다.

Hilversum MediaMonks HQ 2nd floor near the elevator: [3899095,5399920414; 353426,87901774078; 5018270.6428830456]
Singapore ArtScienceMuseum in front of cashier shop: [-1527424,0031555446; 6190898,8392925877; 142221,77658961274]

ECEF 좌표의 숫자가 훨씬 더 방대하다. 이 경우, Float(Single-precision floating points)에 큰 문제가 있을 것으로 판단된다.

Float가 아주 자세하지 않은 경우, 106 주변의 수로 10-6 주변의 수를 계산하면 정확성을 크게 상실된다.

또 많은 3D 프로그래밍이 10-3에서 103에 기준을 두고 있다(예, 변환, 모델, 뷰, 프로젝션 매트릭스 등). 따라서 이를 극복할 방법이 없다.

이 부분을 더 자세히 이해하려면 링크된 비디오를 시청하기 바란다. 이 점을 정확히 설명하고 있다. 원점 [0; 0; 0]에서 전투기가 이륙을 했으며, 카메라가 그 뒤를 따르고 있다. 위치가 계속 커진다(카메라 위치 역시 마찬가지). 그러면서 부동 소수점(Floating Point) 계산이 덜 정확해진다.

카메라 좌표가 위의 ECEF 좌표 같은 오차가 발생한 경우를 상상해보자. 확대된 회전 값을 아주 큰 이동 값과 합칠 것이다. 이 경우, 오차가 훨씬 더 커질 것이다.


증강 작업이 정확하지 못 하다면 AR은 재미 있는 존재일 수 없다.

여기에 더해 Float를 지원하기 위해 유니티를 '하드 코딩'(Double-precision floating point 대신)한다는 사실, 또 AR에서 큰 오차를 허용할 수 없다다 사실을 감안해야 한다. 따라서 첫 번째 접근법을 적용할 수 없다는 점이 분명히 드러났다. 측정 오차를 피하기 위해 카메라를 원점에 가깝게 위치시켜야 하기 때문이다.

이에 ECEF 탱고 장치 좌표를 유니티 세계의 좌표로 변환하는 두 번째 접근법을 채택했다.

변환
3D 그래픽의 좌표계 변환을 위해 통상 이동(Translation 또는 Positional, 위치), 방향(Orientation, 회전), 축적(Scaling, 배율) 값을 찾아야 한다.

3D 공간에서는 이 3가지가 필요하다. 3축(x, y, z)에서 각각 이동, 회전, 배율을 설명할 수 있어야 한다. 즉 찾아야 하는 값은 9개다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.