2021.03.11

파편화된 API·툴킷·플랫폼 한 그릇에··· MS 메시가 '혼합현실 개발자’에 갖는 의미

Simon Bisson | InfoWorld
마이크로소프트가 혼합현실 애플리케이션 개발 및 협업을 위한 새로운 프레임워크 메시(Mesh)를 공개했다. 마이크로소프트가 메시 툴체인으로 엮고자 하는 것이 무엇이며, 이는 애플리케이션 개발에 어떤 의미를 가질까? 

마이크로소프트가 2021 이그나이트(Ignite)에서 새로운 혼합현실 플랫폼 ‘메시(Mesh)’를 공개했다. 그 현장에서 다양한 업무를 공유하거나 가상 및 증강경험을 하고 홀로렌즈(HoloLens)를 착용한 채 디지털 아바타의 모습으로 회의를 하는 등 여러 사용 사례가 공개됐지만 기술적 세부사항은 크게 다뤄지지 않았다. 다시 말해, 볼거리는 넘쳐났지만 코드를 직접 개발하거나 서비스를 사용하는 방법에 관한 정보는 많지 않았다. 
 
ⓒGetty Images

이그나이트에서 나온 정보가 부족하긴 하지만 그간의 경험을 바탕으로 한다면 메시의 구성요소를 쉽게 추측할 수 있다. 마이크로소프트가 지난 몇 년 동안 메시를 구축하기 위해 필요했던 대부분의 서비스를 공개했기 때문이다. 그리고 메시는 이 모든 요소를 하나의 공통 API 및 개발 도구로 묶는다. 

한편 다른 증강현실 플랫폼과는 달리 마이크로소프트는 1세대 홀로렌즈 하드웨어, 애저 키넥트 3D 카메라, 윈도우10에 탑재된 혼합현실 프레임워크 등에서 얻은 교훈을 바탕으로 이를 구축하는 것과 관련해 실질적인 경험을 많이 쌓았다. 

홀로렌즈 위에 구축하기
이그나이트에서 메시를 발표한 세션을 살펴보자. 여기서 소개된 시나리오가 익숙한 건 놀랄 만한 일은 아니다. 이는 원격으로 전문지식을 공유하는 것부터 몰입형 회의까지, 그리고 위치 기반 정보부터 공동 디자인 서비스까지 마이크로소프트가 수년 동안 선보인 것과 동일한, 협업을 지원하는 혼합현실 애플리케이션 모음이다. 

모두 익숙한 것들이지만 이는 코로나19 사태가 오늘날 업무 환경에 제약(예: 원격근무, 사회적 거리두기 등)을 걸면서 더욱더 중요해졌다. 

수년 동안 혼합현실 도구를 개발해 온 마이크로소프트는 혼합현실 애플리케이션을 만드는 개발자들이 특히 협업 환경을 구축하는 데 있어서 직면하는 여러 장애물을 파악했다.  

이러한 걸림돌은 과거까지 거슬러 올라가며, 예를 들면 이로 인해 세컨드 라이프(Second Life)와 같은 서비스가 처음에 약속한 대로 확장되지 못하거나 위치 기반 증강현실 애플리케이션의 발전이 저해됐다. 

구체적으로 설명하자면 첫째, 대부분의 CAD 파일 형식에서 고화질 3D 이미지를 제공하기가 어렵다는 것이다. 둘째, 사람들을 3D 환경에 배치하려면 상당한 연산 능력이 필요하다는 것. 셋째, 기기 간에 그리고 한 위치에서 장시간 동안 객체를 안정적으로 유지하기가 어렵다는 것. 마지막으로는 여러 기기와 지역에 걸쳐 작업 동기화를 지원하는 방법을 찾아야 했다는 것이다. 

이러한 모든 문제로 인해 혼합현실을 대규모로 제공하는 것은 복잡한 분산 컴퓨팅 문제가 됐다. 

-> 마이크로소프트, 홀로렌즈2 국내 출시…“효율적 온택트 협업 가능”

모든 게 분산 컴퓨팅이다 
복잡한 분산 컴퓨팅 문제는 대형 클라우드 업체들(예: 애저 등)이 해결하고자 오랫동안 노력해 온 문제다. 이를테면 코스코스 DB(Cosmos DB)와 같은 서비스를 기반으로 마이크로소프트 그래프(Microsoft Graph) 등의 분산형 데이터 구조를 구축하거나, 올리언스(Orleans)와 같은 액터/메시지 트랜잭션 프레임워크를 사용하면 이미 헤일로(Halo)와 같은 게임에서 실시간 이벤트를 지원하는 검증된 분산 컴퓨팅 프레임워크를 제공할 수 있다.  

메시에서 살펴봐야 할 또 다른 측면은 마이크로소프트 365(Microsoft 365)와의 통합이다. 애저 액티브 디렉토리(Azure AD)와 원드라이브(OneDrive)가 프로토타입 홀로렌즈 메시 앱에 포함돼 있다. 마이크로소프트 365에서 기본으로 제공되는 그래프(Graph)는 메시 내에서 협업 앱을 구현하는 핵심이다. 이를 통해 사용자와 콘텐츠를 연결할 뿐만 아니라 여러 기기와 경험에 걸쳐 세션을 유지할 수 있기 때문이다. 

이그나이트에서 진행된 한 세션에서 마이크로소프트는 메시 개발자 플랫폼에 관해 상당히 심도 깊게 논의했다. 그 핵심에는 사용자 및 세션 관리와 청구 관리를 위한 도구가 있는 (애저와 매우 유사한) 플랫폼이 있다. 

그리고 이 모든 것은 마이크로소프트의 소비자용/커머셜용 그래프, 즉 소비자용 마이크로소프트 그래프와 커머셜용 다이내믹스 365의 공통 데이터 서비스(파워 플랫폼의 데이터버스 포함)에 통합돼 있다. 또 사용자 ID, 오디오 및 비디오 플랫폼, 이를 제공하는 데 필요한 클라우드 호스팅 인프라가 긴밀하게 연계돼 있다. 

메시 서비스(Mesh Service)란?
모든 것이 익숙하게 느껴지는가? 그럴 만하다. 마이크로소프트는 셰어포인트(SharePoint), 다이내믹스 365(Dynamics 365), 팀즈(Teams)를 기반으로 하는 홀로렌즈용 일선 작업자 도구 세트를 출시한 바 있기 때문이다. 

이게 마이크로소프트의 일반적인 패턴이다. 일련의 애플리케이션을 제공하기 위해 내부 도구를 개발한 다음 이 도구를 제품화하여 애플리케이션을 직접 구축할 수 있도록 하는 것이다. 

핵심 플랫폼에는 몰입형 형상, 공간 지도, 홀로그램 렌더링, 다중 사용자 동기화 등의 기능이 있다. 아마도 몰입형 형상(Immersive presence)은 메시 플랫폼의 새로운 기능일 것이며, 홀로렌즈에서 주기적으로 시연되는 홀로포테이션(Holoportation) 도구를 기반으로 한다. 

하지만 디테일한 이미지 대신에 마이크로소프트는 대부분의 애플리케이션에서 덜 디테일한 아바타를 제공하여 대역폭 사용량을 최소화하고 있다. 홀로렌즈 2 또는 이와 유사한 기기를 사용하는 경우 얼굴 추적 카메라는 기본적인 표정 매핑과 함께 팔을 위한 손 추적을 제공한다. 아바타는 가상환경 내에 위치하므로 모든 사용자가 충돌 없이 상호작용할 수 있다. 

애저 키넥트(Azure Kinect) 센서 같은 도구를 추가하면 더욱더 복잡하고 디테일한 사용자 메시를 제공할 수 있지만 이를 위해서는 추가적인 하드웨어와 혼합현실용으로 구축된 공간이 필요하다. 이렇게 하면 움직이는 3D 이미지를 실시간 캡처하고 주요 관절을 추적하면서 기본 골격 모델을 매핑할 수 있기 때문에 홀로포테이션 데모에서 보여줬던 디테일을 얻을 수 있다.

-> 블로그ㅣ키넥트가 돌아왔다!··· ‘애저 키넥트 DK’ 활용법

공간 지도(Spatial maps)는 애저의 기존 공간 앵커(spatial anchors)를 확장한 것이며, 3D 객체를 현실 위치에 고정할 수 있다. 하지만 여기에서 한 걸음 더 나아가, 이는 모델을 물리적 객체 위의 메시 오버레이에 고정하는 동적 앵커를 지원한다. 

예를 들면 이를 통해 작업장의 어느 곳에나 있을 수 있는 엔진에 오버레이를 지원할 수 있을 것이다. 물론 이 오버레이가 3D 카메라 또는 라이다(Lidar)의 메시 감지에 기반하는지, 아니면 정렬 마크와 QR코드를 사용하여 제공되는지 여부는 아직 불확실하다. 콘텐츠와 위치 데이터는 클라우드 서비스를 사용해 제공되며 로컬 컴퓨팅 요건은 최소한으로 유지된다. 

이 접근방식은 메시의 홀로그램 렌더링에도 적합하다. 이것 또한 기존 애저 서비스인 리모트 렌더링(Remote Rendering)을 기반으로 한다. 최종 사용자 기기가 다양한 렌더링 엔진과 파일 형식을 지원하고 3D 콘텐츠를 제공할 하드웨어를 확보하도록 요구하는 대신, 모델이 애저에서 렌더링되기 전에 표준 형식을 사용하여 애저에 전달할 수 있으며, 필요에 따라 기기 및 애플리케이션에 적합한 수의 폴리곤을 사용하여 기기로 제공한다. 

마지막으로 다중 사용자 동기화(Multiuser Sync)는 장치 하드웨어를 혼합해 현재 신체 위치와 얼굴 표정을 아바타 또는 골격 메시로 매핑한다. 각 사용자는 현재 위치와 관련된 이미지를 수신하며, 이것도 대역폭 요구 조건을 최소로 유지한다. 

아마도 이 기능의 가장 중요한 측면은 공간 오디오 지원일 것이다. 현세대의 화상회의 서비스에서 큰 문제는 소리가 평준화돼 누가 말하고 있는지 손쉽게 찾을 수 없다는 것이다. 공간 오디오를 사용하면 가상 공간에서의 위치에 따라 소리가 변형돼 발화자를 쉽게 파악할 수 있다. 

-> 칼럼 | 일터에 일대 변혁 될까?··· '메시'와 '비바'에 거는 기대

혼합현실 도구 모음
정리하자면 메시는 윈도우를 중심으로 혼합현실 애플리케이션을 구축하는 데 사용됐던 모든 도구를 간결하게 한 그릇에 담았다고 볼 수 있다. 복잡성의 대부분을 공유 데이터와 서비스를 제공하는 애저로 오프로드하는 것은 합리적이다. 이미 사용하고 있는 많은 API와 툴킷이 있지만 모두 별도로 제공된다. 메시는 이 모든 것을 단일 SDK로 통합하여 공통 제어와 UI 요소를 제공함으로써 일관된 개발 경험을 지원한다. 

애저의 코그니티브 서비스를 사용하면 객체 인식이 개선되고, 제스처 및 얼굴 추적에 도움이 되며, 공간 오디오를 위한 환경 지도를 생성한다. 마이크로소프트는 애저 키넥트 SDK를 통해 3D 비전 지원을 시연했으며, 홀로렌즈에 내장되어 있고 서드파티에서도 쓸 수 있는 유사한 센서를 사용했다.

이 중 상당 부분이 유니티(Unity) 도구에 내장돼 내년 중 언리얼(Unreal) 지원이 추가되고 유나티 지원이 강화될 것이다. 유니티 지원은 윈도우(데스크톱 및 혼합현실), 홀로렌즈, 안드로이드를 포함한다. 언리얼은 이 모든 것을 지원하고 iOS 및 맥OS를 추가하며, 유니티도 곧 지원될 것이다. 웹 개발자들은 바빌론(Babylon)과 같은 3D 프레임워크와 UI 구성요소를 위한 리액트 네이티브(React Native)를 사용할 수 있게 될 것이다.

헤드셋부터 시작해 모바일 기기에서 증강현실을 보는 것까지 이런 기술이 대대적으로 도입되려면 혼합현실 개발을 단순화하는 건 필수다. 메시는 확실히 크로스 플랫폼 도구와 서비스가 될 수 있을 것처럼 보인다. 마이크로소프트가 향후 12개월 동안 이를 제공하는 것을 지켜보는 건 흥미로울 전망이다. ciork@idg.co.kr



 



2021.03.11

파편화된 API·툴킷·플랫폼 한 그릇에··· MS 메시가 '혼합현실 개발자’에 갖는 의미

Simon Bisson | InfoWorld
마이크로소프트가 혼합현실 애플리케이션 개발 및 협업을 위한 새로운 프레임워크 메시(Mesh)를 공개했다. 마이크로소프트가 메시 툴체인으로 엮고자 하는 것이 무엇이며, 이는 애플리케이션 개발에 어떤 의미를 가질까? 

마이크로소프트가 2021 이그나이트(Ignite)에서 새로운 혼합현실 플랫폼 ‘메시(Mesh)’를 공개했다. 그 현장에서 다양한 업무를 공유하거나 가상 및 증강경험을 하고 홀로렌즈(HoloLens)를 착용한 채 디지털 아바타의 모습으로 회의를 하는 등 여러 사용 사례가 공개됐지만 기술적 세부사항은 크게 다뤄지지 않았다. 다시 말해, 볼거리는 넘쳐났지만 코드를 직접 개발하거나 서비스를 사용하는 방법에 관한 정보는 많지 않았다. 
 
ⓒGetty Images

이그나이트에서 나온 정보가 부족하긴 하지만 그간의 경험을 바탕으로 한다면 메시의 구성요소를 쉽게 추측할 수 있다. 마이크로소프트가 지난 몇 년 동안 메시를 구축하기 위해 필요했던 대부분의 서비스를 공개했기 때문이다. 그리고 메시는 이 모든 요소를 하나의 공통 API 및 개발 도구로 묶는다. 

한편 다른 증강현실 플랫폼과는 달리 마이크로소프트는 1세대 홀로렌즈 하드웨어, 애저 키넥트 3D 카메라, 윈도우10에 탑재된 혼합현실 프레임워크 등에서 얻은 교훈을 바탕으로 이를 구축하는 것과 관련해 실질적인 경험을 많이 쌓았다. 

홀로렌즈 위에 구축하기
이그나이트에서 메시를 발표한 세션을 살펴보자. 여기서 소개된 시나리오가 익숙한 건 놀랄 만한 일은 아니다. 이는 원격으로 전문지식을 공유하는 것부터 몰입형 회의까지, 그리고 위치 기반 정보부터 공동 디자인 서비스까지 마이크로소프트가 수년 동안 선보인 것과 동일한, 협업을 지원하는 혼합현실 애플리케이션 모음이다. 

모두 익숙한 것들이지만 이는 코로나19 사태가 오늘날 업무 환경에 제약(예: 원격근무, 사회적 거리두기 등)을 걸면서 더욱더 중요해졌다. 

수년 동안 혼합현실 도구를 개발해 온 마이크로소프트는 혼합현실 애플리케이션을 만드는 개발자들이 특히 협업 환경을 구축하는 데 있어서 직면하는 여러 장애물을 파악했다.  

이러한 걸림돌은 과거까지 거슬러 올라가며, 예를 들면 이로 인해 세컨드 라이프(Second Life)와 같은 서비스가 처음에 약속한 대로 확장되지 못하거나 위치 기반 증강현실 애플리케이션의 발전이 저해됐다. 

구체적으로 설명하자면 첫째, 대부분의 CAD 파일 형식에서 고화질 3D 이미지를 제공하기가 어렵다는 것이다. 둘째, 사람들을 3D 환경에 배치하려면 상당한 연산 능력이 필요하다는 것. 셋째, 기기 간에 그리고 한 위치에서 장시간 동안 객체를 안정적으로 유지하기가 어렵다는 것. 마지막으로는 여러 기기와 지역에 걸쳐 작업 동기화를 지원하는 방법을 찾아야 했다는 것이다. 

이러한 모든 문제로 인해 혼합현실을 대규모로 제공하는 것은 복잡한 분산 컴퓨팅 문제가 됐다. 

-> 마이크로소프트, 홀로렌즈2 국내 출시…“효율적 온택트 협업 가능”

모든 게 분산 컴퓨팅이다 
복잡한 분산 컴퓨팅 문제는 대형 클라우드 업체들(예: 애저 등)이 해결하고자 오랫동안 노력해 온 문제다. 이를테면 코스코스 DB(Cosmos DB)와 같은 서비스를 기반으로 마이크로소프트 그래프(Microsoft Graph) 등의 분산형 데이터 구조를 구축하거나, 올리언스(Orleans)와 같은 액터/메시지 트랜잭션 프레임워크를 사용하면 이미 헤일로(Halo)와 같은 게임에서 실시간 이벤트를 지원하는 검증된 분산 컴퓨팅 프레임워크를 제공할 수 있다.  

메시에서 살펴봐야 할 또 다른 측면은 마이크로소프트 365(Microsoft 365)와의 통합이다. 애저 액티브 디렉토리(Azure AD)와 원드라이브(OneDrive)가 프로토타입 홀로렌즈 메시 앱에 포함돼 있다. 마이크로소프트 365에서 기본으로 제공되는 그래프(Graph)는 메시 내에서 협업 앱을 구현하는 핵심이다. 이를 통해 사용자와 콘텐츠를 연결할 뿐만 아니라 여러 기기와 경험에 걸쳐 세션을 유지할 수 있기 때문이다. 

이그나이트에서 진행된 한 세션에서 마이크로소프트는 메시 개발자 플랫폼에 관해 상당히 심도 깊게 논의했다. 그 핵심에는 사용자 및 세션 관리와 청구 관리를 위한 도구가 있는 (애저와 매우 유사한) 플랫폼이 있다. 

그리고 이 모든 것은 마이크로소프트의 소비자용/커머셜용 그래프, 즉 소비자용 마이크로소프트 그래프와 커머셜용 다이내믹스 365의 공통 데이터 서비스(파워 플랫폼의 데이터버스 포함)에 통합돼 있다. 또 사용자 ID, 오디오 및 비디오 플랫폼, 이를 제공하는 데 필요한 클라우드 호스팅 인프라가 긴밀하게 연계돼 있다. 

메시 서비스(Mesh Service)란?
모든 것이 익숙하게 느껴지는가? 그럴 만하다. 마이크로소프트는 셰어포인트(SharePoint), 다이내믹스 365(Dynamics 365), 팀즈(Teams)를 기반으로 하는 홀로렌즈용 일선 작업자 도구 세트를 출시한 바 있기 때문이다. 

이게 마이크로소프트의 일반적인 패턴이다. 일련의 애플리케이션을 제공하기 위해 내부 도구를 개발한 다음 이 도구를 제품화하여 애플리케이션을 직접 구축할 수 있도록 하는 것이다. 

핵심 플랫폼에는 몰입형 형상, 공간 지도, 홀로그램 렌더링, 다중 사용자 동기화 등의 기능이 있다. 아마도 몰입형 형상(Immersive presence)은 메시 플랫폼의 새로운 기능일 것이며, 홀로렌즈에서 주기적으로 시연되는 홀로포테이션(Holoportation) 도구를 기반으로 한다. 

하지만 디테일한 이미지 대신에 마이크로소프트는 대부분의 애플리케이션에서 덜 디테일한 아바타를 제공하여 대역폭 사용량을 최소화하고 있다. 홀로렌즈 2 또는 이와 유사한 기기를 사용하는 경우 얼굴 추적 카메라는 기본적인 표정 매핑과 함께 팔을 위한 손 추적을 제공한다. 아바타는 가상환경 내에 위치하므로 모든 사용자가 충돌 없이 상호작용할 수 있다. 

애저 키넥트(Azure Kinect) 센서 같은 도구를 추가하면 더욱더 복잡하고 디테일한 사용자 메시를 제공할 수 있지만 이를 위해서는 추가적인 하드웨어와 혼합현실용으로 구축된 공간이 필요하다. 이렇게 하면 움직이는 3D 이미지를 실시간 캡처하고 주요 관절을 추적하면서 기본 골격 모델을 매핑할 수 있기 때문에 홀로포테이션 데모에서 보여줬던 디테일을 얻을 수 있다.

-> 블로그ㅣ키넥트가 돌아왔다!··· ‘애저 키넥트 DK’ 활용법

공간 지도(Spatial maps)는 애저의 기존 공간 앵커(spatial anchors)를 확장한 것이며, 3D 객체를 현실 위치에 고정할 수 있다. 하지만 여기에서 한 걸음 더 나아가, 이는 모델을 물리적 객체 위의 메시 오버레이에 고정하는 동적 앵커를 지원한다. 

예를 들면 이를 통해 작업장의 어느 곳에나 있을 수 있는 엔진에 오버레이를 지원할 수 있을 것이다. 물론 이 오버레이가 3D 카메라 또는 라이다(Lidar)의 메시 감지에 기반하는지, 아니면 정렬 마크와 QR코드를 사용하여 제공되는지 여부는 아직 불확실하다. 콘텐츠와 위치 데이터는 클라우드 서비스를 사용해 제공되며 로컬 컴퓨팅 요건은 최소한으로 유지된다. 

이 접근방식은 메시의 홀로그램 렌더링에도 적합하다. 이것 또한 기존 애저 서비스인 리모트 렌더링(Remote Rendering)을 기반으로 한다. 최종 사용자 기기가 다양한 렌더링 엔진과 파일 형식을 지원하고 3D 콘텐츠를 제공할 하드웨어를 확보하도록 요구하는 대신, 모델이 애저에서 렌더링되기 전에 표준 형식을 사용하여 애저에 전달할 수 있으며, 필요에 따라 기기 및 애플리케이션에 적합한 수의 폴리곤을 사용하여 기기로 제공한다. 

마지막으로 다중 사용자 동기화(Multiuser Sync)는 장치 하드웨어를 혼합해 현재 신체 위치와 얼굴 표정을 아바타 또는 골격 메시로 매핑한다. 각 사용자는 현재 위치와 관련된 이미지를 수신하며, 이것도 대역폭 요구 조건을 최소로 유지한다. 

아마도 이 기능의 가장 중요한 측면은 공간 오디오 지원일 것이다. 현세대의 화상회의 서비스에서 큰 문제는 소리가 평준화돼 누가 말하고 있는지 손쉽게 찾을 수 없다는 것이다. 공간 오디오를 사용하면 가상 공간에서의 위치에 따라 소리가 변형돼 발화자를 쉽게 파악할 수 있다. 

-> 칼럼 | 일터에 일대 변혁 될까?··· '메시'와 '비바'에 거는 기대

혼합현실 도구 모음
정리하자면 메시는 윈도우를 중심으로 혼합현실 애플리케이션을 구축하는 데 사용됐던 모든 도구를 간결하게 한 그릇에 담았다고 볼 수 있다. 복잡성의 대부분을 공유 데이터와 서비스를 제공하는 애저로 오프로드하는 것은 합리적이다. 이미 사용하고 있는 많은 API와 툴킷이 있지만 모두 별도로 제공된다. 메시는 이 모든 것을 단일 SDK로 통합하여 공통 제어와 UI 요소를 제공함으로써 일관된 개발 경험을 지원한다. 

애저의 코그니티브 서비스를 사용하면 객체 인식이 개선되고, 제스처 및 얼굴 추적에 도움이 되며, 공간 오디오를 위한 환경 지도를 생성한다. 마이크로소프트는 애저 키넥트 SDK를 통해 3D 비전 지원을 시연했으며, 홀로렌즈에 내장되어 있고 서드파티에서도 쓸 수 있는 유사한 센서를 사용했다.

이 중 상당 부분이 유니티(Unity) 도구에 내장돼 내년 중 언리얼(Unreal) 지원이 추가되고 유나티 지원이 강화될 것이다. 유니티 지원은 윈도우(데스크톱 및 혼합현실), 홀로렌즈, 안드로이드를 포함한다. 언리얼은 이 모든 것을 지원하고 iOS 및 맥OS를 추가하며, 유니티도 곧 지원될 것이다. 웹 개발자들은 바빌론(Babylon)과 같은 3D 프레임워크와 UI 구성요소를 위한 리액트 네이티브(React Native)를 사용할 수 있게 될 것이다.

헤드셋부터 시작해 모바일 기기에서 증강현실을 보는 것까지 이런 기술이 대대적으로 도입되려면 혼합현실 개발을 단순화하는 건 필수다. 메시는 확실히 크로스 플랫폼 도구와 서비스가 될 수 있을 것처럼 보인다. 마이크로소프트가 향후 12개월 동안 이를 제공하는 것을 지켜보는 건 흥미로울 전망이다. ciork@idg.co.kr



 

X