2019.07.24

'오클루전부터 응시 교정까지'··· iOS 13 속 증강현실의 모든 것

Leif Johnson | Macworld
현재 애플 증강현실의 최종 목표는 미스터리다. 특히, 디지타임즈(DigiTimes)가 보도한 소문에 따르면, 애플은 AR HMD(Augmented Reality Head-mounted display)를 책임지던 팀을 해체한 것으로 알려졌다. 이 루머는 이르면 내년 초에는 애플의 AR 헤드셋을 볼 수 있을 것이라는 애널리스트 밍치 쿠오의 보고서와 상반된다. 

하지만 애플이 증강현실 영역에서 보이고 있는 열성이나 iOS 13과 아이패드OS 13에서 선보인 새로운 ARKit 3의 진척도를 보면 디지타임즈의 보도는 다소 의아하다. 사실, ARKit 3은 상당 부분 발전했지만, 대부분 A12 칩 이상을 탑재한 아이폰이나 아이패드에서만 사용할 수 있다. 이 때문에 애플이 ARKit을 발전시켰다는 것은 이 기능을 활용할 수 있는 헤드셋이나 글래스를 만들고 있음을 시사한다.

단점은 현재의 휴대폰들이 아이폰의 후면 카메라와 연결된 머신러닝 기술만을 사용하며, 전면의 트루뎁스 센서는 활용하지 못한다는 점이다. 미래의 아이폰에는 VCSEL ToF(Time-of-Flight) 센서가 포함되리라는 소문도 있지만, 2020년에 나오는 아이폰에 적용될 전망이다. 따라서 아주 빠른 시일 내에는 글래스를 보지 못하거나, 최소한 아이폰이나 아이패드가 AR에 더 적합할 가능성이 높다.

우선 현실적으로 올가을 iOS 13과 아이패드OS 13이 탑재된 애플의 최신 디바이스에서 어떤 경험을 기대할 수 있을지 살펴보자.
 

사람 오클루전(People occlusion)

 
ⓒ APPLE

오클루전(occlusion)의 원리를 이해하려면 일식을 생각하면 된다. 달이 태양 앞을 지날 때 발생하는 현상이다. AR 용어에서는 포켓몬 고 AR 보기에서 사용자가 발견한 포켓몬이 의자나 다른 가구 뒤에 서 있는 것을 말한다. 현재의 ARKit 2에서는 “현실”의 착각은 포켓몬이 편평한 면에 “앉아”있을 때만 동작한다. 앞에 사람이 있으면 그 사람을 통과해서 오브젝트가 보이면서 ‘착각’이 깨지는 것이다.

하지만 ARKit 3에서는 바닥의 모양을 “읽고” 디지털 오브젝트가 있어야 할 위치를 실제 사람의 위치에 기반해 결정한다. 예를 들어, 가상의 화병이 탁자 위에 놓여 있고 사용자가 그 앞에 앉으면 자연스럽게 화병 오브젝트가 가려지는 것이다. 애플은 WWDC 행사 후 참가자들을 대상으로 커다란 공을 굴려서 볼링핀을 쓰러뜨리는 게임을 통해 이 기능을 체험할 수 있도록 했다. 이 기술은 현대 영상에서 자주 사용되는 ‘그린 스크린’ 효과도 낼 수 있다.


움직임 탐지

ARKit 3은 실시간 신체 움직임 탐지를 지원한다. 즉, 사람의 움직임을 학습해서 그대로 애니메이션 아바타로 구현하는 것이다. 재미있는 기능인데, 나중에 나올 몸 전체 미모티콘을 상상할 수 있다. 지금은 몇 초 정도만 사용할 수 있지만, 결국에는 가장 영향력이 있을 수도 있다.
 
ⓒ APPLE

하지만 더 정교해질 필요는 있다. WWDC 시연에서도 아바타의 움직임이 어색했다. 개인적으로는 아이폰의 후면 카메라에 적절한 ToF 센서가 탑재되면 움직임 추적이 향상될 것으로 전망한다.
 

공동 세션

증강현실은 보통 1인 경험(최소한 아이폰에서는)으로 알려졌지만, ARKit 3에는 공동 세션(collaborative sessions)이 도입되어 여러 사람이 AR 공간 안에서 함께 경험을 할 수 있게 됐다.
 
ⓒ APPLE

WWDC에서는 모장(Mojang)에서 나온 2명의 발표자가 마인크래프트 어스(Minecraft Earth)에서 빌딩을 함께 구축하는 모습을 시연했다. 여기서는 시연자가 가상의 꽃 앞을 지나가면 꽃이 가려지는 모습도 보여서, ARKit 3의 사람을 가리는 기능(people occlusion)도 확인할 수 있었다.
 

전면 후면 카메라 동시 사용

ARKit 3은 개발자들이 전면 카메라와 후면 카메라를 동시에 사용해서 주변을 추적하도록 한다. 이 기능을 실제로 확인하진 못했지만, 아이폰 배터리 소모가 클 것으로 예상된다. 현실적으로 이 기능은 iOS 사용자가 얼굴을 사용해서 후면 카메라로 매핑된 디지털 오브젝트와 상호작용할 수 있도록 한다. 사용자의 표정에 다른 캐릭터가 반응하는 게임으로도 이어질 수 있다. 
 

여러 얼굴 추적하기

애플의 트루뎁스 센서는 얼굴 하나를 탐지하는 데 이미 매우 인상적이지만, ARKit 3은 아이폰이나 아이패드가 최대 3개의 얼굴을 탐지할 수 있도록 한다. 세 사람이 무척 가까이에 있어야 한다는 의미긴 하지만 멋진 기능이다. 미모티콘 기반의 노래 부르기 등에 활용할 수 있지 않을까? 이 기능은 A12 칩 이상과 트루뎁스 센서를 탑재해야만 사용할 수 있어서, 현재는 아이폰 X, 아이폰 XS, 아이폰 XS 맥스, 아이폰 XR, 아이패드 프로에 한정되어 있다.
 

작은 기술적 개선 사항들

ARKit 3은 또한 헤드라인을 차지하기엔 부족하지만 iOS의 AR 경험을 향상해주는 여러 기능이 들어가 있다. 디바이스가 동시에 최대 100개의 이미지를 추적할 수 있고, 물리적 오브젝트의 크기를 더 잘 인지하고 추측한다. AR 경험이 전반적으로 더 빨라졌고, 아이폰과 아이패드가 평면을 더 잘 인지한다.
 

RealityKit과 리얼리티 컴포저

애플은 개발자들이 ARKit 3의 멋진 신기능들을 사용하도록 유도하고자 이 프로세스를 맥의 엑스코드(Xcode)와 커스텀 iOS 앱과 함께 동작하는 AR 도구를 공개했다. RealityKit은 카메라 효과, 애니메이션, 물리, 오디오 등을 AR 프로젝트에 포함하는 작업을 매우 간소화했다. 리얼리티 컴포저(Reality Composer)는 3D 모델링에 경험이 적은 개발자들을 돕기 위해 AR에 최적화된 3D 자산 라이브러리에 액세스할 수 있도록 한다. 
 

페이스타임의 응시 교정

애플은 무대에서 주목 교정(Attention Correct)에 대해 언급하진 않았지만, iOS 13 개발자 베타에서 발견됐다. 페이스 타임 전화를 걸 때 눈이 상대방을 응시하는 것처럼 보이게 하는 것이다. 일반적으로 카메라가 아닌 디스플레이를 보게 되기 때문에 상대방의 눈을 바로 보지 못한다. 옵저번트 AI(Observant AI) CEO인 댄 슈킨이 지적한 것처럼, ARKit을 사용해서 이런 마법 같은 기능이 가능해질 것으로 보인다. 아쉽게도 현재 이 기사를 작성하는 시점을 기준으로 아이폰 XS와 XS 맥스에서만 동작한다. editor@itworld.co.kr
 



2019.07.24

'오클루전부터 응시 교정까지'··· iOS 13 속 증강현실의 모든 것

Leif Johnson | Macworld
현재 애플 증강현실의 최종 목표는 미스터리다. 특히, 디지타임즈(DigiTimes)가 보도한 소문에 따르면, 애플은 AR HMD(Augmented Reality Head-mounted display)를 책임지던 팀을 해체한 것으로 알려졌다. 이 루머는 이르면 내년 초에는 애플의 AR 헤드셋을 볼 수 있을 것이라는 애널리스트 밍치 쿠오의 보고서와 상반된다. 

하지만 애플이 증강현실 영역에서 보이고 있는 열성이나 iOS 13과 아이패드OS 13에서 선보인 새로운 ARKit 3의 진척도를 보면 디지타임즈의 보도는 다소 의아하다. 사실, ARKit 3은 상당 부분 발전했지만, 대부분 A12 칩 이상을 탑재한 아이폰이나 아이패드에서만 사용할 수 있다. 이 때문에 애플이 ARKit을 발전시켰다는 것은 이 기능을 활용할 수 있는 헤드셋이나 글래스를 만들고 있음을 시사한다.

단점은 현재의 휴대폰들이 아이폰의 후면 카메라와 연결된 머신러닝 기술만을 사용하며, 전면의 트루뎁스 센서는 활용하지 못한다는 점이다. 미래의 아이폰에는 VCSEL ToF(Time-of-Flight) 센서가 포함되리라는 소문도 있지만, 2020년에 나오는 아이폰에 적용될 전망이다. 따라서 아주 빠른 시일 내에는 글래스를 보지 못하거나, 최소한 아이폰이나 아이패드가 AR에 더 적합할 가능성이 높다.

우선 현실적으로 올가을 iOS 13과 아이패드OS 13이 탑재된 애플의 최신 디바이스에서 어떤 경험을 기대할 수 있을지 살펴보자.
 

사람 오클루전(People occlusion)

 
ⓒ APPLE

오클루전(occlusion)의 원리를 이해하려면 일식을 생각하면 된다. 달이 태양 앞을 지날 때 발생하는 현상이다. AR 용어에서는 포켓몬 고 AR 보기에서 사용자가 발견한 포켓몬이 의자나 다른 가구 뒤에 서 있는 것을 말한다. 현재의 ARKit 2에서는 “현실”의 착각은 포켓몬이 편평한 면에 “앉아”있을 때만 동작한다. 앞에 사람이 있으면 그 사람을 통과해서 오브젝트가 보이면서 ‘착각’이 깨지는 것이다.

하지만 ARKit 3에서는 바닥의 모양을 “읽고” 디지털 오브젝트가 있어야 할 위치를 실제 사람의 위치에 기반해 결정한다. 예를 들어, 가상의 화병이 탁자 위에 놓여 있고 사용자가 그 앞에 앉으면 자연스럽게 화병 오브젝트가 가려지는 것이다. 애플은 WWDC 행사 후 참가자들을 대상으로 커다란 공을 굴려서 볼링핀을 쓰러뜨리는 게임을 통해 이 기능을 체험할 수 있도록 했다. 이 기술은 현대 영상에서 자주 사용되는 ‘그린 스크린’ 효과도 낼 수 있다.


움직임 탐지

ARKit 3은 실시간 신체 움직임 탐지를 지원한다. 즉, 사람의 움직임을 학습해서 그대로 애니메이션 아바타로 구현하는 것이다. 재미있는 기능인데, 나중에 나올 몸 전체 미모티콘을 상상할 수 있다. 지금은 몇 초 정도만 사용할 수 있지만, 결국에는 가장 영향력이 있을 수도 있다.
 
ⓒ APPLE

하지만 더 정교해질 필요는 있다. WWDC 시연에서도 아바타의 움직임이 어색했다. 개인적으로는 아이폰의 후면 카메라에 적절한 ToF 센서가 탑재되면 움직임 추적이 향상될 것으로 전망한다.
 

공동 세션

증강현실은 보통 1인 경험(최소한 아이폰에서는)으로 알려졌지만, ARKit 3에는 공동 세션(collaborative sessions)이 도입되어 여러 사람이 AR 공간 안에서 함께 경험을 할 수 있게 됐다.
 
ⓒ APPLE

WWDC에서는 모장(Mojang)에서 나온 2명의 발표자가 마인크래프트 어스(Minecraft Earth)에서 빌딩을 함께 구축하는 모습을 시연했다. 여기서는 시연자가 가상의 꽃 앞을 지나가면 꽃이 가려지는 모습도 보여서, ARKit 3의 사람을 가리는 기능(people occlusion)도 확인할 수 있었다.
 

전면 후면 카메라 동시 사용

ARKit 3은 개발자들이 전면 카메라와 후면 카메라를 동시에 사용해서 주변을 추적하도록 한다. 이 기능을 실제로 확인하진 못했지만, 아이폰 배터리 소모가 클 것으로 예상된다. 현실적으로 이 기능은 iOS 사용자가 얼굴을 사용해서 후면 카메라로 매핑된 디지털 오브젝트와 상호작용할 수 있도록 한다. 사용자의 표정에 다른 캐릭터가 반응하는 게임으로도 이어질 수 있다. 
 

여러 얼굴 추적하기

애플의 트루뎁스 센서는 얼굴 하나를 탐지하는 데 이미 매우 인상적이지만, ARKit 3은 아이폰이나 아이패드가 최대 3개의 얼굴을 탐지할 수 있도록 한다. 세 사람이 무척 가까이에 있어야 한다는 의미긴 하지만 멋진 기능이다. 미모티콘 기반의 노래 부르기 등에 활용할 수 있지 않을까? 이 기능은 A12 칩 이상과 트루뎁스 센서를 탑재해야만 사용할 수 있어서, 현재는 아이폰 X, 아이폰 XS, 아이폰 XS 맥스, 아이폰 XR, 아이패드 프로에 한정되어 있다.
 

작은 기술적 개선 사항들

ARKit 3은 또한 헤드라인을 차지하기엔 부족하지만 iOS의 AR 경험을 향상해주는 여러 기능이 들어가 있다. 디바이스가 동시에 최대 100개의 이미지를 추적할 수 있고, 물리적 오브젝트의 크기를 더 잘 인지하고 추측한다. AR 경험이 전반적으로 더 빨라졌고, 아이폰과 아이패드가 평면을 더 잘 인지한다.
 

RealityKit과 리얼리티 컴포저

애플은 개발자들이 ARKit 3의 멋진 신기능들을 사용하도록 유도하고자 이 프로세스를 맥의 엑스코드(Xcode)와 커스텀 iOS 앱과 함께 동작하는 AR 도구를 공개했다. RealityKit은 카메라 효과, 애니메이션, 물리, 오디오 등을 AR 프로젝트에 포함하는 작업을 매우 간소화했다. 리얼리티 컴포저(Reality Composer)는 3D 모델링에 경험이 적은 개발자들을 돕기 위해 AR에 최적화된 3D 자산 라이브러리에 액세스할 수 있도록 한다. 
 

페이스타임의 응시 교정

애플은 무대에서 주목 교정(Attention Correct)에 대해 언급하진 않았지만, iOS 13 개발자 베타에서 발견됐다. 페이스 타임 전화를 걸 때 눈이 상대방을 응시하는 것처럼 보이게 하는 것이다. 일반적으로 카메라가 아닌 디스플레이를 보게 되기 때문에 상대방의 눈을 바로 보지 못한다. 옵저번트 AI(Observant AI) CEO인 댄 슈킨이 지적한 것처럼, ARKit을 사용해서 이런 마법 같은 기능이 가능해질 것으로 보인다. 아쉽게도 현재 이 기사를 작성하는 시점을 기준으로 아이폰 XS와 XS 맥스에서만 동작한다. editor@itworld.co.kr
 

X