2019.06.18

영화 같은 '비 터치' 제스처 구현··· 구글 '솔리' 프로젝트 심층 해부

JR Raphael | Computerworld
공상과학 소설에나 나올 법한 이야기를 준비했다. 소문이 사실이라면 구글은 자사의 차세대 픽셀 스마트폰에 미래형 레이더 칩을 탑재할 계획이며, 새로운 종류의 비 터치 제스처 제어 기능을 허용할 수도 있다고 한다.

이제 확실하게 짚고 넘어가자. 칩 자체는 분명 사실이다. 의심의 여지가 없다. 구글은 사실 2015년부터 모토로라에서 태어난 ATAP(Advanced Technology and Projects) 그룹의 일환으로 이를 언급해왔다. 해당 그룹이 지금은 없어진 구글의 모듈식 스마트폰 시스템인 프로젝트 아라(Project Ara)뿐만이 아니라 새로운 종류의 증강현실 플랫폼을 만들려다가 지금은 포기한 프로젝트 탱고(Tango) 프로그램을 진행한 그룹이다.
 
ⓒ Google

레이더 칩은 현재 진행되고 있는 프로젝트 솔리(Project Soli)라는 ATAP 프로젝트의 일부이며, 웹사이트 9to5Google에 따르면 최초의 솔리 기반 칩이 올가을의 픽셀 4 스마트폰에 적용될 수도 있다고 한다. 이는 XDA 디벨로퍼스의 별도 보고서와도 일맥상통하는 것으로, XDA는 안드로이드 Q 베타 소프트웨어에서 일련의 기밀 제스처를 위한 OS 수준의 지원을 나타내는 일부 코드를 발견했다. 이는 일반적인 화면 기반 안드로이드 Q 제스처가 아니라 인식을 위해 특수 "인식 센서"가 필요한 완전히 새로운 종류의 HITA(Hands In The Air) 움직임이다.

그리고 올 해 초, 구글은 FCC로부터 이런 솔리 센서를 현재 규정이 허용하는 것보다 더 높은 주파수에서 작동할 수 있도록 허가하는 ‘면제 증서(Waiver)’를 받았다. 해당 보고서에서 FCC는 이런 움직임이 "비 터치 손 제스처 기술을 이용해 혁신적인 장치 제어 기능을 제공함으로써 대중의 이익에 기여한다"고 밝혔다.

정말 많은 일이 벌어지고 있다. 잠시 한 걸음 물러서서 전체를 좀 더 자세히 살펴보고 가까운 미래에 무엇이 등장하고 무엇이 사라질지에 대한 전체적인 맥락을 이해해보자.
 

프로젝트 솔리의 그다지 검소하지 않은 시작

처음부터 시작해 보자. 2015년 5월 당시, I/O 개발자 컨퍼런스의 일환으로 구글은 우선 프로젝트 솔리를 공개했다. 당시 그 개념은 시연에서는 충격적이었지만 세상에 공개되지는 못했던 다른 여러 연구 단계의 아이디어들과 마찬가지로 다소 설득력이 없는 것처럼 보였다.

이 프로젝트에 대해 설명하는 한 영상에서 프로젝트 솔리를 지원하는 사람들은 이 칩이 레이더를 사용해 손의 작은 움직임("미세 동작" 또는 "까딱거림")을 추적하고 이런 동작을 이용해 다양한 유형의 가상 인터페이스와 상호작용하는 방법에 대해 설명했다. 그들은 이 시스템이 "높은 프레임률"에서 레이더 신호로부터 "특정 제스처 정보를 추출하기 위해" 고안되었다고 설명했다.

일반적인 용어로 풀어 설명하자면 칩이 볼륨 노브를 돌리는 등의 비트는 동작이나 버튼을 누르는 것 같은 엄지와 검지의 터치 동작 등 손의 움직임을 정확하게 감지한 후 장치에서 해당 움직임에 맵핑된 동작을 수행하는 것이다.

이 4분짜리 영상을 깜짝 놀랄 수준임이 틀림없다.



물론, 구글 I/O 개발자 세션 시연이라는 점을 고려하면 절대로 (또는 최소한 가까운 미래에는) 일반인이 보거나 사용할 수 없을 수 있지만, 그래도 멋있다. 하지만 이 기술이 올가을 픽셀 4를 통해 공개될 가능성이 있다면 완전히 새로운 의미를 갖는다.

그리고 솔리에 대한 이야기는 아직 끝나지 않았다.
 

솔리 센서 혁명

프로젝트 솔리는 첫 공개 후 약 1년 반 만에 다시 등장했다. 바로 다음 해인 2016년의 구글 I/O 컨퍼런스의 한 세션이었다. 해당 연도에 솔리 팀은 일반 스마트워치 하드웨어에서 구동할 수 있도록 충분히 작고 효율적으로 만들기 위해 칩을 작게 만들고 최적화했다고 밝혔다. 대부분의 레이더 기술을 구동하기 위해 필요한 일반적인 슈퍼컴퓨터의 성능에서 크게 진일보한 것이다. 솔리의 책임자 아이반 푸피레브는 "스마트워치에서 구동할 수 있다면 어디에서나 구동할 수 있다"고 강조했다.
 
ⓒ Google

솔리팀은 이어서 솔리 칩을 안드로이드 소프트웨어에서 구동했으며, 이미 워치뿐만이 아니라 스마트폰 및 가정용 엔터테인먼트 장치와도 호환되었다고 밝혔다. 게다가 레이더는 최대 15미터(약 49피트) 거리에서 제스처를 감지할 수 있었다. 그리고 이 아이디어가 기존의 상호작용 형태를 대체하는 것이 아니라 이미 우리가 알고 있는 더욱 일상적인 방법에 추가적인 옵션을 제공하는 것이라고 설명했다. 

푸피레프는 "터치 화면과 음식 입력 등의 다른 상호작용 방식을 보완하고 향상시키는 3차원 상호작용을 제공한다"며, "우리는 그들과 경쟁하지 않는다. 우리는 그들과 협력한다"고 덧붙였다.



프레젠테이션 전체는 꽤 길지만 중간에 볼만한 시연이 포함되어 있다. 특히 손을 들어 스피커의 재생을 멈추는 제스처가 가장 인상 깊었다. 불가사의한 것은 최근에 발표된 구글 네스트 홈 맥스 스마트 디스플레이에 적용된 제스처가 떠오른다는 점이다. 사실 거의 동일하다.



네스트 홈 맥스는 일반 카메라를 이용해 제스처를 인식하는 것으로 보이지만, 그럼에도 불구하고 수행 방식의 유사성은 우연의 일치라고 보기에는 놀랍다. 특히, 솔리 팀이 궁극적으로 "주변의 장치를 제어"하는데 사용할 수 있는 "범용 제스처"를 마련하는 것에 대해 지속적으로 이야기했던 것을 고려한다면 더욱 그렇다.
 

솔리의 다음 단계

그렇다면 프로젝트 솔리와 제스처 감지 레이더 기술로 또 무엇을 할 수 있을까? 언뜻 보기에도 많다. 스코틀랜드에 있는 세인트앤드류스대학교의 연구에서도 솔리는 카드 세기, 나침반 방향 감지, 레고 탑의 블록 패턴 분석하기 등의 작업을 수행했다.

연구팀은 올해 초 더버지를 통해 "감지 기법은 여전히 다소 유사하지만 다양한 객체의 개수, 주문, 쌓기, 움직임, 방향을 광범위하게 연구한 것이 크게 기여했다"고 밝혔다. 또 이 칩을 심지어 스마트 홈 장치에 내장하여 집 내부의 특정 물품을 모니터링하고 변경사항이 있는 경우 이를 감지할 수 있다고 설명했다.


프로젝트 솔리와 픽셀 4

이 모든 것을 고려할 때 솔리 칩이 실제로 픽셀 4 휴대전화에 적용된다면 어떻게 될까? 안드로이드 Q 소프트웨어에서 찾은 실마리를 보면 음소거나 트랙 넘기기 등의 명령을 위한 제스처도 가능하겠지만, 이 기술의 효과가 이 정도로 끝날 것이라고 보기는 어렵다.

모든 시연과 이전의 솔리 자료에서 논의한 모든 아이디어를 살펴보면 엄청난 가능성이 열려 있다. 그리고 이 기술이 정말로 일반 하드웨어에 적용될 준비가 되어 있다면 픽셀 스마트폰 외에도 적용되는 것이 당연할 것이다. 시간이 지나면서 구글의 솔리 팀은 웨어러블, 스피커, 휴대전화, 컴퓨터, 자동차 등과 호환되는 기술에 관해 이야기했다. 그렇다면? 구글은 모든 영역에 어느 정도 손을 대고 있기 때문에 픽셀 4가 예상대로 공개된다면, 솔리와 레이더 감지 제스처 시스템이 해당 기업이 향후 출시할 여러 제품에 공통적으로 적용될 것임은 불을 보듯 뻔하다.

얼마나 유용할지에 대해서는 시간이 지나야 알 수 있을 것이다. "멋진" 것과 "실용적인" 것을 힘들이지 않고 신속하게 달성할 수는 없으며, 이목을 사로잡는 많은 기능이 실제로 유용하기보다는 시선을 끌기 위한 것이라는 느낌이 강하다. 하지만 솔리의 가능성은 분명 이전에 안드로이드 폰에서 본 우스꽝스럽고 제한적인 "에어 제스처" 시스템보다 훨씬 더 가치 있는 것으로 보인다.

칩과 레이더 기술의 특성에서 가장 중요한 것은 패브릭을 통해 움직임을 감지할 수 있다는 것이며, 최소한 이론상으로는 이를 통해 관련된 장치를 주머니나 지갑에 넣어둔 상태에서도 제스처가 동작할 수 있다는 것을 알 수 있다. 그리고 "심지어 이런 제어 기능이 가상이지만" 구글은 상호작용이 "물리적이고 즉각 반응하는 것처럼 느껴지며" 피드백은 "서로 터치하는 손가락들의 햅틱 감각에 의해 생성"된다고 밝혔다.
 

구글 자체 개발 하드웨어 철학의 힘 

더 넓은 관점에서 보면 이런 발전된 기술이 여전히 상대적으로 역사가 짧은 구글 자체 개발 하드웨어 철학의 힘을 입증할 수 있다는 점이 흥미롭다. 필자는 처음부터 픽셀이 부품들의 조합 그 이상이며, 사용자 경험 전체의 "전체론적인" 엔드 투 엔드 제어가 구글이 진정으로 자체적인 장치를 개발하여 얻을 수 있는 것인지에 대해 이야기했다.

솔리가 실제로 올가을 픽셀 4에 적용되고 시연에서와 마찬가지로 실제로도 효과적이고 실용적임이 입증된다면, 이런 접근방식이 구글뿐만이 아니라 그 제품을 휴대하고 이에 의존하는 우리 인간들에게도 궁극적으로 어떤 결과를 가져올지 알 수 있을 것이다. 그리고 소프트웨어 지원은 차치하더라도 픽셀 스마트폰이 드디어 나머지 경쟁 스마트폰들과 차별화하고 업계 대부분이 시도하고 있는 기술을 위한 기술 형태의 "차별화"에서 벗어나기 위한 핵심적인 기능이 될 수 있다.

어쩌면 우리가 최근 스마트폰 하드웨어에서 목격한 모든 판매를 위한 사용자 적대적인 변경사항의 불쾌한 변화를 상쇄시키기에 충분할 수도 있을 것이다. editor@itworld.co.kr



2019.06.18

영화 같은 '비 터치' 제스처 구현··· 구글 '솔리' 프로젝트 심층 해부

JR Raphael | Computerworld
공상과학 소설에나 나올 법한 이야기를 준비했다. 소문이 사실이라면 구글은 자사의 차세대 픽셀 스마트폰에 미래형 레이더 칩을 탑재할 계획이며, 새로운 종류의 비 터치 제스처 제어 기능을 허용할 수도 있다고 한다.

이제 확실하게 짚고 넘어가자. 칩 자체는 분명 사실이다. 의심의 여지가 없다. 구글은 사실 2015년부터 모토로라에서 태어난 ATAP(Advanced Technology and Projects) 그룹의 일환으로 이를 언급해왔다. 해당 그룹이 지금은 없어진 구글의 모듈식 스마트폰 시스템인 프로젝트 아라(Project Ara)뿐만이 아니라 새로운 종류의 증강현실 플랫폼을 만들려다가 지금은 포기한 프로젝트 탱고(Tango) 프로그램을 진행한 그룹이다.
 
ⓒ Google

레이더 칩은 현재 진행되고 있는 프로젝트 솔리(Project Soli)라는 ATAP 프로젝트의 일부이며, 웹사이트 9to5Google에 따르면 최초의 솔리 기반 칩이 올가을의 픽셀 4 스마트폰에 적용될 수도 있다고 한다. 이는 XDA 디벨로퍼스의 별도 보고서와도 일맥상통하는 것으로, XDA는 안드로이드 Q 베타 소프트웨어에서 일련의 기밀 제스처를 위한 OS 수준의 지원을 나타내는 일부 코드를 발견했다. 이는 일반적인 화면 기반 안드로이드 Q 제스처가 아니라 인식을 위해 특수 "인식 센서"가 필요한 완전히 새로운 종류의 HITA(Hands In The Air) 움직임이다.

그리고 올 해 초, 구글은 FCC로부터 이런 솔리 센서를 현재 규정이 허용하는 것보다 더 높은 주파수에서 작동할 수 있도록 허가하는 ‘면제 증서(Waiver)’를 받았다. 해당 보고서에서 FCC는 이런 움직임이 "비 터치 손 제스처 기술을 이용해 혁신적인 장치 제어 기능을 제공함으로써 대중의 이익에 기여한다"고 밝혔다.

정말 많은 일이 벌어지고 있다. 잠시 한 걸음 물러서서 전체를 좀 더 자세히 살펴보고 가까운 미래에 무엇이 등장하고 무엇이 사라질지에 대한 전체적인 맥락을 이해해보자.
 

프로젝트 솔리의 그다지 검소하지 않은 시작

처음부터 시작해 보자. 2015년 5월 당시, I/O 개발자 컨퍼런스의 일환으로 구글은 우선 프로젝트 솔리를 공개했다. 당시 그 개념은 시연에서는 충격적이었지만 세상에 공개되지는 못했던 다른 여러 연구 단계의 아이디어들과 마찬가지로 다소 설득력이 없는 것처럼 보였다.

이 프로젝트에 대해 설명하는 한 영상에서 프로젝트 솔리를 지원하는 사람들은 이 칩이 레이더를 사용해 손의 작은 움직임("미세 동작" 또는 "까딱거림")을 추적하고 이런 동작을 이용해 다양한 유형의 가상 인터페이스와 상호작용하는 방법에 대해 설명했다. 그들은 이 시스템이 "높은 프레임률"에서 레이더 신호로부터 "특정 제스처 정보를 추출하기 위해" 고안되었다고 설명했다.

일반적인 용어로 풀어 설명하자면 칩이 볼륨 노브를 돌리는 등의 비트는 동작이나 버튼을 누르는 것 같은 엄지와 검지의 터치 동작 등 손의 움직임을 정확하게 감지한 후 장치에서 해당 움직임에 맵핑된 동작을 수행하는 것이다.

이 4분짜리 영상을 깜짝 놀랄 수준임이 틀림없다.



물론, 구글 I/O 개발자 세션 시연이라는 점을 고려하면 절대로 (또는 최소한 가까운 미래에는) 일반인이 보거나 사용할 수 없을 수 있지만, 그래도 멋있다. 하지만 이 기술이 올가을 픽셀 4를 통해 공개될 가능성이 있다면 완전히 새로운 의미를 갖는다.

그리고 솔리에 대한 이야기는 아직 끝나지 않았다.
 

솔리 센서 혁명

프로젝트 솔리는 첫 공개 후 약 1년 반 만에 다시 등장했다. 바로 다음 해인 2016년의 구글 I/O 컨퍼런스의 한 세션이었다. 해당 연도에 솔리 팀은 일반 스마트워치 하드웨어에서 구동할 수 있도록 충분히 작고 효율적으로 만들기 위해 칩을 작게 만들고 최적화했다고 밝혔다. 대부분의 레이더 기술을 구동하기 위해 필요한 일반적인 슈퍼컴퓨터의 성능에서 크게 진일보한 것이다. 솔리의 책임자 아이반 푸피레브는 "스마트워치에서 구동할 수 있다면 어디에서나 구동할 수 있다"고 강조했다.
 
ⓒ Google

솔리팀은 이어서 솔리 칩을 안드로이드 소프트웨어에서 구동했으며, 이미 워치뿐만이 아니라 스마트폰 및 가정용 엔터테인먼트 장치와도 호환되었다고 밝혔다. 게다가 레이더는 최대 15미터(약 49피트) 거리에서 제스처를 감지할 수 있었다. 그리고 이 아이디어가 기존의 상호작용 형태를 대체하는 것이 아니라 이미 우리가 알고 있는 더욱 일상적인 방법에 추가적인 옵션을 제공하는 것이라고 설명했다. 

푸피레프는 "터치 화면과 음식 입력 등의 다른 상호작용 방식을 보완하고 향상시키는 3차원 상호작용을 제공한다"며, "우리는 그들과 경쟁하지 않는다. 우리는 그들과 협력한다"고 덧붙였다.



프레젠테이션 전체는 꽤 길지만 중간에 볼만한 시연이 포함되어 있다. 특히 손을 들어 스피커의 재생을 멈추는 제스처가 가장 인상 깊었다. 불가사의한 것은 최근에 발표된 구글 네스트 홈 맥스 스마트 디스플레이에 적용된 제스처가 떠오른다는 점이다. 사실 거의 동일하다.



네스트 홈 맥스는 일반 카메라를 이용해 제스처를 인식하는 것으로 보이지만, 그럼에도 불구하고 수행 방식의 유사성은 우연의 일치라고 보기에는 놀랍다. 특히, 솔리 팀이 궁극적으로 "주변의 장치를 제어"하는데 사용할 수 있는 "범용 제스처"를 마련하는 것에 대해 지속적으로 이야기했던 것을 고려한다면 더욱 그렇다.
 

솔리의 다음 단계

그렇다면 프로젝트 솔리와 제스처 감지 레이더 기술로 또 무엇을 할 수 있을까? 언뜻 보기에도 많다. 스코틀랜드에 있는 세인트앤드류스대학교의 연구에서도 솔리는 카드 세기, 나침반 방향 감지, 레고 탑의 블록 패턴 분석하기 등의 작업을 수행했다.

연구팀은 올해 초 더버지를 통해 "감지 기법은 여전히 다소 유사하지만 다양한 객체의 개수, 주문, 쌓기, 움직임, 방향을 광범위하게 연구한 것이 크게 기여했다"고 밝혔다. 또 이 칩을 심지어 스마트 홈 장치에 내장하여 집 내부의 특정 물품을 모니터링하고 변경사항이 있는 경우 이를 감지할 수 있다고 설명했다.


프로젝트 솔리와 픽셀 4

이 모든 것을 고려할 때 솔리 칩이 실제로 픽셀 4 휴대전화에 적용된다면 어떻게 될까? 안드로이드 Q 소프트웨어에서 찾은 실마리를 보면 음소거나 트랙 넘기기 등의 명령을 위한 제스처도 가능하겠지만, 이 기술의 효과가 이 정도로 끝날 것이라고 보기는 어렵다.

모든 시연과 이전의 솔리 자료에서 논의한 모든 아이디어를 살펴보면 엄청난 가능성이 열려 있다. 그리고 이 기술이 정말로 일반 하드웨어에 적용될 준비가 되어 있다면 픽셀 스마트폰 외에도 적용되는 것이 당연할 것이다. 시간이 지나면서 구글의 솔리 팀은 웨어러블, 스피커, 휴대전화, 컴퓨터, 자동차 등과 호환되는 기술에 관해 이야기했다. 그렇다면? 구글은 모든 영역에 어느 정도 손을 대고 있기 때문에 픽셀 4가 예상대로 공개된다면, 솔리와 레이더 감지 제스처 시스템이 해당 기업이 향후 출시할 여러 제품에 공통적으로 적용될 것임은 불을 보듯 뻔하다.

얼마나 유용할지에 대해서는 시간이 지나야 알 수 있을 것이다. "멋진" 것과 "실용적인" 것을 힘들이지 않고 신속하게 달성할 수는 없으며, 이목을 사로잡는 많은 기능이 실제로 유용하기보다는 시선을 끌기 위한 것이라는 느낌이 강하다. 하지만 솔리의 가능성은 분명 이전에 안드로이드 폰에서 본 우스꽝스럽고 제한적인 "에어 제스처" 시스템보다 훨씬 더 가치 있는 것으로 보인다.

칩과 레이더 기술의 특성에서 가장 중요한 것은 패브릭을 통해 움직임을 감지할 수 있다는 것이며, 최소한 이론상으로는 이를 통해 관련된 장치를 주머니나 지갑에 넣어둔 상태에서도 제스처가 동작할 수 있다는 것을 알 수 있다. 그리고 "심지어 이런 제어 기능이 가상이지만" 구글은 상호작용이 "물리적이고 즉각 반응하는 것처럼 느껴지며" 피드백은 "서로 터치하는 손가락들의 햅틱 감각에 의해 생성"된다고 밝혔다.
 

구글 자체 개발 하드웨어 철학의 힘 

더 넓은 관점에서 보면 이런 발전된 기술이 여전히 상대적으로 역사가 짧은 구글 자체 개발 하드웨어 철학의 힘을 입증할 수 있다는 점이 흥미롭다. 필자는 처음부터 픽셀이 부품들의 조합 그 이상이며, 사용자 경험 전체의 "전체론적인" 엔드 투 엔드 제어가 구글이 진정으로 자체적인 장치를 개발하여 얻을 수 있는 것인지에 대해 이야기했다.

솔리가 실제로 올가을 픽셀 4에 적용되고 시연에서와 마찬가지로 실제로도 효과적이고 실용적임이 입증된다면, 이런 접근방식이 구글뿐만이 아니라 그 제품을 휴대하고 이에 의존하는 우리 인간들에게도 궁극적으로 어떤 결과를 가져올지 알 수 있을 것이다. 그리고 소프트웨어 지원은 차치하더라도 픽셀 스마트폰이 드디어 나머지 경쟁 스마트폰들과 차별화하고 업계 대부분이 시도하고 있는 기술을 위한 기술 형태의 "차별화"에서 벗어나기 위한 핵심적인 기능이 될 수 있다.

어쩌면 우리가 최근 스마트폰 하드웨어에서 목격한 모든 판매를 위한 사용자 적대적인 변경사항의 불쾌한 변화를 상쇄시키기에 충분할 수도 있을 것이다. editor@itworld.co.kr

X