2020.05.11

MS 서피스의 핵심 경쟁력으로 떠오른 ‘카메라’

Mark Hachman | PCWorld
좋은 웹캠의 중요성에 대해 모두가 깨닫는 중이다.

마이크로소프트가 서피스 북3(Surface Book 3), 서피스 고2(Surface Go 2) 등 새로운 서피스 하드웨어 제품군을 출시했다. 기본적으로 ‘업그레이드’ 수준이라 한 가지 특별한 차이점을 발견하지 못할 수도 있다. 바로 카메라다. 서피스의 전면 카메라는 500만 화소의 사진과 1080p 영상을 촬영할 수 있는데, 경쟁 노트북의 카메라는 대부분 100만 화소 사진과 720p 영상을 촬영할 수 있다.

사실 지난 2월 서피스 프로 7 윈도우 태블릿을 리뷰할 때까지는 웹캠이 그리 중요하지 않았다. 하지만 세상은 갑자기 링 라이트(ring light)가 무엇인지 알게 됐고, 밝은 조명이 중요해졌다. 웹캠은 세상으로 향하는 창이 됐다. 줌(Zoom), 마이크로소프트 팀즈(Teams), 구글 미트(Google Meet), 웹엑스(WebEx)가 서로를 연결하는 새로운 만남의 장소로써, 식당, 회의실, 호텔, 카페 등을 대체하고 있다.

일반 사용자들은 TV와 스트리밍 서비스에서 본 유명인들이 수십 년간 알고 있었던 것을 빠르게 깨닫기 시작했다. 시청자들이 카메라 앞에 있는 사람을 선명히 보고 목소리를 또렷이 들을 수 있어야 한다는 점이다. 요즘과 같은 상황에서 ‘웹켐 좀비’가 되고 싶은 사람은 아무도 없을 것이다. 하지만 마이크로소프트의 직원조차 올바른 방법을 찾는 데 어려움이 있었다. 
 
이것이 지금 우리의 생활이다. ⓒ MARK HACHMAN / IDG


고품질 카메라 유산

대부분의 사람들은 마이크로소프트가 매우 강력한 카메라 기술을 갖고 있었다는 사실을 잊었다. 서피스 카메라 개발 담당자들은 마이크로소프트의 독립형 라이프캠(Lifecam) 웹캠 사업부에서 일했던 사람들이다. 라이프캠은 루미아(Lumia) 1020과 지금은 사라진 다른 윈도우 폰(Windows Phone) 제품군의 대표적인 특징으로, 2013년 마이크로소프트가 노키아를 인수하면서 마이크로소프트에 흡수됐다. 마이크로소프트는 후속작으로 루미아 950을 만들고 스마트폰 사업을 접었다.
 
마이크로소프트의 루미아 1020에는 거대한 이미지 센서를 탑재하고 색 충실도를 훌륭하게 구현해서 이미지 품질이 매우 뛰어났다. ⓒ MARK HACHMAN / IDG

마찬가지로 2013년 출시된 마이크로소프트 서피스에는 전면과 후면에 720p 라이프캠이 탑재됐다. 서피스 프로 태블릿의 등장을 대표하는 서피스 프로 3에는 전면에 지금과 같은 500만 화소 사양의 카메라가 탑재됐다.

마이크로소프트 서피스 팀의 A/V 시스템 엔지니어링 책임자 더그 벡은 “웹캠이 실제로 매우 어두운 곳에서 사용된다는 점을 설득하는 데 시간이 꽤 걸렸다”고 말했다.

애초에 마이크로소프트는 서피스 카메라를 테스트할 때 직원들이 집에서 노출계로 측정해오도록 했다. 벡은 당시 재택근무 환경의 대부분이 상당히 어둡다는 것에 놀랐다고 한다. 마이크로소프트이 엔지니어들은 서피스 이미징 파이프라인 안에서 SNR(signal-to-noise ratio)에 우선순위를 두고 노이즈를 최소화하기 위해서 더 큰 센서를 더 큰 픽셀과 결합했다. 

다행히 서피스 북과 서피스 프로 태블릿에는 커다란 센서를 배치할 베젤 공간이 있었다. 카메라 렌즈와 결합해서 더 많은 빛을 흡수할 수 있는 충분한 공간이었다. 마이크로소프트의 목표는 “베젤 내에 넣을 수 있는 가장 큰 조리개 렌즈”를 탑재하는 것이었는데, 그 결과가 F2.0이다. 이후 마이크로소프트는 SNR 개선을 위해 ISP(image signal processor)를 포함해 파이프라인 크기를 조정했다. 마이크로소프트는 노이즈 감소 및 기타 개선을 위해 서드파티 업체와 협력하면서 활발한 피드백을 주고받았다. 
 
마이크로소프트의 연구진과 엔지니어들은 카메라와 서피스 디스플레이의 정확한 색상 스펙트럼을 결정하기 위해 함께 협력했다. ⓒ MARK HACHMAN / IDG

벡은 이런 과정의 마지막에는 카메라 파이프라인의 물리적 출력을 카메라 하드웨어가 출력하는 물리적 신호와 일치시켜 다양한 조명 환경과 상황에서 가능한 최상의 이미지 품질을 제공하는 것이라고 설명했다.
 

예술과 과학의 융합

“오디오 품질이 좋지 않거나, 영상 품질이 좋지 않아도 정신적으로 부담이 된다. 대부분의 사람들이 사용자의 영상 시청을 중단하면, 상호작용을 할 수 있는 기회도 그만큼 사라지는 것이다.”

마이크로소프트의 기술 연구원이자 응용과학 그룹 책임자인 스티브 바티치는 여전히 친구들과 함께 금요일 저녁에 웹캠을 사용해 팀즈로 친구들과 어울린다고 한다. 장난이 심해서 누군가 코 아래에서 비추는 웹캠으로 화상 채팅에 합류하면 계속 놀린다고 덧붙였다.
 
ⓒ MARK HACHMAN / IDG

바티치는 더 좋은 웹캠을 디자인하는 것은 고화질 신호를 인터넷으로 전달하는 것 이상을 의미한다. 예술과 과학의 조화다. 과학이 충분하지 않을 때 ‘예술’이 등장한다.

사용자를 정확히 보여주는 것은 정체성을 나타내기 위해 필수적이다. 마이크로소프트는 피부색을 정확히 표현하는 데도 많은 공을 들였다. 벡은 “피부색을 맞추는 특허를 가지고 있다. 보정된 파이프라인을 통해 피부색을 정확히 표현할 수 있다”라고 설명했다.

또한, 벡은 마이크로소프트에 인지시각시스템의 심리적 시각에 대해 훈련을 받은 색 과학자들이 있다고 전했다. “우리는 특정 콘트라스트와 색 정확도 안에 들어오도록 객관적 테스트하지만, 이 모든 과정의 마지막 단계는 매우 주관적이다. 과학과는 멀어 보이는 조정을 할 때도 있지만, 가능한 최선의 결과를 도출한다”라고 설명했다.
 

화소수는 더 이상 ‘미래’가 아니다

현재 서피스에는 500만 화소의 전면 카메라와 800만 화소의 후면 카메라가 들어간다. 후면 카메라는 경쟁사의 태블릿과 노트북에서는 찾아보기 어려운 부분이다. 하지만 마이크로소프트는 후면 카메라다 필요하다고 생각한다. 마이크로소프트가 이번에 선보인 카메라 앱은 오피스 렌즈(Office Lens) 기술과 결합되어 문서를 스캔하고 그 내용을 마이크로소프트 화이트보드(Microsoft Whiteboard) 앱에 출력하도록 했다. 현재 서피스 제품군에서만 가능한 고유 기능이다.

한편, 첫 번째 서피스 RT에서 마이크로소프트는 태블릿을 킥스탠드에 기댈 때 후면 카메라가 뒤로 똑바로 향하도록 카메라를 기울였다. 바티치는 “우리는 사람들이 가족 사진을 찍을 때 후면 카메라를 사용하지 않을 거라는 것을 알고 있었다. 그게 목적이 아니었다. 만약 그렇다면, 우리는 일을 다르게 했을 것이다. 하지만 이렇게도 생각한다. 누군가에게 무언가 보여주고 싶거나, DVD 플레이어 수리를 도와달라고 할 때, 이런 시나리오에서는 후면 카메라가 있는 것이 실제 도움이 된다”라고 말했다.
 
ⓒ MICROSOFT

마이크로소프트가 다음 세대에서 화소수를 높이게 될까? 그렇지 않을 것이다. 바티치는 카메라 센서 자체에 대해 구체적으로 논의하지는 않았지만, 노트북 카메라의 ‘스윗 스팟(sweet spot)’으로 부르며 이전 세대와 동일하게 유지했다고 말했다.

바티치는 “우리가 디스플레이를 설계하는 방식과 카메라를 설계하는 방식에는 흥미로운 유사점이 많다. 마이크로소프트는 양쪽에서 모두 ‘수치상’으로 높은 것을 추구한 적이 없다”라고 말했다.

이어서 “사양이 좋은 제품을 만드는 것은 아니다”라면서, “우리의 디스플레이 기술처럼 화면에 적절한 수준의 픽셀을 넣어 픽셀 자체가 보이지 않게 하면 그걸로 충분하다. 그 이상은 필요 없다. 어느 수준만 충족되면 더 사양이 높은 것과의 차이를 못 느낀다”라고 설명했다.
 
ⓒ MARK HACHMAN / IDG

이러한 신념은 마이크로소프트의 카메라 설계에 영향을 끼쳤다. 바티치는 “픽셀을 추가하면 더 작은 픽셀로 더 적은 빛을 흡수할 뿐이다. 결과적으로 노이즈는 높아지고 발열 관리는 더 어려워진다”라고 지적했다.

그렇다면 링 라이트 같은 조명이 추가될 가능성은 있을까? 이 역시 부정적이다. 바티치는 조명이 중요한 것이 아니며, 훌륭한 센서와 광학의 조합이 이를 보완한다고 믿는다. 

그렇지만 AI의 역할은 점점 중요해질 것으로 보인다. AI 영역에서 마이크로소프트의 행보를 보면 놀랍지 않다. 바티치는 “미래에 우리가 보고 있는 것은 심층 신경망과 같은 훨씬 정교한 알고리즘을 사용해 이미지 특징을 본질적으로 추출할 수 있을 것”으로 전망했다.

6개월 전, 아니 3개월 전만 하더라도 카메라 품질은 PC가 아닌 스마트폰과 관련된 이야기였다. 하지만 지금은 스마트폰을 들고 돌아다니는 시간이 크게 준 시점이다. 이제 카메라 관련 이야기는 PC로 넘어갔고, PC의 전면 카메라가 우리의 삶 속으로 들어왔다. editor@itworld.co.kr
 



2020.05.11

MS 서피스의 핵심 경쟁력으로 떠오른 ‘카메라’

Mark Hachman | PCWorld
좋은 웹캠의 중요성에 대해 모두가 깨닫는 중이다.

마이크로소프트가 서피스 북3(Surface Book 3), 서피스 고2(Surface Go 2) 등 새로운 서피스 하드웨어 제품군을 출시했다. 기본적으로 ‘업그레이드’ 수준이라 한 가지 특별한 차이점을 발견하지 못할 수도 있다. 바로 카메라다. 서피스의 전면 카메라는 500만 화소의 사진과 1080p 영상을 촬영할 수 있는데, 경쟁 노트북의 카메라는 대부분 100만 화소 사진과 720p 영상을 촬영할 수 있다.

사실 지난 2월 서피스 프로 7 윈도우 태블릿을 리뷰할 때까지는 웹캠이 그리 중요하지 않았다. 하지만 세상은 갑자기 링 라이트(ring light)가 무엇인지 알게 됐고, 밝은 조명이 중요해졌다. 웹캠은 세상으로 향하는 창이 됐다. 줌(Zoom), 마이크로소프트 팀즈(Teams), 구글 미트(Google Meet), 웹엑스(WebEx)가 서로를 연결하는 새로운 만남의 장소로써, 식당, 회의실, 호텔, 카페 등을 대체하고 있다.

일반 사용자들은 TV와 스트리밍 서비스에서 본 유명인들이 수십 년간 알고 있었던 것을 빠르게 깨닫기 시작했다. 시청자들이 카메라 앞에 있는 사람을 선명히 보고 목소리를 또렷이 들을 수 있어야 한다는 점이다. 요즘과 같은 상황에서 ‘웹켐 좀비’가 되고 싶은 사람은 아무도 없을 것이다. 하지만 마이크로소프트의 직원조차 올바른 방법을 찾는 데 어려움이 있었다. 
 
이것이 지금 우리의 생활이다. ⓒ MARK HACHMAN / IDG


고품질 카메라 유산

대부분의 사람들은 마이크로소프트가 매우 강력한 카메라 기술을 갖고 있었다는 사실을 잊었다. 서피스 카메라 개발 담당자들은 마이크로소프트의 독립형 라이프캠(Lifecam) 웹캠 사업부에서 일했던 사람들이다. 라이프캠은 루미아(Lumia) 1020과 지금은 사라진 다른 윈도우 폰(Windows Phone) 제품군의 대표적인 특징으로, 2013년 마이크로소프트가 노키아를 인수하면서 마이크로소프트에 흡수됐다. 마이크로소프트는 후속작으로 루미아 950을 만들고 스마트폰 사업을 접었다.
 
마이크로소프트의 루미아 1020에는 거대한 이미지 센서를 탑재하고 색 충실도를 훌륭하게 구현해서 이미지 품질이 매우 뛰어났다. ⓒ MARK HACHMAN / IDG

마찬가지로 2013년 출시된 마이크로소프트 서피스에는 전면과 후면에 720p 라이프캠이 탑재됐다. 서피스 프로 태블릿의 등장을 대표하는 서피스 프로 3에는 전면에 지금과 같은 500만 화소 사양의 카메라가 탑재됐다.

마이크로소프트 서피스 팀의 A/V 시스템 엔지니어링 책임자 더그 벡은 “웹캠이 실제로 매우 어두운 곳에서 사용된다는 점을 설득하는 데 시간이 꽤 걸렸다”고 말했다.

애초에 마이크로소프트는 서피스 카메라를 테스트할 때 직원들이 집에서 노출계로 측정해오도록 했다. 벡은 당시 재택근무 환경의 대부분이 상당히 어둡다는 것에 놀랐다고 한다. 마이크로소프트이 엔지니어들은 서피스 이미징 파이프라인 안에서 SNR(signal-to-noise ratio)에 우선순위를 두고 노이즈를 최소화하기 위해서 더 큰 센서를 더 큰 픽셀과 결합했다. 

다행히 서피스 북과 서피스 프로 태블릿에는 커다란 센서를 배치할 베젤 공간이 있었다. 카메라 렌즈와 결합해서 더 많은 빛을 흡수할 수 있는 충분한 공간이었다. 마이크로소프트의 목표는 “베젤 내에 넣을 수 있는 가장 큰 조리개 렌즈”를 탑재하는 것이었는데, 그 결과가 F2.0이다. 이후 마이크로소프트는 SNR 개선을 위해 ISP(image signal processor)를 포함해 파이프라인 크기를 조정했다. 마이크로소프트는 노이즈 감소 및 기타 개선을 위해 서드파티 업체와 협력하면서 활발한 피드백을 주고받았다. 
 
마이크로소프트의 연구진과 엔지니어들은 카메라와 서피스 디스플레이의 정확한 색상 스펙트럼을 결정하기 위해 함께 협력했다. ⓒ MARK HACHMAN / IDG

벡은 이런 과정의 마지막에는 카메라 파이프라인의 물리적 출력을 카메라 하드웨어가 출력하는 물리적 신호와 일치시켜 다양한 조명 환경과 상황에서 가능한 최상의 이미지 품질을 제공하는 것이라고 설명했다.
 

예술과 과학의 융합

“오디오 품질이 좋지 않거나, 영상 품질이 좋지 않아도 정신적으로 부담이 된다. 대부분의 사람들이 사용자의 영상 시청을 중단하면, 상호작용을 할 수 있는 기회도 그만큼 사라지는 것이다.”

마이크로소프트의 기술 연구원이자 응용과학 그룹 책임자인 스티브 바티치는 여전히 친구들과 함께 금요일 저녁에 웹캠을 사용해 팀즈로 친구들과 어울린다고 한다. 장난이 심해서 누군가 코 아래에서 비추는 웹캠으로 화상 채팅에 합류하면 계속 놀린다고 덧붙였다.
 
ⓒ MARK HACHMAN / IDG

바티치는 더 좋은 웹캠을 디자인하는 것은 고화질 신호를 인터넷으로 전달하는 것 이상을 의미한다. 예술과 과학의 조화다. 과학이 충분하지 않을 때 ‘예술’이 등장한다.

사용자를 정확히 보여주는 것은 정체성을 나타내기 위해 필수적이다. 마이크로소프트는 피부색을 정확히 표현하는 데도 많은 공을 들였다. 벡은 “피부색을 맞추는 특허를 가지고 있다. 보정된 파이프라인을 통해 피부색을 정확히 표현할 수 있다”라고 설명했다.

또한, 벡은 마이크로소프트에 인지시각시스템의 심리적 시각에 대해 훈련을 받은 색 과학자들이 있다고 전했다. “우리는 특정 콘트라스트와 색 정확도 안에 들어오도록 객관적 테스트하지만, 이 모든 과정의 마지막 단계는 매우 주관적이다. 과학과는 멀어 보이는 조정을 할 때도 있지만, 가능한 최선의 결과를 도출한다”라고 설명했다.
 

화소수는 더 이상 ‘미래’가 아니다

현재 서피스에는 500만 화소의 전면 카메라와 800만 화소의 후면 카메라가 들어간다. 후면 카메라는 경쟁사의 태블릿과 노트북에서는 찾아보기 어려운 부분이다. 하지만 마이크로소프트는 후면 카메라다 필요하다고 생각한다. 마이크로소프트가 이번에 선보인 카메라 앱은 오피스 렌즈(Office Lens) 기술과 결합되어 문서를 스캔하고 그 내용을 마이크로소프트 화이트보드(Microsoft Whiteboard) 앱에 출력하도록 했다. 현재 서피스 제품군에서만 가능한 고유 기능이다.

한편, 첫 번째 서피스 RT에서 마이크로소프트는 태블릿을 킥스탠드에 기댈 때 후면 카메라가 뒤로 똑바로 향하도록 카메라를 기울였다. 바티치는 “우리는 사람들이 가족 사진을 찍을 때 후면 카메라를 사용하지 않을 거라는 것을 알고 있었다. 그게 목적이 아니었다. 만약 그렇다면, 우리는 일을 다르게 했을 것이다. 하지만 이렇게도 생각한다. 누군가에게 무언가 보여주고 싶거나, DVD 플레이어 수리를 도와달라고 할 때, 이런 시나리오에서는 후면 카메라가 있는 것이 실제 도움이 된다”라고 말했다.
 
ⓒ MICROSOFT

마이크로소프트가 다음 세대에서 화소수를 높이게 될까? 그렇지 않을 것이다. 바티치는 카메라 센서 자체에 대해 구체적으로 논의하지는 않았지만, 노트북 카메라의 ‘스윗 스팟(sweet spot)’으로 부르며 이전 세대와 동일하게 유지했다고 말했다.

바티치는 “우리가 디스플레이를 설계하는 방식과 카메라를 설계하는 방식에는 흥미로운 유사점이 많다. 마이크로소프트는 양쪽에서 모두 ‘수치상’으로 높은 것을 추구한 적이 없다”라고 말했다.

이어서 “사양이 좋은 제품을 만드는 것은 아니다”라면서, “우리의 디스플레이 기술처럼 화면에 적절한 수준의 픽셀을 넣어 픽셀 자체가 보이지 않게 하면 그걸로 충분하다. 그 이상은 필요 없다. 어느 수준만 충족되면 더 사양이 높은 것과의 차이를 못 느낀다”라고 설명했다.
 
ⓒ MARK HACHMAN / IDG

이러한 신념은 마이크로소프트의 카메라 설계에 영향을 끼쳤다. 바티치는 “픽셀을 추가하면 더 작은 픽셀로 더 적은 빛을 흡수할 뿐이다. 결과적으로 노이즈는 높아지고 발열 관리는 더 어려워진다”라고 지적했다.

그렇다면 링 라이트 같은 조명이 추가될 가능성은 있을까? 이 역시 부정적이다. 바티치는 조명이 중요한 것이 아니며, 훌륭한 센서와 광학의 조합이 이를 보완한다고 믿는다. 

그렇지만 AI의 역할은 점점 중요해질 것으로 보인다. AI 영역에서 마이크로소프트의 행보를 보면 놀랍지 않다. 바티치는 “미래에 우리가 보고 있는 것은 심층 신경망과 같은 훨씬 정교한 알고리즘을 사용해 이미지 특징을 본질적으로 추출할 수 있을 것”으로 전망했다.

6개월 전, 아니 3개월 전만 하더라도 카메라 품질은 PC가 아닌 스마트폰과 관련된 이야기였다. 하지만 지금은 스마트폰을 들고 돌아다니는 시간이 크게 준 시점이다. 이제 카메라 관련 이야기는 PC로 넘어갔고, PC의 전면 카메라가 우리의 삶 속으로 들어왔다. editor@itworld.co.kr
 

X