2019.07.04

블로그 | iOS 13에 담겨진 애플의 컴퓨터 비전 ‘빅 픽처’

Jonny Evans | Computerworld
애플이 2007년 첫 아이폰을 발매한 이후 주력해온 분야 중 하나는 사진이다. 사진에 대한 애플의 집중은 iOS 13에 탑재된 기기 내장형(on-device) 컴퓨터 비전 AI를 통해 또 한번 구체화됐다. 



온-디바이스 이미지 인텔리전스
애플이 개발한 강력한 기기 내장형 이미지 인텔리전스는, 개발자는 물론 iOS 이용자들이 이용할 수 있는 도구의 형태다. iOS 13이 배포되면 다음과 같은 보다 정교한 AI 작업이 가능해진다. 

- 사진 애플리케이션이 최상의 이미지를 선별해 라이브러리를 구성할 수 있게 된다. 즉 스크린샷, 복제 사진 등을 걸러내 보기 좋은 콜렉션을 자동으로 구축하는 기능이 지원된다.

- 사진 편집 도구가 보다 세부적인 효과를 신속하게 적용할 수 있게 된다. 아울러 인물 조명 조정 효과가 카메라에 내장됨에 따라 촬영 시점에서도 동작할 수 있다. 

- iOS 13은 또 사용자가 동영상에 사진 편집 도구를 이용할 수 있게 해준다. 

- 포토(Photos) 앱 내부의 AI가 이미지를 분석한다. ‘이미지 세일리언시’(Image Saliency)라는 기술을 활용해 이미지의 주제나 주인공을 파악함으로써 이미지 조정 값을 권장할 수 있다. 

- 차세대 아이폰이 새로운 3 렌즈 카메라를 도입해 3D 이미지 캡처 및 향상된 야간 촬영 성능을 제공할 것으로 추정되고 있다. 

- 페이스타임 어텐션 코렉션(FaceTime Attention Correction)이라는 기능에 대한 소식도 있다. 이는 AI를 사용해 말하는 이가 청중을 보고 있는 것처럼 표현해준다. 

‘스테이트 오브 아트’(State-of-the-art image) 이미지 인텔리전스
애플은 컴퓨터 비전 분야에 노력을 쏟아왔다. 지난 WWDC에서 공개된 코어 ML 3는 개발자들이 자신의 앱에서 사용할 수 있는 여러 이미징 도구를 제공한다. 애플은 다음과 같이 설명했다.
 
“코어 ML 3는 더 많은 유형의 고급, 실시간 머신러닝 모델 가속화를 지원한다. 이제 100개 이상이 모델 레이어가 코어 ML에서 지원된다. 이에 따라 종전에는 불가능했던 수준의 비전, 자연어, 음성을 깊게 이해하는 애플리케이션이 가능해진다. 아울러 개발자는 사상 처음으로 ‘모델 개인화’를 이용해 기기 상에서 머신러닝 모델을 업데이트할 수 있게 된다.”

이 AI는 안면 감지, 추적, 품질 캡처, 텍스트 인식, 이미지 특징, 분류, 이미지 유사성 구분과 같은 기능을 지원한다. 또 지형물 탐지, 사각형 감지, 바코드 감지, 객체 추적 등에서도 더 나은 성능을 제공한다. 이러한 기능이 애플의 A 시리즈 프로세서 내 뉴럴 엔진에서 구동된다는 점에도 주목할 만하다. 

동물 감지 및 여타 이야기
실용적으로 이야기한다면, 코어 ML 3는 개발자가 내장된 AI 모델을 이용하는 애플리케이션을 만들 수 있음을 의미한다. 사진에서 물체를 인식하는 등의 지능형 기능을 좀더 간단하게 이용할 수 있게 되는 것이다.

최근 iOS 13 아이폰이 애플의 새로운 ‘VNAnimalDetector’ 프레임워크를 이용해 이미지 내의 고양이나 개를 어떻게 인식할 수 있는지에 대한 이야기가 쏟아진 바 있는데, 그 근간에 자리한 기술이기도 하다. 참고로 ‘포토’ 앱은 2016년부터 개나 고양이를 인식할 수 있었지만, 이번 기술은 더 적은 시각적 정보로부터 어떤 동물인지 판단할 수 있는 보다 세부적인 모델이다.

좀더 쉽게 이야기하자면 시리에게 신호등이나, 개, 말이 담긴 이미지를 보여달라고 요청할 수 있게 된다. 고양이를 포함하지 않은 사진을 보여달라는 요구도 가능하다. 

의학과 만나면...
이러한 머신비전 기능성은 개와 고양이를 구분하는 것을 넘어 무수한 활용 가능성을 제시한다. 가령 AI가 이미지를 사용하여 원하는 제품을 인식하고 찾을 수 있는 AI 기반 쇼핑 솔루션의 신속한 개발이 가능해질 수 있다. 특히 주목할 만한 분야 중 하나는 의학이다.

애플 디자인 어워드 2018 수사장인 트리톤 스폰지는 외과 의사가 환자의 출혈량을 정확히 추적하도록 돕는 솔루션을 선보인 바 있으며, 이 밖에도 X 레이, 혈관 조영술, 초음파 및 여타 의학 진단 기술을 위한 컴퓨터 이미지 관련 기술이 개발되고 있다. 

애플의 머신 인텔리전스 팀은 개발자들이 좀더 심오한 솔루션을 구축하기 위해 사용할 수 있는 기술을 지금도 연구하고 있다. 어쩌면 AI, AR, 원격 의료 진단이 결합된 미래가 멀지 않았을지도 모른다. ciokr@idg.co.kr



2019.07.04

블로그 | iOS 13에 담겨진 애플의 컴퓨터 비전 ‘빅 픽처’

Jonny Evans | Computerworld
애플이 2007년 첫 아이폰을 발매한 이후 주력해온 분야 중 하나는 사진이다. 사진에 대한 애플의 집중은 iOS 13에 탑재된 기기 내장형(on-device) 컴퓨터 비전 AI를 통해 또 한번 구체화됐다. 



온-디바이스 이미지 인텔리전스
애플이 개발한 강력한 기기 내장형 이미지 인텔리전스는, 개발자는 물론 iOS 이용자들이 이용할 수 있는 도구의 형태다. iOS 13이 배포되면 다음과 같은 보다 정교한 AI 작업이 가능해진다. 

- 사진 애플리케이션이 최상의 이미지를 선별해 라이브러리를 구성할 수 있게 된다. 즉 스크린샷, 복제 사진 등을 걸러내 보기 좋은 콜렉션을 자동으로 구축하는 기능이 지원된다.

- 사진 편집 도구가 보다 세부적인 효과를 신속하게 적용할 수 있게 된다. 아울러 인물 조명 조정 효과가 카메라에 내장됨에 따라 촬영 시점에서도 동작할 수 있다. 

- iOS 13은 또 사용자가 동영상에 사진 편집 도구를 이용할 수 있게 해준다. 

- 포토(Photos) 앱 내부의 AI가 이미지를 분석한다. ‘이미지 세일리언시’(Image Saliency)라는 기술을 활용해 이미지의 주제나 주인공을 파악함으로써 이미지 조정 값을 권장할 수 있다. 

- 차세대 아이폰이 새로운 3 렌즈 카메라를 도입해 3D 이미지 캡처 및 향상된 야간 촬영 성능을 제공할 것으로 추정되고 있다. 

- 페이스타임 어텐션 코렉션(FaceTime Attention Correction)이라는 기능에 대한 소식도 있다. 이는 AI를 사용해 말하는 이가 청중을 보고 있는 것처럼 표현해준다. 

‘스테이트 오브 아트’(State-of-the-art image) 이미지 인텔리전스
애플은 컴퓨터 비전 분야에 노력을 쏟아왔다. 지난 WWDC에서 공개된 코어 ML 3는 개발자들이 자신의 앱에서 사용할 수 있는 여러 이미징 도구를 제공한다. 애플은 다음과 같이 설명했다.
 
“코어 ML 3는 더 많은 유형의 고급, 실시간 머신러닝 모델 가속화를 지원한다. 이제 100개 이상이 모델 레이어가 코어 ML에서 지원된다. 이에 따라 종전에는 불가능했던 수준의 비전, 자연어, 음성을 깊게 이해하는 애플리케이션이 가능해진다. 아울러 개발자는 사상 처음으로 ‘모델 개인화’를 이용해 기기 상에서 머신러닝 모델을 업데이트할 수 있게 된다.”

이 AI는 안면 감지, 추적, 품질 캡처, 텍스트 인식, 이미지 특징, 분류, 이미지 유사성 구분과 같은 기능을 지원한다. 또 지형물 탐지, 사각형 감지, 바코드 감지, 객체 추적 등에서도 더 나은 성능을 제공한다. 이러한 기능이 애플의 A 시리즈 프로세서 내 뉴럴 엔진에서 구동된다는 점에도 주목할 만하다. 

동물 감지 및 여타 이야기
실용적으로 이야기한다면, 코어 ML 3는 개발자가 내장된 AI 모델을 이용하는 애플리케이션을 만들 수 있음을 의미한다. 사진에서 물체를 인식하는 등의 지능형 기능을 좀더 간단하게 이용할 수 있게 되는 것이다.

최근 iOS 13 아이폰이 애플의 새로운 ‘VNAnimalDetector’ 프레임워크를 이용해 이미지 내의 고양이나 개를 어떻게 인식할 수 있는지에 대한 이야기가 쏟아진 바 있는데, 그 근간에 자리한 기술이기도 하다. 참고로 ‘포토’ 앱은 2016년부터 개나 고양이를 인식할 수 있었지만, 이번 기술은 더 적은 시각적 정보로부터 어떤 동물인지 판단할 수 있는 보다 세부적인 모델이다.

좀더 쉽게 이야기하자면 시리에게 신호등이나, 개, 말이 담긴 이미지를 보여달라고 요청할 수 있게 된다. 고양이를 포함하지 않은 사진을 보여달라는 요구도 가능하다. 

의학과 만나면...
이러한 머신비전 기능성은 개와 고양이를 구분하는 것을 넘어 무수한 활용 가능성을 제시한다. 가령 AI가 이미지를 사용하여 원하는 제품을 인식하고 찾을 수 있는 AI 기반 쇼핑 솔루션의 신속한 개발이 가능해질 수 있다. 특히 주목할 만한 분야 중 하나는 의학이다.

애플 디자인 어워드 2018 수사장인 트리톤 스폰지는 외과 의사가 환자의 출혈량을 정확히 추적하도록 돕는 솔루션을 선보인 바 있으며, 이 밖에도 X 레이, 혈관 조영술, 초음파 및 여타 의학 진단 기술을 위한 컴퓨터 이미지 관련 기술이 개발되고 있다. 

애플의 머신 인텔리전스 팀은 개발자들이 좀더 심오한 솔루션을 구축하기 위해 사용할 수 있는 기술을 지금도 연구하고 있다. 어쩌면 AI, AR, 원격 의료 진단이 결합된 미래가 멀지 않았을지도 모른다. ciokr@idg.co.kr

X