2019.01.22

"어릴 적 굴욕 사진까지 식별"··· 안면 인식 기술의 '무한 확장'

George Nott | Computerworld
페이스북 등의 기업이 10년 전의 당혹스러운(!) 사진에서 나와 친구를 인식하는 기술을 사용하는 것은 익히 알려져 있다. 일반적으로, 이 기술은 얼굴의 기하학적 배열의 매핑을 활용한다. 즉, 눈, 코, 이마, 입, 턱 사이의 상대적 위치와 거리를 이용한다. 최대 70가지의 ‘얼굴 표식(facial landmarks)’을 이용해 다른 사람과 구분되는 ‘얼굴 특징(facial signature)’을 도출한다.  

이러한 얼굴 특징은 데이터베이스 속 매우 비슷한 특징을 가진 다른 얼굴을 찾는 데 이용할 수 있어, 오래전에 잊힌 사진이나 영상에서 얼굴을 식별하는 것도 가능하다. 최근 이 기법은 대학 시절의 사진뿐 아니라 심지어 1860년대처럼 오래된 사진에서도 사람을 식별하는 데 이용되고 있다. 최근 몇 해 동안 일부 대형 클라우드 업체가 제공하는 더 간편한 안면 인식 서비스가 이 기술의 확산을 견인하고 있다.



사진 핏 
지난 해, 개발자인 비그네시 생커런은 뉴사우스웨일즈주 도서관의 디지털화된 이미지 컬렉션에서 유사한 얼굴을 인식하는 툴을 개발했다. 이 웹 애플리케이션은 아마존 웹 서비스의 얼굴 감지 및 인식 기능 '레코그니션(Rikognition)'을 이용해 해당 도서관의 샘 후드 컬렉션(Sam Hood collection) 사진에서 얼굴을 추출했다. 샘 후드는 1880년대부터 1950년대 사이 주로 시드니 지역에서 사진 작가로 활동했던 인물이다. 이 도서관은 1970년대에 후드의 네거티브 사진 3만 점 이상을 사들여 보관하고 있었다.

생커런은 “이미지를 클릭하면 감지된 얼굴을 둘러싸는 경계 상자(bounding boxes)에 의해 얼굴 검출 결과가 나타난다. 짙은 푸른 색 경계 상자는 표본 이미지 컬렉션에서 검출된 적이 있는 유사 얼굴이다. 정확도는 95%다”라고 말했다.

파란 상자를 클릭하면 해당 얼굴이 있는 사진이 모두 나타난다. 그는 “안면 분석 결과는 아마존 S3에서 이미지 자체와 나란히 JSON 파일로 저장됐다. 프런트 엔드의 API 엔드포인트는 Node Js 플랫폼에서 서버리스 프레임워크로 구축됐고, AWS 람다에서 호스팅됐다. 서버리스로 배치 및 구성 디테일을 처리했고, 이는 사용하기 매우 쉬웠다. 프런트 엔드는 React JS로 구축했는데, 이는 Node Js에 대한 보완적 기술이다”라고 말했다. 

이론적으로 이 애플리케이션은 인식된 얼굴에 이름을 붙일 수 있도록 추가로 개발할 수 있다. 이렇게 되면 도서관 직원이 컬렉션에서 개인을 검색하기가 훨씬 더 쉬워질 것이다.

미국에서는 이와 비슷한 작업이 대규모로 진행중이다. 크라우드소싱으로 확보해 아카이브에 저장된 미국 남북전쟁 사진 속의 얼굴을 매칭시키는 작업이 대표적이다. 2017년, 버지니아공대(Virginia Tech), 버지니아 남북전쟁 연구소(Virginia Center for Civil War Studies), 밀리터리 이미지스 매거진(Military Images magazine)이 협력해 CWPS(CivilWarPhotoSleuth)를 개발했다.

이 툴은 안면 인식 소프트웨어를 이용해, 사람들이 업로드 한 그 시대의 사진 속에서 27종의 ‘안면 표식’을 식별한다. 그 후 이 고유한 안면 참조 점(reference points)을 아카이브 내의 수만 개의 사진에 대입한다. 툴 개발자는 “심지어 군인의 수염이 변하더라도, 또는 아카이브 내에 다른 각도로 찍힌 모습이 있더라도 공통점을 찾을 수 있다"라고 말했다.

이어 “이 사이트의 가장 큰 강점은 사람들이 이를 이용할수록 가치가 커진다는 것이다. 식별된 사진이 추가될 때 다른 이용자가 여러 해 동안 식별하려 했던 의문의 사진이 즉시 매치될 수도 있다. 마찬가지로, 미식별 사진을 검색하며 처음에는 매치를 못 찾더라도 사이트에 잠재적으로 매치되는 사진이 나타나면 자동으로 알림이 간다"라고 말했다. 이 사이트는 지난해 8월 일반에 공개됐다.
 
아카이브 가치 
이 기능은 기업에도 응용될 수 있다. 특히 매스 미디어가 자신의 동영상 아카이브에서 연관성 있는 동영상이나 스틸 사진을 찾는데 유용하다. 

시드니와 멜버른에 위치한 클라우드 기술 업체 카블라모(Kablamo)의 공동 CEO 앵거스 도니는 “이들이 보유한 동영상 콘텐츠는 수백 만 시간에 이르고, 보통 여러 레거시 시스템에 저장돼 있다. 메타-태깅은 없거나 다르고, 콘텐츠 검색 프로세스는 극도로 구식이어서 수작업을 하는 경우가 많다. 그나마 여러 시스템을 왔다 갔다 해야 한다. 미디어 조직이나 국가 기록원에서, 특정 동영상을 찾는 것이 매우 어렵고 시간이 오래 걸리고 값이 비싼 이유도 이 때문이다”라고 말했다. 

카블라모는 ‘유튜브 형식의 이용자 경험’으로 연관 아카이브 동영상을 찾는 솔루션을 판매하고 있다. 도니는 "AWS의 안면 및 물체 인식 툴을 이용해 사람이나 사물을 단순히 타이핑하면 우선순위가 매겨진 목록이 나타나고, 위치가 표시되고, 클릭해 즉시 사용할 수 있다”라고 말했다. 이 기능의 배경이 되는 머신러닝 모델은 점점 정교화하고 수정하며 한층 정확하고 유용한 결과를 이용자에게 제공할 수 있다. 그는 “여기서부터 컴퓨터가 마치 인간의 두뇌처럼 작동하기 시작한다. 매우 흥미롭다”라고 말했다. 

덴마크의 빈티지 클라우드(Vintage Cloud)라는 업체 역시 비슷한 작업을 하고 있다. 스마트 인덱싱(Smart Indexing)이라는 제품인데, 클래리파이(Clarifai)가 제공하는 시각 인식 API를 이용해 오래된 영상에 메타-태깅을 적용한다. 이 업체는 최근 10만 가지 얼굴의 데이터베이스를 발표했고, 사람들은 이에 접근해 아카이브 영상에서 발견된 얼굴과 대조할 수 있다. 

빈티지 클라우드의 CEO인 피터 잉글레슨은 “말론 브란도나 초고층 건물의 화재, 또는 1976년식 포드 핀토의 영상이 필요한 사람이 있을 것이다. 이때 스마트 인덱싱은 원하는 영상이 있는지 없는지 신속히 확인할 수 있을 뿐만 아니라 있으면 즉시 사용할 수 있다. 기존 자료의 가치를 다시 확인하는 기회도 된다”라고 말했다. ciokr@idg.co.kr



2019.01.22

"어릴 적 굴욕 사진까지 식별"··· 안면 인식 기술의 '무한 확장'

George Nott | Computerworld
페이스북 등의 기업이 10년 전의 당혹스러운(!) 사진에서 나와 친구를 인식하는 기술을 사용하는 것은 익히 알려져 있다. 일반적으로, 이 기술은 얼굴의 기하학적 배열의 매핑을 활용한다. 즉, 눈, 코, 이마, 입, 턱 사이의 상대적 위치와 거리를 이용한다. 최대 70가지의 ‘얼굴 표식(facial landmarks)’을 이용해 다른 사람과 구분되는 ‘얼굴 특징(facial signature)’을 도출한다.  

이러한 얼굴 특징은 데이터베이스 속 매우 비슷한 특징을 가진 다른 얼굴을 찾는 데 이용할 수 있어, 오래전에 잊힌 사진이나 영상에서 얼굴을 식별하는 것도 가능하다. 최근 이 기법은 대학 시절의 사진뿐 아니라 심지어 1860년대처럼 오래된 사진에서도 사람을 식별하는 데 이용되고 있다. 최근 몇 해 동안 일부 대형 클라우드 업체가 제공하는 더 간편한 안면 인식 서비스가 이 기술의 확산을 견인하고 있다.



사진 핏 
지난 해, 개발자인 비그네시 생커런은 뉴사우스웨일즈주 도서관의 디지털화된 이미지 컬렉션에서 유사한 얼굴을 인식하는 툴을 개발했다. 이 웹 애플리케이션은 아마존 웹 서비스의 얼굴 감지 및 인식 기능 '레코그니션(Rikognition)'을 이용해 해당 도서관의 샘 후드 컬렉션(Sam Hood collection) 사진에서 얼굴을 추출했다. 샘 후드는 1880년대부터 1950년대 사이 주로 시드니 지역에서 사진 작가로 활동했던 인물이다. 이 도서관은 1970년대에 후드의 네거티브 사진 3만 점 이상을 사들여 보관하고 있었다.

생커런은 “이미지를 클릭하면 감지된 얼굴을 둘러싸는 경계 상자(bounding boxes)에 의해 얼굴 검출 결과가 나타난다. 짙은 푸른 색 경계 상자는 표본 이미지 컬렉션에서 검출된 적이 있는 유사 얼굴이다. 정확도는 95%다”라고 말했다.

파란 상자를 클릭하면 해당 얼굴이 있는 사진이 모두 나타난다. 그는 “안면 분석 결과는 아마존 S3에서 이미지 자체와 나란히 JSON 파일로 저장됐다. 프런트 엔드의 API 엔드포인트는 Node Js 플랫폼에서 서버리스 프레임워크로 구축됐고, AWS 람다에서 호스팅됐다. 서버리스로 배치 및 구성 디테일을 처리했고, 이는 사용하기 매우 쉬웠다. 프런트 엔드는 React JS로 구축했는데, 이는 Node Js에 대한 보완적 기술이다”라고 말했다. 

이론적으로 이 애플리케이션은 인식된 얼굴에 이름을 붙일 수 있도록 추가로 개발할 수 있다. 이렇게 되면 도서관 직원이 컬렉션에서 개인을 검색하기가 훨씬 더 쉬워질 것이다.

미국에서는 이와 비슷한 작업이 대규모로 진행중이다. 크라우드소싱으로 확보해 아카이브에 저장된 미국 남북전쟁 사진 속의 얼굴을 매칭시키는 작업이 대표적이다. 2017년, 버지니아공대(Virginia Tech), 버지니아 남북전쟁 연구소(Virginia Center for Civil War Studies), 밀리터리 이미지스 매거진(Military Images magazine)이 협력해 CWPS(CivilWarPhotoSleuth)를 개발했다.

이 툴은 안면 인식 소프트웨어를 이용해, 사람들이 업로드 한 그 시대의 사진 속에서 27종의 ‘안면 표식’을 식별한다. 그 후 이 고유한 안면 참조 점(reference points)을 아카이브 내의 수만 개의 사진에 대입한다. 툴 개발자는 “심지어 군인의 수염이 변하더라도, 또는 아카이브 내에 다른 각도로 찍힌 모습이 있더라도 공통점을 찾을 수 있다"라고 말했다.

이어 “이 사이트의 가장 큰 강점은 사람들이 이를 이용할수록 가치가 커진다는 것이다. 식별된 사진이 추가될 때 다른 이용자가 여러 해 동안 식별하려 했던 의문의 사진이 즉시 매치될 수도 있다. 마찬가지로, 미식별 사진을 검색하며 처음에는 매치를 못 찾더라도 사이트에 잠재적으로 매치되는 사진이 나타나면 자동으로 알림이 간다"라고 말했다. 이 사이트는 지난해 8월 일반에 공개됐다.
 
아카이브 가치 
이 기능은 기업에도 응용될 수 있다. 특히 매스 미디어가 자신의 동영상 아카이브에서 연관성 있는 동영상이나 스틸 사진을 찾는데 유용하다. 

시드니와 멜버른에 위치한 클라우드 기술 업체 카블라모(Kablamo)의 공동 CEO 앵거스 도니는 “이들이 보유한 동영상 콘텐츠는 수백 만 시간에 이르고, 보통 여러 레거시 시스템에 저장돼 있다. 메타-태깅은 없거나 다르고, 콘텐츠 검색 프로세스는 극도로 구식이어서 수작업을 하는 경우가 많다. 그나마 여러 시스템을 왔다 갔다 해야 한다. 미디어 조직이나 국가 기록원에서, 특정 동영상을 찾는 것이 매우 어렵고 시간이 오래 걸리고 값이 비싼 이유도 이 때문이다”라고 말했다. 

카블라모는 ‘유튜브 형식의 이용자 경험’으로 연관 아카이브 동영상을 찾는 솔루션을 판매하고 있다. 도니는 "AWS의 안면 및 물체 인식 툴을 이용해 사람이나 사물을 단순히 타이핑하면 우선순위가 매겨진 목록이 나타나고, 위치가 표시되고, 클릭해 즉시 사용할 수 있다”라고 말했다. 이 기능의 배경이 되는 머신러닝 모델은 점점 정교화하고 수정하며 한층 정확하고 유용한 결과를 이용자에게 제공할 수 있다. 그는 “여기서부터 컴퓨터가 마치 인간의 두뇌처럼 작동하기 시작한다. 매우 흥미롭다”라고 말했다. 

덴마크의 빈티지 클라우드(Vintage Cloud)라는 업체 역시 비슷한 작업을 하고 있다. 스마트 인덱싱(Smart Indexing)이라는 제품인데, 클래리파이(Clarifai)가 제공하는 시각 인식 API를 이용해 오래된 영상에 메타-태깅을 적용한다. 이 업체는 최근 10만 가지 얼굴의 데이터베이스를 발표했고, 사람들은 이에 접근해 아카이브 영상에서 발견된 얼굴과 대조할 수 있다. 

빈티지 클라우드의 CEO인 피터 잉글레슨은 “말론 브란도나 초고층 건물의 화재, 또는 1976년식 포드 핀토의 영상이 필요한 사람이 있을 것이다. 이때 스마트 인덱싱은 원하는 영상이 있는지 없는지 신속히 확인할 수 있을 뿐만 아니라 있으면 즉시 사용할 수 있다. 기존 자료의 가치를 다시 확인하는 기회도 된다”라고 말했다. ciokr@idg.co.kr

X