“시각장애인과 화장이 서툰 모든 이를 위해”··· 에스티로더, AI와 AR로 화장을 돕다

글로벌 화장품 기업 에스티로더 컴퍼니(The Estée Lauder Companies, 이하 에스티로더)는 인공지능과 증강 현실을 활용한 메이크업 도우미 앱을 출시했다. 얼굴을 실시간으로 스캔해서 화장법을 안내하는 메이크업 도우미는 시각 장애인의 화장품 사용을 돕고 더 나아가 화장이 서툰 모든 이들이 보다 편하게 화장에 접근할 수 있도록 지원하고 있다.
 

‘시각 장애인들이 더욱 자립감과 자신감을 느끼도록 도울 수 있는 방법은 무엇일까?’ 글로벌 화장품 기업 에스티로더 컴퍼니즈(The Estée Lauder Companies, 이하 에스티로더)는 2022년 이 질문에 대한 답을 인공 지능(AI) 및 증강 현실(AR)로 찾고자 했다. 고민 끝에 나온 것이 ‘음성 인식 기반 메이크업 도우미(Voice-enabled Makeup Assistant, VMA)’ 앱이다.  

VMA는 현재 영국과 미국에서 출시된 상태로, 향후 전 세계에 확대 출시할 예정이다. 에스티로더는 VMA로 IT 우수성 부문에서 ‘2023 CIO 100 어워드’를 수상했다. 

에스티로더의 수석 부사장이자 CIO인 마이클 스미스(Michael Smith)는 “뷰티 산업에는 접근성이 높은 솔루션이 부족하다는 중대한 문제가 있으며, 에스티로더는 이를 해결하고자 했다. 전 세계적으로 22억 명, 영국에만 200만 명 이상이 어떤 유형으로든 시각 장애를 가지고 있다. VMA 프로젝트는 단순히 사업 기회를 넘어 직원 및 모든 소비자를 위해 세계에서 가장 포용적이고 다양한 뷰티 회사가 되겠다는 에스티로더의 사명을 확대하려는 노력이다”라고 설명했다. 

에스티로더의 혁신 및 신기술 부문 부사장인 크리스토퍼 에이단(Christopher Aidan)은 시각 장애인은 도움을 받기 위해 종종 다른 이에게 의존해야 한다는 점에 주목했다. 그리하여 에스티로더의 자체 증강 현실 몰입형 애플리케이션(Augmented Reality Immersive Application, ARIA) 플랫폼을 비롯해 AR, AI, 머신러닝(ML) 알고리즘을 활용해 얼굴의 메이크업을 분석하는 기술인 VMA를 개발했다. 얼굴을 분석한 VMA는 사용자가 이상적인 모습을 연출할 수 있도록 음성 안내를 제공한다. 

VMA의 음성 제어 기술은 기기에 미리 설정한 값을 활용할 수도 있고, 별도의 설정을 통해 음성 및 속도를 원하는 대로 조절할 수 있다. 

AI의 올바른 활용
에이단의 팀은 앱 자체는 빠르게 구축했나 개발을 위한 연구 과정은 상대적으로 쉽지 않았다. 포용성이란 가치를 중요하게 여긴 개발팀은 모든 잠재 사용자의 얼굴 형태, 크기, 음영 및 고유 특징을 수용하는 기술을 개발해야 했다. AI가 색상, 음영, 얼굴 특징, 머리카락 및 기타 포함 사항의 다양성에 적응 및 반응할 수 있도록 해야 하니 AI 학습 과정은 예상보다 더욱 복잡해졌다. 동시에 학습을 위해 더욱 다양한 얼굴 관련 말뭉치도 필요했다. 

VMA의 초기 모델은 셀카를 찍는 과정이 있었다. 찍은 셀카 내용을 알고리즘이 분석해 필요한 지침을 제공하는 식이었다. 하지만 개발팀은 셀카보다는 실시간 영상 촬영으로 얼굴을 스캔하는 방식을 선택했다. 완성된 실시간 영상 분석 기술을 활용해 사용자가 파운데이션 혹은 립스틱을 고르지 않게 바른 모습이 보이면, 앱은 수정이 필요한 특정 영역을 음성으로 설명해 주고, 해결 방법을 안내한다. 사용자는 이후 화장을 고치고 다시 스캔을 진행할 수 있다. 재스캔된 얼굴에 문제가 없으면 화장이 잘됐다는 메시지가 앱에 표시된다. 

에이다가 앱 개발 이후 가장 신경 쓴 부분은 시각 장애인 커뮤니티에게 피드백을 받는 것이었다. 에이다는 “시각 장애인의 고유한 요구사항, 어려운 점, 선호도, 에스티로더 제품에 바라는 점이 무엇인가에 대해 진정으로 이해하고 싶었다. 따로 포커스 그룹을 만들고 인터뷰를 했다. 여기서 참여자의 화장 및 기술에 대한 개인적인 경험에 귀를 기울였다”라고 설명했다. 

포커스 그룹 참여자의 경우, 각각 시력의 수준이 달랐고 의견에도 차이가 있었다. 누군가는 완전히 시각 능력을 잃은 상태였고, 일부는 서로 다른 수준의 낮은 시력을 갖고 있었으며, 어떤 이는 뛰어난 주변 시력(시선의 중심에서 멀어지거나 넓은 각도에서 볼 때 안쪽(또는 바깥쪽)에서 발생하는 시력)을 갖고 있었다. 에이다의 팀은 이런 포커스 그룹 참여자의 다양한 개인적 경험으로부터 인사이트를 얻고 기존에 세운 가설을 재점검하는 시간을 가졌다.

에이단은 “처음에 우리는 음성 안내가 자연스럽고 인간의 말투와 유사해야 이용자가 좋아할 것이라고 생각했다. 막상 조사를 해보니 사용자에게 중요한 것은 친숙함이었다. 참여자는 자신이 이전에 설정해 놓았거나 원하는 경험을 우리 앱에서도 기대했다”라고 언급했다. 

또한 에이단의 팀은 에스티로더의 내부 전문가, 외부 전문가, 접근성 및 포용성 분야 전문가들과 협력했다. 이런 전문가의 목소리와 포커스 그룹의 피드백을 결합해 VMA에 대한 요구사항을 수집했다. 이후 개발팀은 애플리케이션 이름 지정부터 올바른 음성 톤 파악까지 많은 단계에서 사용자의 피드백을 반영했다. 에이단은 “이들의 피드백은 설계, 빌드 및 테스트 단계 전체에서 가상 비서의 말 속도 조정 같은 특정 기능의 방향성을 정하는 데 활용했다”라고 언급했다. 

추가 진행 중인 작업
VMA 개발팀은 지난 1월 앱을 영국에서 처음 출시한 이후 앱에 대한 피드백을 지속적으로 모니터링하고 있다. 출시 전 광범위한 테스트를 거쳤음에도 문제는 계속 새롭게 발견됐다. 특히 초기 피드백 조사 과정에서는 받지 못했던 질문이 오기 시작했다. ‘화장품을 제거하려면 어떻게 해야 하는가?’ ‘잘 제거한 것인지 알려줄 수 있는가?’와 같은 질문이었다. 

스미스는 “VMA의 성공 여부를 사용자의 피드백을 통해 측정하고 있다. 피드백은 건설적이면서 긍정적인 내용이 많다”라고 설명했다. 

스미스에 따르면, VMA의 한 사용자는 ‘이전에 이 앱 없이 어떻게 살았는지 모르겠다’라며 만족감을 표현했다. 사용자가 주도권을 갖고 새로운 제품을 테스트할 기회를 제공한다는 점을 사용자는 좋아했다. 또한 시각장애인 입장에서는 질문 자체가 어려울 수 있다. 물어보는 과정 자체가 누군가에게 의존해야 한다는 느낌을 줄 수 있는데, VMA은 그런 경험을 피할 수 있게 도왔다. VMA 앱은 어떤 선입견도 갖지 않고 솔직하게 평가하기에 이용자 입장에서 훨씬 덜 부담을 느끼면서 메이크업 보조 도구로 활용할 수 있다. 

스미스는 VMA가 시각 장애자에게만 도움이 되는 것은 아니라고 강조했다. 도움을 줄 어른이 곁에 없는 젊은 사용자 혹은 어른에게 부탁하는 것이 불편한 이들은 VMA 앱을 활용해 화장법을 익힐 수 있다. 

스미스는 “다른 CIO도 더 접근하기 쉽고 포용적인 제품을 만드는 데 우선순위를 두자고 제안하고 싶다. 능력 및 장애와 상관없이 포용적인 방식으로 제품을 설계할 경우 결국 모두에게 이익이 생긴다”라고 설명했다. 
ciokr@idg.co.kr