Offcanvas

AI / 머신러닝|딥러닝

“상용화되는 모델은 13%에 그쳐”··· ‘NLP 모델’을 운영환경에 안전하게 투입하는 법

2021.12.31 David Talby  |  CIO
‘자연어 처리(Natural Language Processing; NLP)’ 모델을 프로덕션 환경에 투입하는 건 차를 구매하는 것과 비슷하다. 원하는 결과에 대한 매개변수를 설정하고, 몇 가지 접근 방식을 테스트 및 반복한다. 그다음 (비유하자면) 차를 몰고 나가는 순간 그 가치가 급락하기 시작한다. 자동차와 마찬가지로, NLP 또는 AI 기반 제품을 사용하면 많은 이점을 누릴 수 있지만 (적어도 계속해서 제대로 쓰려면) 유지관리를 멈춰서는 안 된다. 

AI 모델을 만들어 내기도 어렵지만 프로덕션 환경에서 모델의 정확성을 확보하는 것 또한 어렵다. 모델의 정확성은 시장에 출시되는 순간 저하된다. 실제 운영 환경은 (모델이) 학습한 환경과 다르기 때문이다. 고속도로와 도로 주행 연습 장소가 다른 것과 같다.

이를 변수가 바뀌면 학습한 개념도 더 이상 정확하지 않을 수 있음을 의미하는 ‘개념 드리프트(concept drift)’라고 하며, 이는 AI 및 ML 분야에서 새로운 것은 아니지만 사용자들에게는 계속해서 문제가 되고 있다. 
 
ⓒGetty Images

벤처비트(VentureBeat)에 따르면 최근 몇 년간 AI 및 NLP에 막대한 투자가 이뤄졌음에도 불구하고 실제 프로덕션 환경으로 전환되는 데이터 과학 프로젝트는 13%에 불과하다. 그 이유에는 개념 드리프트도 한몫한다. 

그렇다면 제품을 프로젝트 단계에서 프로덕션 환경으로 안전하게 옮기려면 어떻게 해야 할까? 프로덕션 환경에서 (모델의) 정확성을 유지하기 위해서는 어떻게 해야 할까? 

AI 모델을 프로덕션 환경에 투입하기
모델 거버넌스는 NLP 이니셔티브의 핵심 구성요소이자, 많은 제품이 프로젝트 단계에 머무르게 되는 이유이기도 하다. 이는 기업들이 특정 프로덕션 환경에서 모델의 활동, 액세스, 동작을 추적하는 방법을 다룬다. 위험을 완화하고, 문제를 해결하며, 컴플라이언스를 유지하려면 이를 모니터링해야 한다. 

이 개념은 전 세계 AI 업계에 잘 알려진 문제이기도 하다. 2021년 NLP 산업 설문조사(2021 NLP Industry Survey) 결과에 의하면 ‘손쉬운 튜닝 및 사용자 정의를 지원하는 고정밀 도구’가 최우선 과제인 것으로 나타났다. 기술 리더들도 이에 동의했으며, NLP 솔루션을 평가할 때 정확성, 운영 준비 상태, 확장성이 중요하다고 언급했다. 지속적인 튜닝은 모델이 계속해서 정확하게 작동하는 데 필수적이지만, 이와 동시에 실무자들이 직면하는 가장 큰 과제다. 

NLP 프로젝트에는 이전 작업의 결과와 사전 학습된 모델을 다운스트림에서 사용하는 파이프라인이 포함된다. 때때로 모델을 특정 도메인 및 애플리케이션에 맞게 튜닝하고 사용자 정의해야 하는 경우가 많다. 예를 들면 미디어 기업이 학술 논문 또는 의학 저널로 학습한 헬스케어 모델을 가짜 뉴스를 식별하기 위해 사용한다면 (원래 목적대로 쓸 때보다) 동일한 성능을 내지 못할 것이다.

개선된 검색 가능성과 AI 커뮤니티 간 협업은 모델 거버넌스 관행 표준화에 중요한 역할을 할 전망이다. 여기에는 노트북, 데이터세트, 결과 측정, 하이퍼 매개변수, 기타 메타데이터 등의 검색 가능한 카탈로그에 모델링 자산을 저장하는 작업이 포함된다. 데이터 과학 팀에게 실험 재현성 및 공유를 지원하는 것도 프로젝트를 프로덕션 수준으로 끌어올리는 데 유용한 요소다. 

더 전략적으로, 엄격한 테스트와 테스트 반복은 모델이 학습 환경과 마찬가지로 프로덕션 환경에서도 동일하게 작동하도록 하는 가장 좋은 방법이다. ▲실험 단계에서 릴리즈 캔디데이트 단계로 발전한 모델의 버전 관리, ▲해당 버전의 정확성, 편향, 안정성 테스트, ▲새로운 지역 및 모집단에 출시하기 전의 모델 검증은 모든 실무자가 수행해야 할 과정이다. 

보안 및 컴플라이언스를 처음부터 전략에 포함시키는 것도 중요하다. AI 프로젝트라고 다를 것은 없다. 모델 릴리즈를 위한 역할 기반 액세스 관리 및 승인 워크플로우, 전체적인 감사 추적에 필요한 모든 메타데이터 저장 및 제공은 모델의 운영 준비 상태를 파악하는 데 필요한 보안 조치 중 일부다.

이러한 관행은 AI 프로젝트가 아이디어에서 프로덕션 환경으로 이동할 수 있는 가능성을 크게 높일 수 있다. 아울러 제품을 고객에게 제공할 때 적용해야 할 관행을 마련하는 데도 도움이 된다.

프로덕션 환경에서 AI 모델 유지하기
앞서 언급했던 자동차 비유를 다시 들자면, 프로덕션 환경에는 AI에 관한 명확한 ‘엔진 점검’ 경고등이 없기 때문에 데이터 팀은 모델을 지속적으로 모니터링해야 한다. 기존의 소프트웨어 프로젝트와 달리, 모델을 배포한 후에도 데이터 과학자와 엔지니어를 프로젝트에 계속 투입해야 한다.

즉, 운영 인력과 추가적인 비용 및 리소스가 필요하다는 뜻이다. 이는 많은 조직이 이러한 프로젝트에 실패하는 이유일 수 있다. 비즈니스 속도에 맞춰 ‘다음 단계’로 넘어가야 한다는 압박감도 한 이유이지만 아마도 가장 큰 간과점은 IT 리더조차도 모델 성능 저하가 문제일 수 있다는 점을 예상하지 않는다는 것이다. 

예를 들면 헬스케어 부문에서 모델은 (산모의) EMR(Electronic Medical Record)을 분석해 비만, 흡연, 약물 사용 등의 위험 요소와 기타 건강 결정 요인에 따라 응급 제왕절개 가능성을 예측할 수 있다. 환자가 고위험군으로 분류되는 경우 의사는 임신 합병증을 줄이기 위해 초기에 또는 빈번하게 (병원에) 방문하라고 요청할 수 있다. 

여기서 (모델은) 이러한 위험 요소가 시간이 지나도 계속해서 유지될 것으로 예측한다. 하지만 그렇지 않을 수 있고, (이렇게 되면) 모델의 예측 정확성이 떨어지게 된다. 또 의사가 질문을 하고(예: 금연을 했는가? 또는 임신성 당뇨병 진단을 받았는가?) 답변을 기록하는 방식에도 미묘한 차이가 있어 다른 결과가 도출될 수 있다.

대부분의 실무자가 사용하는 NLP 도구를 고려할 때 이는 훨씬 더 복잡해질 수 있다. 앞서 언급한 설문조사에서 전체 응답자 중 과반수(83%)는 AWS 컴프리헨드(AWS Comprehend), 애저 텍스트 애널리틱스(Azure Text Analytics), 구글 클라우드 내추럴 랭귀지 AI(Google Cloud Natural Language AI), IBM 왓슨 NLU(IBM Watson NLU) 중 적어도 1개 이상의 NLP 클라우드 서비스를 사용해 봤다고 밝혔다. 

클라우드 서비스의 인기와 접근성은 확실하지만 기술 리더들은 모델 튜닝의 어려움과 비용을 주요 문제점으로 꼽았다(전문가들조차 운영 환경에서 모델의 정확성을 유지하기 위해 고군분투하고 있다).

또 다른 문제는 잘못된 것을 발견할 때까지 시간이 걸린다는 점이다(그 시간은 저마다 다를 수 있다). 이를테면 아마존이 사기 감지 알고리즘을 업데이트하다가 실수로 고객을 차단할 수 있다. 몇 시간 또는 몇 분 안에 고객 서비스 이메일로 이 문제를 알게 될 것이다. 반면에 헬스케어 부문은 특정 조건에서 모델 성능이 저하됐는지 확인하기 위해 충분한 데이터를 얻는 데 수개월이 걸릴 수 있다.

모델의 정확성을 유지하려면 배포하기 이전에 수행됐던 수준과 같은 엄격한 테스트, 재교육 파이프라인 자동화, 측정을 적용해야 한다. 운영 환경에서 AI 및 ML 모델을 다룰 때 몇 개월 후 최적의 성능을 기대하는 것보다 문제를 예상하는 게 더 적절하다. 

모델을 운영 환경에 투입하고 안전하게 유지하는 데 필요한 모든 작업을 고려할 때, 데이터 프로젝트의 87%가 상용화되지 않는 이유를 이해할 수 있다. 그래디언트 플로(Gradient Flow)에 따르면 그럼에도 기술 리더의 93%는 NLP 예산이 작년 대비 10~30% 증가했다고 밝혔다. 

NLP 기술 투자가 증가하고 있다는 점은 고무적이지만 기업들이 성공적인 NLP 프로젝트 배포를 위해 필요한 전문지식, 시간, 지속적인 업데이트에 관심을 두지 않는다면 모든 것이 부질없을 것이다. ciokr@idg.co.kr
추천 테크라이브러리

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.