Offcanvas

AI / 머신러닝|딥러닝

블로그ㅣ머신러닝(ML) 모델, 가드레일이 필요하다

2021.12.23 David Tennenhouse  |  CIO
심층 신경망(Deep Neural Network; DNN)이 많이 사용됨에 따라 기업들은 사실상 전문 연구진조차 완전히 이해하지 못하는 기술을 점점 더 활용하고 있다. 안전하고 예측할 수 있는 운영 환경을 보장하려면 ‘가드레일’이 필요하다. 

AI와 ML이 엔터프라이즈 기술 개발에서 갈수록 중요한 역할을 할 것이고, 향후 몇 년간 수많은 기업 이니셔티브를 지원할 것이라는 데 의심의 여지가 없다. 

IDC에 따르면 2021년 전 세계 AI 시장(소프트웨어, 하드웨어, 서비스 포함)의 매출은 미화 약 3,418억 달러에 이를 것으로 예상됐다. 또한 연간 성장률은 18.8%를 기록해, 2024년에는 5,000억 달러를 돌파할 것으로 예측됐다. 이 밖에 오는 2026년까지 기업들의 30%는 AI/ML을 통해 도출한 인사이트를 사용하여 성과를 60%가량 향상시킬 전망이다.  
 
ⓒGetty Images

하지만 이러한 낙관론에도 불구하고 ML 채택을 증가시키고 있는 ‘심층 신경망(DNN) 모델’의 숨기고 싶은 비밀이 있다. 연구진이 이 모델의 작동 방식을 정확하게 이해하지 못한다는 것이다. 

IT 리더가 운영 기반을 이해하지 못한 채 기술을 적용한다면 나쁜 결과를 초래할 수 있다. 시스템이 편향되거나 예측할 수 없게 되거나 사람들이 쉽게 이해하지 못하는 결과를 도출할 수 있다는 점에서 안전하지 않을 수 있는 것이다. 

머신러닝이 미션 크리티컬 애플리케이션에 적용될 때, CIO와 엔지니어링 팀은 ML이 제공할 수 있는 더 나은 결과와 나쁜 결과의 위험 사이에서 선택해야 하는 역설적인 상황에 직면하게 된다. 이는 심지어 도덕적 딜레마가 될 수도 있다.

의료 이미지를 처리하는 데 사용되는 DNN이 일반 의사보다 특정 형태의 암을 더 정확하게 인식할 수 있다고 해보자. 그 결과를 어떻게 달성하는지는 알지 못하더라도 생명을 구하는 긍정적인 효과를 가져올 수 있는 이 기술을 적용할 도덕적인 의무가 있는가?

장기적인 목표는 DNN을 완전히 이해하는 것이지만 그전까지 나쁜 결과가 생명 또는 재산에 위험을 수반할 수 있다면 어떻게 해야 할까?

머신러닝, ‘가드레일’이 필요하다
엔지니어들은 과거에도 이와 비슷한 상황에 직면했었다. 예를 들면 항공공학의 초기 시절에는 기본 물리학이나 항공기 설계 분석을 완전히 이해하지 못했다. 이러한 문제를 보완하기 위해 항공 엔지니어와 테스트 파일럿은 항공기가 안전하게 비행할 수 있는 작동 범위를 식별한 다음 비행 제어 시스템 및 파일럿 교육 등을 통해 항공기가 안전한 범위 내에서만 작동하도록 했다.

이처럼 안전하고 예측할 수 있는 작동 범위를 구축하는 접근 방식을 ML에 적용하면, 머신러닝 모델을 제 궤도에 오르게 하는 한편 안전하지 않거나 예측 불가능한 결과를 도출할 가능성을 최소화하는 가드레일을 만들 수 있다. 안전하고 예측 가능한 ML 시스템을 구축할 때 고려해야 할 5가지 접근 방식은 다음과 같다. 

1. 안전하다고 간주되는 모델 출력 범위를 식별한다
안전한 출력 범위가 확인되면, 출력이 항상 원하는 범위 내에 들어가는 안전한 입력 세트를 식별하기 위해 모델을 역방향으로 작업할 수 있다.  

2. 모델의 ‘전면’에 가드레일을 설치한다
안전한 입력 범위를 알았다면 모델 앞에 소프트웨어 가드레일을 설치하여 안전하지 않은 곳으로 이동하는 입력은 표시되지 않도록 할 수 있다. 모델이 특정 출력에 어떻게 도달하는지는 정확하게 알지 못하더라도 출력이 항상 안전하다는 것은 알 수 있다. 

3. 예측 가능한 결과를 생성하는 모델에 집중한다 
출력을 안전한 범위 내로 유지하는 것 외에도, 모델이 출력 범위의 한 부분에서 다른 부분으로 크게 벗어나는 결과를 생성하지 않도록 해야 한다. 특정 클래스의 DNN에서 입력이 약간만 바뀌면 출력도 그에 비례해 변경되고 출력 범위의 완전히 다른 부분으로 예기치 않게 점프하지 않을 수 있도록 할 수 있다. 

4. 모델을 안전하고 예측할 수 있도록 학습시킨다 
연구진은 모델의 패턴 인식 기능을 손상시키지 않으면서도 위의 분석을 수행할 수 있도록 DNN의 학습 방식을 변경하는 방법을 찾고 있다. 

5. 민첩성을 유지한다
이 분야는 빠르게 발전하기 때문에 ML 아키텍처에 가드레일을 구축하는 한편 신기술을 사용할 수 있게 되면 이를 발전시키고 개선할 수 있는 민첩성을 유지해야 한다. 

IT 리더들의 당면 과제는 (자신이) 개발 및 배포한 ML 모델을 제어할 수 있도록 하는 것이다. DNN의 작동 방식을 완전히 이해할 수 있게 될 때까지, 가드레일을 설정하는 것은 중요한 중간 단계다. 

* David Tennenhouse는 VM웨어(VMWare)의 수석 연구원이다. ciokr@idg.co.kr

 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.