2021.04.05

'AI 설명가능성' 도구에서 고려해야 할 4가지

Shayak Sen | InfoWorld
최근까지 ‘설명가능성(Explainability)’은 주로 AI 모델 개발 프로세스 말미에서 중요하지만 범위는 좁은 요건으로 여겨졌다. 하지만 이제 설명가능성이 머신러닝 생애주기에 걸쳐 가치를 제공하는 다층적 요건으로 간주되고 있다. 

또한 설명가능성 도구는 머신러닝 모델의 의사결정 방식에 관한 투명성을 제공하는 것 외에도 범용성, 공정성, 개념 건전성, 안전성 등 머신러닝 모델의 품질에 대한 폭넓은 평가도 실행하고 있다. 
 
ⓒGetty Images

설명가능성의 중요성이 커지면서 머신러닝을 대규모로 도입하려는 조직, 특히 위험 부담이 높거나 엄격한 규제를 받는 사용사례가 있는 조직은 설명가능성 접근방식 및 솔루션의 품질에 한층 더 주의를 기울여야 한다. 

설명가능성 문제를 해결하기 위해 사용할 수 있는 많은 오픈소스 옵션이 있다. 하지만 이들 도구를 결합해서 일관성 있는 엔터프라이즈급 솔루션으로 만들어 내는 일은 어렵다. 모델 및 개발 플랫폼에서 우수한 성능을 발휘해야 하며 일관성과 범용성을 갖춰야 하기 때문이다. 

엔터프라이즈급 설명가능성 솔루션이 충족해야 할 4가지 핵심 테스트는 다음과 같다.

1. 사안의 결과를 설명하는가?
2. 내부적으로 일관성이 있는가?
3. 대규모로 안정적인 수행이 가능한가?
4. 빠르게 변화하는 기대치를 충족할 수 있는가?


사안의 결과를 설명하는가?
머신러닝 모델이 대출, 입사, 입학 등 사람들의 삶에서 중요한 결과를 결정하거나 영향을 미치는 데 점점 더 많이 사용되고 있다. 이에 따라 설명가능성 접근방식이 머신러닝 모델의 의사결정에 관해 확실하고 신뢰할 수 있을 만한 설명을 제공하는 게 중요해졌다. 

분류 결정(예: 예/아니오)을 설명하는 것은 확률 결과나 모델 위험 점수를 설명하는 것과는 크게 다르다. 예를 들어 “제인은 왜 대출을 거절당했을까?”는 “제인은 왜 0.63점의 위험 점수를 받았는가?”와 근본적으로 다른 질문이다. 

이를테면 ‘TreeSHAP’와 같은 조건부 방식은 모델 점수용으로는 정확하지만 분류 결과용으로는 부정확할 수 있다. 따라서 이들 방식은 기본 모델 디버깅에는 유용할 수 있지만 분류 결정처럼 ‘사람이 이해할 수 있는’ 모델 점수 결과를 설명하지는 못한다. 

이때는 ‘TreeSHAP’ 대신 ‘QII(Quantitative Input Influence)’를 고려해야 한다. QII는 모델 출력의 변화를 측정하기 위해 모델 기능 간의 상관관계를 끊는 시뮬레이션을 한다. 이 기법은 모델 점수와 확률뿐만 아니라 분류 결과를 포함하여 광범위한 결과에서 더 정확하다.

결과 중심의 설명(Outcome-driven explanation)은 부당한 편향을 둘러싼 질문에서 중요하다. 예를 들어 어떤 모델이 진정으로 편향되지 않았다면 “모든 여성은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답은 “모든 남성들은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답과 달라서는 안 된다. 

내부적으로 일관성이 있는가?
AI 설명가능성을 지원하는 오픈소스 솔루션은 범위가 제한된 경우가 많다. 이를테면 알리바이(Alibi) 라이브러리는 SHAP(SHapley Additive exPlanations) 위에 직접 구축되기 때문에 자동으로 모델 점수와 확률에 한정된다. 더 광범위한 솔루션을 찾고자 오픈소스 기술을 결합하기도 한다. 하지만 이러한 접근방식은 일관성 없는 도구로 이어질 수 있으며, 동일한 질문에 상반된 결과가 나올 수도 있다. 

일관성 있는 설명가능성 접근방식은 다음 3가지 차원에 걸쳐 일관성을 보장해야 한다.

설명 범위(로컬 vs. 글로벌): 신뢰할 수 있는 머신러닝을 구축하려면 심층 모델 평가와 디버깅 기능이 중요하다. 또한 근본 원인 분석을 수행하려면 일관성 있고 근거가 충분한 설명에 기반을 두는 게 중요하다. 서로 다른 여러 기술로 로컬 설명과 글로벌 설명을 생성하면 예기치 못한 설명 행동을 문제의 근본 원인까지 추적하는 일이 불가능해지기 때문에 문제 해결 기회가 없어진다.

• 기본 모델 유형(전통 모델 vs. 신경망): 좋은 설명 프레임워크는 결정 트리/포레스트, 로지스틱 회귀 모델, 그래디언트 부스트 트리뿐만 아니라 신경망(RNN, CNN, 트랜스포머)용 머신러닝 모델 유형 전반에서 작동하는 것이 이상적이다.

• 머신러닝 생애주기 단계(개발, 검증, 지속적인 모니터링): 설명을 머신러닝 생애주기의 마지막 단계로 보낼 필요는 없다. 설명은 개발과 검증 단계에서 머신러닝 모델 품질 확인에 중추적인 역할을 할 수 있고, 생산 환경에서 모델을 지속적으로 모니터링하는 데에도 활용될 수 있다. 예를 들면 시간 경과에 따라 모델 설명이 어떻게 변하는지 확인하면 해당 모델이 잠재적으로 분포에서 벗어난 새로운 샘플 상에서 운영되고 있는지 짐작할 수 있다. 따라서 머신러닝 생애주기 전체에 걸쳐 일관성 있게 적용될 수 있는 설명 도구를 갖추는 일은 매우 중요하다.

대규모로 안정적인 수행이 가능한가?
특히 SHAP 및 QII처럼 섀플리(Shapely) 값을 추정하는 설명은 항상 근사치다. 모든 설명(모델 자체를 복제하는 경우는 제외)은 충실도(fidelity)에서 약간의 손실이 생긴다. 다른 모든 조건은 동일하다고 가정할 때 설명 계산이 빨라지면 모델의 개발 및 배포가 더 빨라질 수 있다.

QII 프레임워크는 좋은 설명 프레임워크의 원칙을 여전히 준수하면서도 정확한 설명을 증명 가능하게(그리고 실질적으로) 제공할 수 있다. 그러나 이러한 계산을 다양한 형태의 하드웨어와 모델 프레임워크에 걸쳐 확장하려면 상당한 인프라 지원이 필요하다.

섀플리 값을 통해 설명을 계산하는 경우에도 이러한 설명을 정확하고 확장가능한 방식으로 구현하는 것은 상당히 어렵다. 일반적인 구현 문제로는 상관관계에 있는 기능의 처리 방식 문제, 누락된 값의 처리 방식 문제, 비교 그룹의 선택 방식 문제 등이 있다. 이러한 차원에 따른 미묘한 오류는 로컬 또는 글로벌 설명이 크게 달라지는 결과로 이어질 수 있다.

빠르게 변화하는 기대치를 충족할 수 있는가?
좋은 설명의 구성요소는 무엇이냐는 질문이 빠르게 진화하고 있다. 한편 머신러닝 모델을 설명하는 과학(그리고 편향, 안정성, 개념 건전성과 같은 모델 품질에 대해 신뢰할 수 있는 평가를 수행하는 과학)이 여전히 발전 중이다.

다른 한편으로는 전 세계 규제 당국의 기대치가 설명가능성과 모델 품질에 대한 최소한의 기준에 맞게 설정되고 있다. 머신러닝 모델이 새로운 산업과 사용 사례에 적용되기 시작하면서 설명에 관한 기대치도 변하고 있다.

이처럼 변화하는 기준을 감안한다면 기업이 사용하는 설명가능성 도구는 유동성을 유지하는 것이 중요하다. 변화하는 수요를 파악하고 이를 충족할 수 있도록 도구를 맞춤화하거나 개선하는 전용 R&D 기능을 갖추는 것이 필수적이다.

머신러닝 모델의 설명가능성은 ML 모델에 신뢰를 구축하고 대규모 채택을 보장하는 데 중추적인 역할을 한다. 이를 달성하기 위해 다양한 오픈소스 옵션을 활용하는 것은 매력적인 방안으로 보일 수 있지만 이를 일관성 있으며 목적에 맞는 프레임워크로 결합하는 일은 여전히 어렵다. 대규모로 머신러닝을 채택하고자 하는 기업은 자신의 니즈에 맞는 옵션을 찾는 데 필요한 시간과 노력을 투자해야 한다.
 
---------------------------------------------------------------
머신러닝 인기기사
->'의사결정은 아직… 목표는 최적화 찾기' 英 신생기업이 말하는 머신러닝의 현 주소
->'머신러닝을 더 쉽게' 6가지 툴
->"학습 데이터양을 1/40로"··· AI '준지도학습'의 이해
->'운영 데이터+머신러닝+자연어 처리'··· 오토데스크 '헬프 데스크 자동화' 분석
->요즘 화제 '챗봇'··· CMO가 알아야 할 7가지
->유비쿼터스 AI 시대··· 머신러닝이 차세대 BI인 이유
->'인지, 신경, 딥, 머신?'··· AI 분야 기본 개념 따라잡기
->기계학습 구현을 쉽게!··· 머신러닝 프레임워크 13종
 ->인공지능의 무한질주···협상·테스팅에도 접목
->칼럼 | 성큼 도래한 유비쿼터스 AI 세상··· 마음의 준비를 'Her'하라
 ->기계 학습을 최대한 활용할 수 있는 11가지 오픈소스 도구
 ---------------------------------------------------------------

ciokr@idg.co.kr



2021.04.05

'AI 설명가능성' 도구에서 고려해야 할 4가지

Shayak Sen | InfoWorld
최근까지 ‘설명가능성(Explainability)’은 주로 AI 모델 개발 프로세스 말미에서 중요하지만 범위는 좁은 요건으로 여겨졌다. 하지만 이제 설명가능성이 머신러닝 생애주기에 걸쳐 가치를 제공하는 다층적 요건으로 간주되고 있다. 

또한 설명가능성 도구는 머신러닝 모델의 의사결정 방식에 관한 투명성을 제공하는 것 외에도 범용성, 공정성, 개념 건전성, 안전성 등 머신러닝 모델의 품질에 대한 폭넓은 평가도 실행하고 있다. 
 
ⓒGetty Images

설명가능성의 중요성이 커지면서 머신러닝을 대규모로 도입하려는 조직, 특히 위험 부담이 높거나 엄격한 규제를 받는 사용사례가 있는 조직은 설명가능성 접근방식 및 솔루션의 품질에 한층 더 주의를 기울여야 한다. 

설명가능성 문제를 해결하기 위해 사용할 수 있는 많은 오픈소스 옵션이 있다. 하지만 이들 도구를 결합해서 일관성 있는 엔터프라이즈급 솔루션으로 만들어 내는 일은 어렵다. 모델 및 개발 플랫폼에서 우수한 성능을 발휘해야 하며 일관성과 범용성을 갖춰야 하기 때문이다. 

엔터프라이즈급 설명가능성 솔루션이 충족해야 할 4가지 핵심 테스트는 다음과 같다.

1. 사안의 결과를 설명하는가?
2. 내부적으로 일관성이 있는가?
3. 대규모로 안정적인 수행이 가능한가?
4. 빠르게 변화하는 기대치를 충족할 수 있는가?


사안의 결과를 설명하는가?
머신러닝 모델이 대출, 입사, 입학 등 사람들의 삶에서 중요한 결과를 결정하거나 영향을 미치는 데 점점 더 많이 사용되고 있다. 이에 따라 설명가능성 접근방식이 머신러닝 모델의 의사결정에 관해 확실하고 신뢰할 수 있을 만한 설명을 제공하는 게 중요해졌다. 

분류 결정(예: 예/아니오)을 설명하는 것은 확률 결과나 모델 위험 점수를 설명하는 것과는 크게 다르다. 예를 들어 “제인은 왜 대출을 거절당했을까?”는 “제인은 왜 0.63점의 위험 점수를 받았는가?”와 근본적으로 다른 질문이다. 

이를테면 ‘TreeSHAP’와 같은 조건부 방식은 모델 점수용으로는 정확하지만 분류 결과용으로는 부정확할 수 있다. 따라서 이들 방식은 기본 모델 디버깅에는 유용할 수 있지만 분류 결정처럼 ‘사람이 이해할 수 있는’ 모델 점수 결과를 설명하지는 못한다. 

이때는 ‘TreeSHAP’ 대신 ‘QII(Quantitative Input Influence)’를 고려해야 한다. QII는 모델 출력의 변화를 측정하기 위해 모델 기능 간의 상관관계를 끊는 시뮬레이션을 한다. 이 기법은 모델 점수와 확률뿐만 아니라 분류 결과를 포함하여 광범위한 결과에서 더 정확하다.

결과 중심의 설명(Outcome-driven explanation)은 부당한 편향을 둘러싼 질문에서 중요하다. 예를 들어 어떤 모델이 진정으로 편향되지 않았다면 “모든 여성은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답은 “모든 남성들은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답과 달라서는 안 된다. 

내부적으로 일관성이 있는가?
AI 설명가능성을 지원하는 오픈소스 솔루션은 범위가 제한된 경우가 많다. 이를테면 알리바이(Alibi) 라이브러리는 SHAP(SHapley Additive exPlanations) 위에 직접 구축되기 때문에 자동으로 모델 점수와 확률에 한정된다. 더 광범위한 솔루션을 찾고자 오픈소스 기술을 결합하기도 한다. 하지만 이러한 접근방식은 일관성 없는 도구로 이어질 수 있으며, 동일한 질문에 상반된 결과가 나올 수도 있다. 

일관성 있는 설명가능성 접근방식은 다음 3가지 차원에 걸쳐 일관성을 보장해야 한다.

설명 범위(로컬 vs. 글로벌): 신뢰할 수 있는 머신러닝을 구축하려면 심층 모델 평가와 디버깅 기능이 중요하다. 또한 근본 원인 분석을 수행하려면 일관성 있고 근거가 충분한 설명에 기반을 두는 게 중요하다. 서로 다른 여러 기술로 로컬 설명과 글로벌 설명을 생성하면 예기치 못한 설명 행동을 문제의 근본 원인까지 추적하는 일이 불가능해지기 때문에 문제 해결 기회가 없어진다.

• 기본 모델 유형(전통 모델 vs. 신경망): 좋은 설명 프레임워크는 결정 트리/포레스트, 로지스틱 회귀 모델, 그래디언트 부스트 트리뿐만 아니라 신경망(RNN, CNN, 트랜스포머)용 머신러닝 모델 유형 전반에서 작동하는 것이 이상적이다.

• 머신러닝 생애주기 단계(개발, 검증, 지속적인 모니터링): 설명을 머신러닝 생애주기의 마지막 단계로 보낼 필요는 없다. 설명은 개발과 검증 단계에서 머신러닝 모델 품질 확인에 중추적인 역할을 할 수 있고, 생산 환경에서 모델을 지속적으로 모니터링하는 데에도 활용될 수 있다. 예를 들면 시간 경과에 따라 모델 설명이 어떻게 변하는지 확인하면 해당 모델이 잠재적으로 분포에서 벗어난 새로운 샘플 상에서 운영되고 있는지 짐작할 수 있다. 따라서 머신러닝 생애주기 전체에 걸쳐 일관성 있게 적용될 수 있는 설명 도구를 갖추는 일은 매우 중요하다.

대규모로 안정적인 수행이 가능한가?
특히 SHAP 및 QII처럼 섀플리(Shapely) 값을 추정하는 설명은 항상 근사치다. 모든 설명(모델 자체를 복제하는 경우는 제외)은 충실도(fidelity)에서 약간의 손실이 생긴다. 다른 모든 조건은 동일하다고 가정할 때 설명 계산이 빨라지면 모델의 개발 및 배포가 더 빨라질 수 있다.

QII 프레임워크는 좋은 설명 프레임워크의 원칙을 여전히 준수하면서도 정확한 설명을 증명 가능하게(그리고 실질적으로) 제공할 수 있다. 그러나 이러한 계산을 다양한 형태의 하드웨어와 모델 프레임워크에 걸쳐 확장하려면 상당한 인프라 지원이 필요하다.

섀플리 값을 통해 설명을 계산하는 경우에도 이러한 설명을 정확하고 확장가능한 방식으로 구현하는 것은 상당히 어렵다. 일반적인 구현 문제로는 상관관계에 있는 기능의 처리 방식 문제, 누락된 값의 처리 방식 문제, 비교 그룹의 선택 방식 문제 등이 있다. 이러한 차원에 따른 미묘한 오류는 로컬 또는 글로벌 설명이 크게 달라지는 결과로 이어질 수 있다.

빠르게 변화하는 기대치를 충족할 수 있는가?
좋은 설명의 구성요소는 무엇이냐는 질문이 빠르게 진화하고 있다. 한편 머신러닝 모델을 설명하는 과학(그리고 편향, 안정성, 개념 건전성과 같은 모델 품질에 대해 신뢰할 수 있는 평가를 수행하는 과학)이 여전히 발전 중이다.

다른 한편으로는 전 세계 규제 당국의 기대치가 설명가능성과 모델 품질에 대한 최소한의 기준에 맞게 설정되고 있다. 머신러닝 모델이 새로운 산업과 사용 사례에 적용되기 시작하면서 설명에 관한 기대치도 변하고 있다.

이처럼 변화하는 기준을 감안한다면 기업이 사용하는 설명가능성 도구는 유동성을 유지하는 것이 중요하다. 변화하는 수요를 파악하고 이를 충족할 수 있도록 도구를 맞춤화하거나 개선하는 전용 R&D 기능을 갖추는 것이 필수적이다.

머신러닝 모델의 설명가능성은 ML 모델에 신뢰를 구축하고 대규모 채택을 보장하는 데 중추적인 역할을 한다. 이를 달성하기 위해 다양한 오픈소스 옵션을 활용하는 것은 매력적인 방안으로 보일 수 있지만 이를 일관성 있으며 목적에 맞는 프레임워크로 결합하는 일은 여전히 어렵다. 대규모로 머신러닝을 채택하고자 하는 기업은 자신의 니즈에 맞는 옵션을 찾는 데 필요한 시간과 노력을 투자해야 한다.
 
---------------------------------------------------------------
머신러닝 인기기사
->'의사결정은 아직… 목표는 최적화 찾기' 英 신생기업이 말하는 머신러닝의 현 주소
->'머신러닝을 더 쉽게' 6가지 툴
->"학습 데이터양을 1/40로"··· AI '준지도학습'의 이해
->'운영 데이터+머신러닝+자연어 처리'··· 오토데스크 '헬프 데스크 자동화' 분석
->요즘 화제 '챗봇'··· CMO가 알아야 할 7가지
->유비쿼터스 AI 시대··· 머신러닝이 차세대 BI인 이유
->'인지, 신경, 딥, 머신?'··· AI 분야 기본 개념 따라잡기
->기계학습 구현을 쉽게!··· 머신러닝 프레임워크 13종
 ->인공지능의 무한질주···협상·테스팅에도 접목
->칼럼 | 성큼 도래한 유비쿼터스 AI 세상··· 마음의 준비를 'Her'하라
 ->기계 학습을 최대한 활용할 수 있는 11가지 오픈소스 도구
 ---------------------------------------------------------------

ciokr@idg.co.kr

X