2017.12.28

칼럼 | AI 세상, 테스트는 악몽이 될 것이며 열쇠는 '척도'에 있다

Kumar Srivastava | InfoWorld
인공지능의 기업 환경 진출을 뒷받침하는 힘은 더 다양한 데이터의 가용성이다. 계기화된 시스템과 애플리케이션, 프로세스, 인터페이스의 수가 증가하면서 더 많은 양의 더 흥미로운 데이터를 얻을 수 있게 됐다. 이 데이터 가용성은 기업에서 새로운 단계의 기업 자동화를 추진할 수 있게 해준다.

새로운 품질 고려 사항
이 단계에서 기업은 더 많은 예측적 의사 결정을 프로세스에 통합하게 된다. 이런 의사 결정은 하나 이상의 AI 모델을 통해 실시된다. 확률적 의사결정은 기업에게 큰 혜택이 될 것이다. 그러나 확률적 의사결정의 도입은 품질 및 테스트 측면에서 기업에게 새로운 수준의 과제를 안겨준다. 품질 보증 방법, 테스트 척도를 설계하고 생성하는 방법의 전면적인 변화가 필요하다.

- 동일한 데이터, 여러 AI 시나리오
이 시나리오에서는 동일한 데이터 집합이 여러 비즈니스 문제와 시나리오의 AI 모델을 실행하는 데 사용된다. 하나의 데이터 집합에는 여러 신호가 포함될 수 있다. 서로 다른 AI 시나리오는 이런 내장된 신호를 활용해 서로 다른 유형의 확률과 결과를 도출할 수 있다.

- 동일한 데이터, 여러 모델, 동일한 AI 시나리오
이 시나리오에서는 동일한 데이터가 사용되어 서로 다른 AI 기법을 사용해 동일한 AI 시나리오/비즈니스 문제를 실행하는 여러 AI 모델을 생성한다. 다양한 알고리즘과 기법이 다양한 방법으로 내장된 신호 및 구조를 활용해 AI 모델을 생산하며 따라서 이런 모델은 행동 양상이 상호 크게 다를 수 있다.

- 변형된 데이터, 여러 AI 시나리오
이 시나리오에서 데이터 집합은 여러 ETL 메커니즘을 통해 변형되어 서로 전혀 다른 AI 시나리오/비즈니스 문제를 실행한다. 데이터 변형은 다음 요소에 따라 달라질 수 있다.

• 샘플링 : 데이터의 하위 집합이 활용된다(하위 집합을 필요에 따라 무작위로 생성할 수 있는 경우).
• 필터링 : 특정 유형의 행 또는 신호를 포함하거나 제외하도록 학습 데이터 집합이 설계된다.
• 추정 : 데이터 집합에서 사용 가능한 속성 하위 집합을 포함하도록 학습 데이터 집합이 설계된다.
• 집계 : 특정 속성 집합에 걸쳐 또는 일정 시간 동안 집계를 통해 학습 데이터 집합이 구축된다.
• 파생 : 문자열에서 정수, 정수에서 분류, 비닝(binning) 등 하나 이상의 속성 수준 변형을 통해 학습 데이터 집합이 구축된다.

- AI 데이지 체인
이 시나리오에서는 여러 AI 모델이 구축되어 디지털로 또는 인간 주도의 아날로그 방식을 통해 서로 연결된다. 예를 들어 사용자는 AI 모델의 출력을 사용해 결과를 판단할 수 있다. 사용자는 이 결과를 비즈니스 워크플로우 또는 두 번째 AI 모델에 입력하거나 첫 번째 AI 모델의 결과를 사용해 다음 출력을 판단할 수 있다. 이 시나리오에서 두 번째 AI 모델 결과의 품질은 첫 번째 AI 모델 결과의 품질에 따라 달라진다.

테스트 모범 사례
- 전사적 데이터 변형 지도
기업은 포괄적이고 전사적인 데이터 변형 지도를 구축하고 유지해야 한다. 이 전사적인 데이터 변형 지도에는 원시 데이터 소스에서 어떻게 데이터를 취하고 변형해 AI 모델로 공급했는지에 관한 내용이 기술되어야 한다. 전사적인 데이터 변형 지도를 두면 AI 모델의 출처를 쉽고 간편하게 확인할 수 있다. 이는 업스트림 데이터 품질 문제가 AI 모델에 미치는 영향, 그리고 그 AI 모델이 영향을 미치는 비즈니스 워크플로우에 미치는 영향을 판단하기 위해 필요하다.

- 데이터 변형 의미 프로파일링
또한 기업은 데이터 변형을 운용적 및 의미론적으로 프로파일링하는 데 투자해야 한다. 데이터 변형이 원시 데이터 집합에 적용된 이후 생성되는 출력 데이터 집합과 그 구조의 패턴을 의미론적 데이터 프로파일링으로 파악할 수 있다. 변형된 버전의 데이터에서 그러한 패턴을 파악하면 이를 사용해 데이터 변형 기법을 프로파일링할 수 있다. 데이터 또는 데이터 변형 기법의 오류로 인해 데이터 변형의 프로파일이 바뀌는 경우 알림을 생성하고 다운스트림 AI 모델의 품질에 미치는 영향을 추정할 수 있다.

- AI 데이지 체인의 천장 및 바닥 제한
기업은 다운스트림 비즈니스 워크플로우에서 업스트림 AI 모델 출력 사용에 대한 천장 및 바닥 제한을 구현하는 AI 워크플로우 기능에 투자해야 한다. 또한 이런 제한은 구성 및 오버라이드가 가능해야 하며 업스트림 AI 모델의 소비자가 출력을 이해하고 분별력 있게 사용할 수 있도록 면밀히 모니터링해야 한다.

- AI 테스트 척도
기업은 개별 변형 또는 AI 모델뿐만 아니라 전체 AI 기반 비즈니스 워크플로우의 품질을 꼼꼼하게 판단하고 테스트할 수 있는 AI 테스트 척도에 투자해야 한다. 저수준 테스트 척도 외에 전체 AI 기반 비즈니스 워크플로우가 목표 및 고객 요구 사항에 부합하는지 여부에 대한 측정도 포함해야 한다.

AI 기반 워크플로우의 예측적 속성을 감안하면 실패 또는 최선이 아닌 결과에 대한 판단은 전체 워크플로우가 완료될 때까지 명확히 내리기 어려울 수 있다. 테스트 척도, 그리고 데이터를 수집해 그 테스트 척도를 생성하는 시스템을 계기화해서 비즈니스 워크플로우의 최종 결과를 수집함으로써 종합적인 테스트 척도와 품질 판단 기능을 제공해야 한다. editor@itworld.co.kr 



2017.12.28

칼럼 | AI 세상, 테스트는 악몽이 될 것이며 열쇠는 '척도'에 있다

Kumar Srivastava | InfoWorld
인공지능의 기업 환경 진출을 뒷받침하는 힘은 더 다양한 데이터의 가용성이다. 계기화된 시스템과 애플리케이션, 프로세스, 인터페이스의 수가 증가하면서 더 많은 양의 더 흥미로운 데이터를 얻을 수 있게 됐다. 이 데이터 가용성은 기업에서 새로운 단계의 기업 자동화를 추진할 수 있게 해준다.

새로운 품질 고려 사항
이 단계에서 기업은 더 많은 예측적 의사 결정을 프로세스에 통합하게 된다. 이런 의사 결정은 하나 이상의 AI 모델을 통해 실시된다. 확률적 의사결정은 기업에게 큰 혜택이 될 것이다. 그러나 확률적 의사결정의 도입은 품질 및 테스트 측면에서 기업에게 새로운 수준의 과제를 안겨준다. 품질 보증 방법, 테스트 척도를 설계하고 생성하는 방법의 전면적인 변화가 필요하다.

- 동일한 데이터, 여러 AI 시나리오
이 시나리오에서는 동일한 데이터 집합이 여러 비즈니스 문제와 시나리오의 AI 모델을 실행하는 데 사용된다. 하나의 데이터 집합에는 여러 신호가 포함될 수 있다. 서로 다른 AI 시나리오는 이런 내장된 신호를 활용해 서로 다른 유형의 확률과 결과를 도출할 수 있다.

- 동일한 데이터, 여러 모델, 동일한 AI 시나리오
이 시나리오에서는 동일한 데이터가 사용되어 서로 다른 AI 기법을 사용해 동일한 AI 시나리오/비즈니스 문제를 실행하는 여러 AI 모델을 생성한다. 다양한 알고리즘과 기법이 다양한 방법으로 내장된 신호 및 구조를 활용해 AI 모델을 생산하며 따라서 이런 모델은 행동 양상이 상호 크게 다를 수 있다.

- 변형된 데이터, 여러 AI 시나리오
이 시나리오에서 데이터 집합은 여러 ETL 메커니즘을 통해 변형되어 서로 전혀 다른 AI 시나리오/비즈니스 문제를 실행한다. 데이터 변형은 다음 요소에 따라 달라질 수 있다.

• 샘플링 : 데이터의 하위 집합이 활용된다(하위 집합을 필요에 따라 무작위로 생성할 수 있는 경우).
• 필터링 : 특정 유형의 행 또는 신호를 포함하거나 제외하도록 학습 데이터 집합이 설계된다.
• 추정 : 데이터 집합에서 사용 가능한 속성 하위 집합을 포함하도록 학습 데이터 집합이 설계된다.
• 집계 : 특정 속성 집합에 걸쳐 또는 일정 시간 동안 집계를 통해 학습 데이터 집합이 구축된다.
• 파생 : 문자열에서 정수, 정수에서 분류, 비닝(binning) 등 하나 이상의 속성 수준 변형을 통해 학습 데이터 집합이 구축된다.

- AI 데이지 체인
이 시나리오에서는 여러 AI 모델이 구축되어 디지털로 또는 인간 주도의 아날로그 방식을 통해 서로 연결된다. 예를 들어 사용자는 AI 모델의 출력을 사용해 결과를 판단할 수 있다. 사용자는 이 결과를 비즈니스 워크플로우 또는 두 번째 AI 모델에 입력하거나 첫 번째 AI 모델의 결과를 사용해 다음 출력을 판단할 수 있다. 이 시나리오에서 두 번째 AI 모델 결과의 품질은 첫 번째 AI 모델 결과의 품질에 따라 달라진다.

테스트 모범 사례
- 전사적 데이터 변형 지도
기업은 포괄적이고 전사적인 데이터 변형 지도를 구축하고 유지해야 한다. 이 전사적인 데이터 변형 지도에는 원시 데이터 소스에서 어떻게 데이터를 취하고 변형해 AI 모델로 공급했는지에 관한 내용이 기술되어야 한다. 전사적인 데이터 변형 지도를 두면 AI 모델의 출처를 쉽고 간편하게 확인할 수 있다. 이는 업스트림 데이터 품질 문제가 AI 모델에 미치는 영향, 그리고 그 AI 모델이 영향을 미치는 비즈니스 워크플로우에 미치는 영향을 판단하기 위해 필요하다.

- 데이터 변형 의미 프로파일링
또한 기업은 데이터 변형을 운용적 및 의미론적으로 프로파일링하는 데 투자해야 한다. 데이터 변형이 원시 데이터 집합에 적용된 이후 생성되는 출력 데이터 집합과 그 구조의 패턴을 의미론적 데이터 프로파일링으로 파악할 수 있다. 변형된 버전의 데이터에서 그러한 패턴을 파악하면 이를 사용해 데이터 변형 기법을 프로파일링할 수 있다. 데이터 또는 데이터 변형 기법의 오류로 인해 데이터 변형의 프로파일이 바뀌는 경우 알림을 생성하고 다운스트림 AI 모델의 품질에 미치는 영향을 추정할 수 있다.

- AI 데이지 체인의 천장 및 바닥 제한
기업은 다운스트림 비즈니스 워크플로우에서 업스트림 AI 모델 출력 사용에 대한 천장 및 바닥 제한을 구현하는 AI 워크플로우 기능에 투자해야 한다. 또한 이런 제한은 구성 및 오버라이드가 가능해야 하며 업스트림 AI 모델의 소비자가 출력을 이해하고 분별력 있게 사용할 수 있도록 면밀히 모니터링해야 한다.

- AI 테스트 척도
기업은 개별 변형 또는 AI 모델뿐만 아니라 전체 AI 기반 비즈니스 워크플로우의 품질을 꼼꼼하게 판단하고 테스트할 수 있는 AI 테스트 척도에 투자해야 한다. 저수준 테스트 척도 외에 전체 AI 기반 비즈니스 워크플로우가 목표 및 고객 요구 사항에 부합하는지 여부에 대한 측정도 포함해야 한다.

AI 기반 워크플로우의 예측적 속성을 감안하면 실패 또는 최선이 아닌 결과에 대한 판단은 전체 워크플로우가 완료될 때까지 명확히 내리기 어려울 수 있다. 테스트 척도, 그리고 데이터를 수집해 그 테스트 척도를 생성하는 시스템을 계기화해서 비즈니스 워크플로우의 최종 결과를 수집함으로써 종합적인 테스트 척도와 품질 판단 기능을 제공해야 한다. editor@itworld.co.kr 

X