2021.09.13

국민·고객·직원의 '마음'을 엿본다··· ‘정서 분석’ 가이드

Maria Korolov | CIO

정서 분석(Sentiment analysis)이라 통계, NLP, ML을 사용하여 의사소통에 담겨진 정서적 의미를 판단하는 기법이다. 기업들은 정서 분석을 활용하여 고객 메시지, 콜센터 상호작용, 온라인 리뷰, 소셜 미디어 게시물 등의 콘텐츠를 평가한다. 정서 분석은 회사, 제품, 서비스 또는 이런 제품이나 서비스의 기능에 대한 태도를 추적할 수 있다.



예시 
오늘날 웹 상에서 특히 지배적인 정서 분석의 예는 버몬트대학교(University of Vermont)의 CSL(Computational Story Lab)의 프로젝트인 헤도노미터(Hedonometer)이다. CSL 그룹은 일일 행복도 점수를 계산하기 위해 트위터의 총 트래픽 중 약 1/10을 차지하는 5,000만 개 이상의 영어 트윗을 매일 분석한다.

접근방식은 간단하다. 해당 연구소는 보편적으로 사용되는 단어를 1만 개를 수집하고 아마존(Amazon)의 MT(Mechanical Turk) 서비스를 통해 사람들이 각 단어에 1~9점의 행복도 점수를 매기도록 했다. 중립적인 단어와 맥락에 크게 의존하는 단어는 제외되고 나머지의 점수를 합산하고 평균을 구하여 일일 행복도 점수를 판단했다. 점수가 기입된 단어 목록은 해당 프로젝트의 웹 사이트에서 영어와 기타 9개 언어로 제공되고 있다.

이 ‘단어 주머니’ 접근방식은 오래된 정서 분석 방식이라고 IDC의 일반 AI 및 정보 지식 발견 수석 조사 분석가 헤일리 서덜랜드가 말했다. 그녀는 “그러나 아주 큰 텍스트 세트에는 꽤 유효할 수 있다”라고 말했다.

헤도노미터 정서 분석의 보편적인 유형인 단순한 긍정-부정 척도를 사용하는 것이다. 헤노도미터는 1~9점 척도를 사용하지만 다른 접근방식들은 긍정, 부정, 중립 등 3개 값을 사용하거나 백분율 점수를 준다. 좀더 자세한 접근방식은 다른 감정도 감지할 수 있다고 서덜랜드가 말했다. 그녀는 “도구별로 다르다. 슬픔, 분노, 흥분이 가장 보편적인 것들이다”라고 말했다.

회사들은 여러 더욱 미묘한 버전의 정서 분석을 활용하여 사람들이 불만족스러워 하거나 불편함을 느끼고 있는지 감지한다.

또 다른 유형의 정서 분석은 의도 감지이다. 그녀는 “그들이 어떤 행동을 취할지 파악하고 있는 것이다. 예를 들어, 영업 부문에서는 구매에 대한 관심 유무를 파악하고자 한다”라고 말했다.

정서 분석은 단순히 텍스트를 분석하는 것이 아닐 수 있다. 서덜랜드는 “일각에서는 얼굴 분석을 사용하고 음성 신호를 사용하기도 한다. 흥미롭게도, 감정 AI에 집중하고 있는 기업들이 보이고 있다. 사람들이 실제로 하는 말 외에 어조를 파악함으로써 비꼼 등을 더 쉽게 파악할 수 있다”라고 말했다.

정서 분석의 예는 다양하다. 오바마 행정부는 정서 분석을 활용하여 대중의 의견을 측정했다. WHO의 백신 컨피던스 프로젝트(Vaccine Confidence Project) 또한 연구의 일환으로 정서 분석을 활용하여 소셜 미디어, 뉴스, 블로그, 위키피디아, 기타 온라인 플랫폼을 살펴본다.

올 봄, 구글 클라우드는 IIS(Intelligent Impact Solution)를 공개했다. 여기에는 정서 분석 구성요소가 포함되어 있다. 이를 통해 정부 기관이 의사소통 노력의 초점을 맞추고 코로나19 백신 접종에 관한 변화하는 생각과 행동을 파악할 수 있다.

서덜랜드는 “여러 국가와 지방자치단체가 코로나19 백신 접종 전략을 위한 정보를 확보하는 데 도움이 된다”라고 말했다.

도구
기본적인 수준의 정서 분석에는 통계 또는 지도 또는 준 지도 학습 알고리즘에 기초한 머신러닝이 수반된다. 헤도노미터와 마찬가지로 지도 학습에는 데이터 세트에 점수를 매기는 인간의 작업이 필요하다. 준 지도 학습의 경우 자동화된 학습과 정기 점검이 조합되기 때문이다.

딥러닝은 정서 분석을 수행하는 또 다른 수단이다. IDC의 서덜랜드는 “딥러닝은 인간의 두뇌가 작동하는 방식에서 영향을 얻은 다계층 신경망을 사용한다”라고 설명했다. 이 더욱 정교한 수준의 정서 분석은 문장 전체, 심지어 대화 전체를 살펴보고 감정을 판단할 뿐 아니라 이를 활용하여 음성과 비디오를 분석할 수 있다.

주요 고객 지원 플랫폼 및 마케팅 제공업체들과 마찬가지로 모든 대형 클라우드 기업들이 정서 분석 도구를 제공하고 있다. 일반적인 AI 제공업체들도 저서 분석 기능을 포함하고 있다고 서덜랜드가 말했다.

정서 분석에 관심이 있는 기업들은 우선 이미 사용하고 있는 도구와 기술을 살펴보아야 한다고 포레스터 리서치의 부사장 겸 수석 분석가 보리스 에벨슨이 말했다. “정서 분석이 포함된 설문조사 도구가 있는가? 고객 피드백 관리 플랫폼에도 기본적이거나 꽤 괜찮은 정서 분석이 있다”라고 그는 설명했다.

또한 IBM 왓슨 디스커버리(Watson Discovery)와 마이크로 포커스 IDOL(Micro Focus IDOL) 등 정서 분석이 있는 범용 분석 도구도 있다.

에벨슨은 “우리는 고객들이 일반적으로 문서 수집 및 마이닝 또는 고객 경험 프로세스의 일환으로 정서 분석을 필요로 하기 때문에 다음으로 거기를 살펴보도록 조언한다”라고 말했다.

정서 분석, NLP, ML
자체 정서 분석 플랫폼을 구축하는 기업은 소수에 불과하다. 이를 위해서는 내부 전문가와 대규모 훈련 데이터 세트가 필요하기 때문이다. 하지만 기존의 플랫폼으로 충족되지 않은 구체적인 요구사항이 있는 기업들이라면 자체 도구가 필요할 수 있다. 이런 경우에 기업들은 일반적으로 오픈소스 라이브러리로 시작하여 자체적인 도구를 만든다.




2021.09.13

국민·고객·직원의 '마음'을 엿본다··· ‘정서 분석’ 가이드

Maria Korolov | CIO

정서 분석(Sentiment analysis)이라 통계, NLP, ML을 사용하여 의사소통에 담겨진 정서적 의미를 판단하는 기법이다. 기업들은 정서 분석을 활용하여 고객 메시지, 콜센터 상호작용, 온라인 리뷰, 소셜 미디어 게시물 등의 콘텐츠를 평가한다. 정서 분석은 회사, 제품, 서비스 또는 이런 제품이나 서비스의 기능에 대한 태도를 추적할 수 있다.



예시 
오늘날 웹 상에서 특히 지배적인 정서 분석의 예는 버몬트대학교(University of Vermont)의 CSL(Computational Story Lab)의 프로젝트인 헤도노미터(Hedonometer)이다. CSL 그룹은 일일 행복도 점수를 계산하기 위해 트위터의 총 트래픽 중 약 1/10을 차지하는 5,000만 개 이상의 영어 트윗을 매일 분석한다.

접근방식은 간단하다. 해당 연구소는 보편적으로 사용되는 단어를 1만 개를 수집하고 아마존(Amazon)의 MT(Mechanical Turk) 서비스를 통해 사람들이 각 단어에 1~9점의 행복도 점수를 매기도록 했다. 중립적인 단어와 맥락에 크게 의존하는 단어는 제외되고 나머지의 점수를 합산하고 평균을 구하여 일일 행복도 점수를 판단했다. 점수가 기입된 단어 목록은 해당 프로젝트의 웹 사이트에서 영어와 기타 9개 언어로 제공되고 있다.

이 ‘단어 주머니’ 접근방식은 오래된 정서 분석 방식이라고 IDC의 일반 AI 및 정보 지식 발견 수석 조사 분석가 헤일리 서덜랜드가 말했다. 그녀는 “그러나 아주 큰 텍스트 세트에는 꽤 유효할 수 있다”라고 말했다.

헤도노미터 정서 분석의 보편적인 유형인 단순한 긍정-부정 척도를 사용하는 것이다. 헤노도미터는 1~9점 척도를 사용하지만 다른 접근방식들은 긍정, 부정, 중립 등 3개 값을 사용하거나 백분율 점수를 준다. 좀더 자세한 접근방식은 다른 감정도 감지할 수 있다고 서덜랜드가 말했다. 그녀는 “도구별로 다르다. 슬픔, 분노, 흥분이 가장 보편적인 것들이다”라고 말했다.

회사들은 여러 더욱 미묘한 버전의 정서 분석을 활용하여 사람들이 불만족스러워 하거나 불편함을 느끼고 있는지 감지한다.

또 다른 유형의 정서 분석은 의도 감지이다. 그녀는 “그들이 어떤 행동을 취할지 파악하고 있는 것이다. 예를 들어, 영업 부문에서는 구매에 대한 관심 유무를 파악하고자 한다”라고 말했다.

정서 분석은 단순히 텍스트를 분석하는 것이 아닐 수 있다. 서덜랜드는 “일각에서는 얼굴 분석을 사용하고 음성 신호를 사용하기도 한다. 흥미롭게도, 감정 AI에 집중하고 있는 기업들이 보이고 있다. 사람들이 실제로 하는 말 외에 어조를 파악함으로써 비꼼 등을 더 쉽게 파악할 수 있다”라고 말했다.

정서 분석의 예는 다양하다. 오바마 행정부는 정서 분석을 활용하여 대중의 의견을 측정했다. WHO의 백신 컨피던스 프로젝트(Vaccine Confidence Project) 또한 연구의 일환으로 정서 분석을 활용하여 소셜 미디어, 뉴스, 블로그, 위키피디아, 기타 온라인 플랫폼을 살펴본다.

올 봄, 구글 클라우드는 IIS(Intelligent Impact Solution)를 공개했다. 여기에는 정서 분석 구성요소가 포함되어 있다. 이를 통해 정부 기관이 의사소통 노력의 초점을 맞추고 코로나19 백신 접종에 관한 변화하는 생각과 행동을 파악할 수 있다.

서덜랜드는 “여러 국가와 지방자치단체가 코로나19 백신 접종 전략을 위한 정보를 확보하는 데 도움이 된다”라고 말했다.

도구
기본적인 수준의 정서 분석에는 통계 또는 지도 또는 준 지도 학습 알고리즘에 기초한 머신러닝이 수반된다. 헤도노미터와 마찬가지로 지도 학습에는 데이터 세트에 점수를 매기는 인간의 작업이 필요하다. 준 지도 학습의 경우 자동화된 학습과 정기 점검이 조합되기 때문이다.

딥러닝은 정서 분석을 수행하는 또 다른 수단이다. IDC의 서덜랜드는 “딥러닝은 인간의 두뇌가 작동하는 방식에서 영향을 얻은 다계층 신경망을 사용한다”라고 설명했다. 이 더욱 정교한 수준의 정서 분석은 문장 전체, 심지어 대화 전체를 살펴보고 감정을 판단할 뿐 아니라 이를 활용하여 음성과 비디오를 분석할 수 있다.

주요 고객 지원 플랫폼 및 마케팅 제공업체들과 마찬가지로 모든 대형 클라우드 기업들이 정서 분석 도구를 제공하고 있다. 일반적인 AI 제공업체들도 저서 분석 기능을 포함하고 있다고 서덜랜드가 말했다.

정서 분석에 관심이 있는 기업들은 우선 이미 사용하고 있는 도구와 기술을 살펴보아야 한다고 포레스터 리서치의 부사장 겸 수석 분석가 보리스 에벨슨이 말했다. “정서 분석이 포함된 설문조사 도구가 있는가? 고객 피드백 관리 플랫폼에도 기본적이거나 꽤 괜찮은 정서 분석이 있다”라고 그는 설명했다.

또한 IBM 왓슨 디스커버리(Watson Discovery)와 마이크로 포커스 IDOL(Micro Focus IDOL) 등 정서 분석이 있는 범용 분석 도구도 있다.

에벨슨은 “우리는 고객들이 일반적으로 문서 수집 및 마이닝 또는 고객 경험 프로세스의 일환으로 정서 분석을 필요로 하기 때문에 다음으로 거기를 살펴보도록 조언한다”라고 말했다.

정서 분석, NLP, ML
자체 정서 분석 플랫폼을 구축하는 기업은 소수에 불과하다. 이를 위해서는 내부 전문가와 대규모 훈련 데이터 세트가 필요하기 때문이다. 하지만 기존의 플랫폼으로 충족되지 않은 구체적인 요구사항이 있는 기업들이라면 자체 도구가 필요할 수 있다. 이런 경우에 기업들은 일반적으로 오픈소스 라이브러리로 시작하여 자체적인 도구를 만든다.


X