2017.12.18

'자연어 처리' 현주소 보여주는 기업용 앱 4가지

Terena Bell | CIO
인지하지 못하고 있을 수도 있지만 NLP(Natural Language Processing, 자연어 처리)는 기업을 위한 새로운 기술 이상이며 매일 널리 사용되는 인기 기술이다. 온라인 검색, 맞춤법 검사 등 언어 관련 거의 모든 작업에 자연어 처리 알고리즘이 사용된다.



NLP 알고리즘은 컴퓨터가 사람처럼 언어를 사용하도록 학습시킨다. 수동으로 정보를 검색한 경우 검색 엔진과 마찬가지로 키워드를 훑어본다. 최초의 NLP 형태인 기계 번역은 제 2차 세계대전 암호 해독 기법을 본떠서 만들었다. 러시아어를 영어로 번역할 수 있기를 기대했다. 결과는 끔찍했지만 코드 개발자는 포기하지 않았다. 그리고 새로운 형태의 머신 러닝(Machine Learning)이 탄생했다. 기업은 번역 없이 세계 시장에 나갈 수 없으므로, NLP는 시작부터 기업을 위한 기술이었다. 현재 NLP는 직장내 의사소통에 필수요소로 자리잡았다.

현재 사용하고 있거나 혹은 반드시 사용하게 될 4가지 NLP 비즈니스 애플리케이션을 살펴보자. NLP 도입을 고려하고 있다면 특히 참고할만하다.

NMT(Neural Machine Translation)
기계 번역이 과거에는 우스웠지만 지금은 꽤 괜찮다. NLP 소프트웨어는 사람과 같은 방식으로 언어를 학습하므로 초기 MT는 걸음마를 배우는 아이와 같다. 시간이 지나면서 엔진에 더 많은 단어가 추가되고 이내 10대 아이들처럼 성장하며 말을 쏟아낸다. 기계 번역 품질은 학습하는 단어의 수에 좌우되며 일정한 시간이 필요하다. 과거에 MT의 확장이 어려웠던 것도 이 때문이었다.

다행히도 엔진의 “성장”을 기다리고 싶지 않은 기업을 위해 NMT가 있다. 2016년, 마이크로소프트의 빙 번역기(Bing Translator)가 처음으로 이 기술을 선보였다. 구글 번역기(Google Translate)와 아마존 번역기(Amazon Translate)도 있다.

예전에는 NMT 및 기계 번역 엔진이 스페인어에서 영어 등 한 방향으로만 작동했다. 영어에서 스페인어로 번역하려면 다른 데이터 세트로 새로 시작해야 했다. 제3의 언어를 추가하기는 더 어려웠다. 하지만 NMT를 통해 엔지니어는 데이터를 교차 적용할 수 있다. 이를 통해 개발 속도가 급격하게 빨라지면서 기계 번역 엔진이 수 년이 아닌 수 개월 만에 엄청난 속도로 성장할 수 있게 됐다. 그 결과, 기업은 안전하게 MT를 사용해 제품 리뷰, 지루한 규제 문서, 이메일 등 다양한 콘텐츠를 번역할 수 있게 됐다.

단, 주의해야 할 점도 있다. 무료 기계 번역 툴은 데이터 보안에 치명적일 수 있다. Translate.com 사이트 해킹으로 직원 암호와 계약서, 기타 PII(Personally Identifiable Information)가 구글 검색 결과에 노출됐다는 주장이 있다. 아시아 온라인(Asia Online), 시스트란(Systran) 등이 개발한 전문적인 사용자 정의 툴을 사용하면 기계 번역 자체는 완벽하게 안전하다. 무료 온라인 툴에 내용을 입력할 때는 항상 주의해야 한다.

챗봇(Chatbot)
기계 번역이 오래된 NLP의 예라면 챗봇은 최신 사례다. 봇(Bot)은 슬랙(Slack), 스카이프(Skype), 마이크로소프트 팀즈(Microsoft Teams) 등의 프로그램에 통합돼 기능을 간소화한다. 챗봇은 먼저 고객용으로 등장했다. 예를 들어, 페이스북 메신저(Facebook Messenger)에 “피자”를 입력하면 도미노(Domino's) 봇이 주문을 받을지 물었다. 이런 터치 포인트(Touch Point)는 B2C에 도움이 되지만 B2B 세계에서는 다를 수 있다. 슬랙을 사용할 때 방해가 될 알리미 기능을 돈을 내고 쓸 사람은 없을 것이다.

그래서 지난 1년 동안 많은 스타트업이 다른 영역에 기술을 적용했다. 대부분의 기업 봇은 HR을 최적화한다. 우선, “나에게 남은 휴가 기간이 얼마나 되지?”와 “어디에 내 보험이 적용되지?” 같은 직원의 일반적인 질문에 답하는 NLP 툴인 텔라(Tella)가 있다. 챗봇 폴리(Chatbot Polly)는 직원을 대상으로 직장 만족도부터 휴게실에서 먹고 싶은 간식까지 모든 것에 대한 설문조사를 진행한다.

직원이 서로를 얼마나 자주 칭찬하는지 보기 위해 채팅을 모니터링하는 슬랙 및 팀즈 봇인 그로우봇(Growbot)도 있다. “kudos(영광)”, “cheers(화이팅)”, “props(지지)” 등의 단어를 사용하면 해당 직원에 보상을 한다. 공동 설립자 겸 CEO 제레미 밴더헤이는 이는 직원의 근속을 늘리고 사기를 유지하는데 도움이 된다고 말했다.


고용 툴
HR 주제와 관련해 NLP 소프트웨어는 오래전부터 인사 담당자가 이력서를 분류하는 데 활용됐다. 구글 검색과 같은 기법을 사용하는 자동화된 후보 소싱 툴은 지원자 CV(Curriculum Vitae)를 스캔해 직무에 필요한 배경을 가진 사람을 찾아낼 수 있다. 하지만 초기 기계 번역과 마찬가지로 이런 플랫폼이 사용한 분류 알고리즘은 실수가 잦았다. 한 지원자가 스스로를 “외부 판매인”이 아닌 “비즈니스 성장 브레인스토밍 전문가”로 지칭하는 경우를 생각해 보자. 그의 이력서가 결과에 표시되지 않아 회사에서는 창의적이고 고객 중심적인 후보자를 놓치게 될 것이다.

오늘날의 시스템은 정확한 키워드 일치 수준을 넘어섰다. 예를 들어, 스카우트(Scout)는 HR에서 본래 제공한 키워드를 검색한 후 결과를 활용해 검색할 새로운 단어를 식별함으로써 동의어 문제를 해결한다. “비즈니스 성장” 등 새로운 용어를 탐색해 자격을 갖춘 후보자의 누락을 방지한다. 또한, 여성과 소수자는 언어를 사용하는 방식이 다르므로 이 프로세스를 통해 그들의 누락도 방지한다.

물론, 다양한 후보자가 지원하지 않는다면 그들을 고려하는 것도 불가능하다. 이 문제를 해결하려는 기업이 텍스티오(Textio)다. 공동 설립자 겸 CEO 키에란 스나이더는 강화된 쓰기 툴이 NLP 기법인 의미론적 범주화를 활용해 채용 담당자가 중성적인 직무 설명을 작성하도록 지원한다.

텍스티오는 게시물에 대해 0~100점의 점수를 매겨 어휘, 구문론, “항목 추가하기” 등의 서식 팁을 제공한다. 이런 조언을 활용한 기업 사례를 보면 지원자 수가 급격히 증가했다. 스나이더에 따르면, J&J(Johnson & Johnson)의 여성 지원자가 9% 증가했고 에이베리 데니슨(Avery Dennison)은 60%나 증가했다. 익스페디아(Expedia)는 중성적인 직무의 채용 기간이 3주나 단축됐다.

대화 검색
탈라와 마찬가지로 세컨드 마인드(Second Mind)는 직원의 모든 질문에 답을 제공한다. 하지만 이 툴은 봇이 아니라 음성 활성화 플랫폼이다. 기업 회의 중 “무엇”과 “궁금하다” 등의 표현을 찾아 검색 기능을 통해 나머지 문장에 대한 답을 찾는다.

예를 들어, 이사회에서 누군가 “지난 해의 ROI가 무엇이었지?”라고 말했다면 세컨드 마인드는 조용히 기업 재무 자료 또는 질문의 대상을 스캔한 후 방 안의 화면에 결과를 표시한다. 설립자인 컬 싱은 "일반적인 직원이 하루 중 30%를 정보 검색에 사용한다. 연간 1인당 1만 4,209달러에 달한다. 세컨드 마인드는 검색을 실시간 대화로 간소화해 생산성을 개선한다"라고 말했다.

탈라의 공동 설립자 겸 CEO 롭 메이는 “울프람(Wolfram), 시맨틱 머신즈(Symantic Machines), 뉘앙스(Nuance), 마이크로소프트 등이 모두 이와 비슷한 프로젝트를 진행하고 있다”라고 말했다. ciokr@idg.co.kr
2017.12.18

'자연어 처리' 현주소 보여주는 기업용 앱 4가지

Terena Bell | CIO
인지하지 못하고 있을 수도 있지만 NLP(Natural Language Processing, 자연어 처리)는 기업을 위한 새로운 기술 이상이며 매일 널리 사용되는 인기 기술이다. 온라인 검색, 맞춤법 검사 등 언어 관련 거의 모든 작업에 자연어 처리 알고리즘이 사용된다.



NLP 알고리즘은 컴퓨터가 사람처럼 언어를 사용하도록 학습시킨다. 수동으로 정보를 검색한 경우 검색 엔진과 마찬가지로 키워드를 훑어본다. 최초의 NLP 형태인 기계 번역은 제 2차 세계대전 암호 해독 기법을 본떠서 만들었다. 러시아어를 영어로 번역할 수 있기를 기대했다. 결과는 끔찍했지만 코드 개발자는 포기하지 않았다. 그리고 새로운 형태의 머신 러닝(Machine Learning)이 탄생했다. 기업은 번역 없이 세계 시장에 나갈 수 없으므로, NLP는 시작부터 기업을 위한 기술이었다. 현재 NLP는 직장내 의사소통에 필수요소로 자리잡았다.

현재 사용하고 있거나 혹은 반드시 사용하게 될 4가지 NLP 비즈니스 애플리케이션을 살펴보자. NLP 도입을 고려하고 있다면 특히 참고할만하다.

NMT(Neural Machine Translation)
기계 번역이 과거에는 우스웠지만 지금은 꽤 괜찮다. NLP 소프트웨어는 사람과 같은 방식으로 언어를 학습하므로 초기 MT는 걸음마를 배우는 아이와 같다. 시간이 지나면서 엔진에 더 많은 단어가 추가되고 이내 10대 아이들처럼 성장하며 말을 쏟아낸다. 기계 번역 품질은 학습하는 단어의 수에 좌우되며 일정한 시간이 필요하다. 과거에 MT의 확장이 어려웠던 것도 이 때문이었다.

다행히도 엔진의 “성장”을 기다리고 싶지 않은 기업을 위해 NMT가 있다. 2016년, 마이크로소프트의 빙 번역기(Bing Translator)가 처음으로 이 기술을 선보였다. 구글 번역기(Google Translate)와 아마존 번역기(Amazon Translate)도 있다.

예전에는 NMT 및 기계 번역 엔진이 스페인어에서 영어 등 한 방향으로만 작동했다. 영어에서 스페인어로 번역하려면 다른 데이터 세트로 새로 시작해야 했다. 제3의 언어를 추가하기는 더 어려웠다. 하지만 NMT를 통해 엔지니어는 데이터를 교차 적용할 수 있다. 이를 통해 개발 속도가 급격하게 빨라지면서 기계 번역 엔진이 수 년이 아닌 수 개월 만에 엄청난 속도로 성장할 수 있게 됐다. 그 결과, 기업은 안전하게 MT를 사용해 제품 리뷰, 지루한 규제 문서, 이메일 등 다양한 콘텐츠를 번역할 수 있게 됐다.

단, 주의해야 할 점도 있다. 무료 기계 번역 툴은 데이터 보안에 치명적일 수 있다. Translate.com 사이트 해킹으로 직원 암호와 계약서, 기타 PII(Personally Identifiable Information)가 구글 검색 결과에 노출됐다는 주장이 있다. 아시아 온라인(Asia Online), 시스트란(Systran) 등이 개발한 전문적인 사용자 정의 툴을 사용하면 기계 번역 자체는 완벽하게 안전하다. 무료 온라인 툴에 내용을 입력할 때는 항상 주의해야 한다.

챗봇(Chatbot)
기계 번역이 오래된 NLP의 예라면 챗봇은 최신 사례다. 봇(Bot)은 슬랙(Slack), 스카이프(Skype), 마이크로소프트 팀즈(Microsoft Teams) 등의 프로그램에 통합돼 기능을 간소화한다. 챗봇은 먼저 고객용으로 등장했다. 예를 들어, 페이스북 메신저(Facebook Messenger)에 “피자”를 입력하면 도미노(Domino's) 봇이 주문을 받을지 물었다. 이런 터치 포인트(Touch Point)는 B2C에 도움이 되지만 B2B 세계에서는 다를 수 있다. 슬랙을 사용할 때 방해가 될 알리미 기능을 돈을 내고 쓸 사람은 없을 것이다.

그래서 지난 1년 동안 많은 스타트업이 다른 영역에 기술을 적용했다. 대부분의 기업 봇은 HR을 최적화한다. 우선, “나에게 남은 휴가 기간이 얼마나 되지?”와 “어디에 내 보험이 적용되지?” 같은 직원의 일반적인 질문에 답하는 NLP 툴인 텔라(Tella)가 있다. 챗봇 폴리(Chatbot Polly)는 직원을 대상으로 직장 만족도부터 휴게실에서 먹고 싶은 간식까지 모든 것에 대한 설문조사를 진행한다.

직원이 서로를 얼마나 자주 칭찬하는지 보기 위해 채팅을 모니터링하는 슬랙 및 팀즈 봇인 그로우봇(Growbot)도 있다. “kudos(영광)”, “cheers(화이팅)”, “props(지지)” 등의 단어를 사용하면 해당 직원에 보상을 한다. 공동 설립자 겸 CEO 제레미 밴더헤이는 이는 직원의 근속을 늘리고 사기를 유지하는데 도움이 된다고 말했다.


고용 툴
HR 주제와 관련해 NLP 소프트웨어는 오래전부터 인사 담당자가 이력서를 분류하는 데 활용됐다. 구글 검색과 같은 기법을 사용하는 자동화된 후보 소싱 툴은 지원자 CV(Curriculum Vitae)를 스캔해 직무에 필요한 배경을 가진 사람을 찾아낼 수 있다. 하지만 초기 기계 번역과 마찬가지로 이런 플랫폼이 사용한 분류 알고리즘은 실수가 잦았다. 한 지원자가 스스로를 “외부 판매인”이 아닌 “비즈니스 성장 브레인스토밍 전문가”로 지칭하는 경우를 생각해 보자. 그의 이력서가 결과에 표시되지 않아 회사에서는 창의적이고 고객 중심적인 후보자를 놓치게 될 것이다.

오늘날의 시스템은 정확한 키워드 일치 수준을 넘어섰다. 예를 들어, 스카우트(Scout)는 HR에서 본래 제공한 키워드를 검색한 후 결과를 활용해 검색할 새로운 단어를 식별함으로써 동의어 문제를 해결한다. “비즈니스 성장” 등 새로운 용어를 탐색해 자격을 갖춘 후보자의 누락을 방지한다. 또한, 여성과 소수자는 언어를 사용하는 방식이 다르므로 이 프로세스를 통해 그들의 누락도 방지한다.

물론, 다양한 후보자가 지원하지 않는다면 그들을 고려하는 것도 불가능하다. 이 문제를 해결하려는 기업이 텍스티오(Textio)다. 공동 설립자 겸 CEO 키에란 스나이더는 강화된 쓰기 툴이 NLP 기법인 의미론적 범주화를 활용해 채용 담당자가 중성적인 직무 설명을 작성하도록 지원한다.

텍스티오는 게시물에 대해 0~100점의 점수를 매겨 어휘, 구문론, “항목 추가하기” 등의 서식 팁을 제공한다. 이런 조언을 활용한 기업 사례를 보면 지원자 수가 급격히 증가했다. 스나이더에 따르면, J&J(Johnson & Johnson)의 여성 지원자가 9% 증가했고 에이베리 데니슨(Avery Dennison)은 60%나 증가했다. 익스페디아(Expedia)는 중성적인 직무의 채용 기간이 3주나 단축됐다.

대화 검색
탈라와 마찬가지로 세컨드 마인드(Second Mind)는 직원의 모든 질문에 답을 제공한다. 하지만 이 툴은 봇이 아니라 음성 활성화 플랫폼이다. 기업 회의 중 “무엇”과 “궁금하다” 등의 표현을 찾아 검색 기능을 통해 나머지 문장에 대한 답을 찾는다.

예를 들어, 이사회에서 누군가 “지난 해의 ROI가 무엇이었지?”라고 말했다면 세컨드 마인드는 조용히 기업 재무 자료 또는 질문의 대상을 스캔한 후 방 안의 화면에 결과를 표시한다. 설립자인 컬 싱은 "일반적인 직원이 하루 중 30%를 정보 검색에 사용한다. 연간 1인당 1만 4,209달러에 달한다. 세컨드 마인드는 검색을 실시간 대화로 간소화해 생산성을 개선한다"라고 말했다.

탈라의 공동 설립자 겸 CEO 롭 메이는 “울프람(Wolfram), 시맨틱 머신즈(Symantic Machines), 뉘앙스(Nuance), 마이크로소프트 등이 모두 이와 비슷한 프로젝트를 진행하고 있다”라고 말했다. ciokr@idg.co.kr
X