2016.10.11

'제퍼디 쇼는 시작에 불과' 왓슨은 어떻게 발전하고 있나

Katherine Noyes | IDG News Service
IBM의 왓슨에게 제퍼디 쇼는 시작에 불과했다.

오늘날 기업 세계에서 명성을 떨치고 있는 한 데이터 전문가가 있다. 그 사람은 세간의 주목을 받고 있다. 그 사람은 학습이 매우 빠르고 8개 언어를 구사하며 여러 분야에서 전문가로 통한다. 그는 모범적인 직업윤리를 갖추었으며 읽는 속도가 빠르고 그 누구도 갖추지 못한 통찰력을 갖췄다. 게다가 그는 요리도 잘하고 훌륭한 데이터 조언도 제공한다.

이 새로운 인물의 이름은? 바로 왓슨(Watson)이다.


왓슨은 IBM의 '인지' AI 기술이다. Credit: IBM

토마스 왓슨의 이름을 딴 ‘왓슨’
IBM의 초기 CEO의 이름을 딴 왓슨은 2007년에 IBM 리서치(IBM Research)가 미국의 퀴즈쇼인 ‘제퍼디(Jeopardy)’에서 경쟁할 수 있는 질문 답변 시스템을 개발하려는 노력의 일환으로 탄생했다. 2011년 해당 쇼에서 인간 경쟁자들을 물리친 후 크게 성장했다. 시스템으로 시작되었던 것이 단일 코어 역량에 집중하게 되었고 인간이 자연어로 제시하는 질문에 답하면서 이제는 언어, 말하기, 비전, 데이터 분석 등 다양한 기능이 포함된다.

왓슨은 약 50개의 기술을 이용하며 머신러닝, 딥 러닝(Deep Learning), 신경망, 자연어 처리, 컴퓨터 비전, 음성 인식, 감정 분석 등의 인공 지능 기법을 활용한다. 하지만 IBM은 왓슨을 단순한 AI 이상으로 생각하며 ‘인지’라는 용어를 선호한다. IBM에 따르면, 기존의 컴퓨터는 반드시 프로그래밍이 필요하지만 왓슨은 인간과 마찬가지로 감각, 학습, 경험을 통해 세상을 이해한다.

IBM 왓슨 플랫폼 이사인 스티브 에이브럼스는 "우리가 '인지'라고 말할 때는 학습, 이해, 합리화, 상호작용이 가능하다는 뜻"이라며 "왓슨은 사람, 데이터, 기타 시스템과 이런 것들을 할 수 있다"고 말했다.

초당 8억 페이지 이상을 읽을 수 있는 능력을 통해 비정형 데이터 등 광범위한 데이터를 분석하고 자연어를 이해하여 처리하고 증거를 기반으로 가설을 세우며 이로부터 학습한다.

왓슨을 IBM의 연구 시설 핵심부에 베일에 싸인 일종의 거대한 ‘두뇌’로 상상할 수도 있지만 현실은 매우 다르다.

ET(Endpoint Technologies)의 수석 분석가 로저 카이는 "왓슨을 인지형 컴퓨터라고 부르는 것은 과도하게 단순화한 것이다"며 "영역별 자원을 모아 해당 정보를 자연어 인터페이스를 통해 인간에 제공한다"고 밝혔다.

‘인지’ 부분은 왓슨이 "AI 및 머신러닝 알고리즘을 도입하여 사용자의 질문에 대한 잠재적인 답변을 위한 지식 기반을 빠르게 탐색"할 수 있다는 뜻이라고 카이는 부연했다. 카이에 따르면, IBM은 이런 종류의 분석을 위한 거대한 엔진을 만들고 이를 프로그래밍하기 위해 꽤 단순한 수단들과 최종 사용자를 위한 간단한 인간 인터페이스를 조합했다.

카이는 “IBM이 웹을 통해 접근할 수 있는 강력한 기능”이라며 “현재의 왓슨은 하나의 클라우드 유틸리티로 볼 수 있다”고 이야기했다.

누가 왓슨을 담당하나
2014년 IBM은 이 기술을 강화하고 상업화하기 위해 뉴욕에 본부를 둔 전담 왓슨 그룹(Watson Group)을 출범했다. 다음 해, 보스턴에 의료 사업부를 만들었고, 독일에 IoT 본부를 설립했다. 오늘날, 왓슨은 클라우드와 약 30개의 API(Application Programming Interface)를 통해 협력사 및 개발자들에게 제공되고 있다. IBM에 따르면, 36개국 29개 산업 부문 이상에 걸쳐 수백 곳의 IBM 고객사 및 협력사가 현재 왓슨과 함께 프로젝트를 진행 중이다.

왓슨 개발 커뮤니티는 17개 산업 및 학문 부문의 개발자 550명 이상으로 구성되어 있으며 그중 100명 이상이 이미 상업용 ‘인지’ 앱, 제품, 서비스를 도입했다. 전 세계 100만 명 이상의 개발자들이 IBM의 블루믹스(Bluemix) 플랫폼에서 WDC(Watson Developer Cloud)를 이용해 새로운 비즈니스 아이디어를 시범 운영, 시험, 배치하고 있다. IBM은 이 커뮤니티를 지원하기 위해 벤더 투자로 1억 달러를 할당했다.

왓슨의 활약
옴니어스(OmniEarth)는 환경 분석 기업으로 최근 IBM과 협력하여 왓슨의 시각 인지 서비스를 활용해 항공 및 위성 사진의 물리적 특징을 판독 및 분류하고 있으며 이런 분석을 이용해 캘리포니아의 가뭄을 해결하도록 돕고 있다.

옴니어스의 수석 데이터 과학자 셰이 스트롱은 "기본적으로 우리는 실외 물 사용에 관해 학습하여 특정 구획에 필요할 수 있는 물의 양을 예측할 방법을 찾고 있다"고 설명했다.

스트롱에 따르면, 사람이 항공 사진과 위성 사진을 검토하여 특정 구획에서 수영장과 기타 관련된 지형지물을 식별하려면 과도한 시간과 전문 지식이 필요할 수 있다.

이제 옴니어스는 자체 개발한 것과 왓슨의 일부 등 다양한 머신러닝 알고리즘을 활용하고 있다. (왓슨의 비전 API는 여기에서 확인할 수 있으며 옴니어스의 기술은 여기에서 볼 수 있다). 광범위한 데이터가 관련되어 있지만 머신러닝으로 그 프로세스가 엄청나게 빨라졌다(스트롱에 따르면, 로스앤젤레스만 하더라도 1테라바이트에 가깝다). 옴니어스는 이제 이전보다 40배 빠른 속도로 항공 이미지를 처리할 수 있어 7시간이 아닌 12분 만에 15만 장의 이미지를 처리할 수 있다.

스트롱은 "엄청난 효율성을 제공한다"고 밝혔다.

또한 계획과 예산 편성이 개선되었다. 예전에는 CF(City of Folsom)와 EBMWD(East Bay Municipal Water District) 등이 다가올 수요를 측정하기 위해 주 전체의 평균을 활용하는 경우가 많았지만 옴니어스의 AI 기반 분석을 통해 훨씬 정확한 예측이 가능하게 되었다. 또한 왓슨 덕분에 IEUA(Inland Empire Utility Agency)와 SAWPA(Santa Ana Watershed Project Authority) 등의 지역 유틸리티 및 보존 그룹이 지원 프로그램을 미세 조정하여 가구들에 물 사용량 조정에 관해 더 나은 교육을 제공할 수 있다.

메이시즈(Macy's)는 또 다른 왓슨 사용자다. 지난여름, 이 백화점은 고객들이 쇼핑 중 매장을 탐색할 수 있도록 개발된 왓슨 기반 웹 서비스를 출시했다. IBM의 협력사 새티스파이(Satisfi)의 위치 기반 개입 소프트웨어를 통해 제공된 메이시즈 온콜(On-Call)을 통해 고객들은 각 참여 매장의 특수 제품 분류, 서비스, 시설에 관한 질문을 자연어로 입력한 후 맞춤형 답변을 받을 수 있다. 메이시즈는 현재 미국 전역 10개 매장에서 이 새로운 툴을 시범 운영하고 있다.

이 백화점의 디지털 매체 부사장인 세레나 포터는 "다른 잠재적인 용도도 많다"며 "우리의 궁극적인 목표는 향후 추가적인 인지 서비스를 이행하는 것이다"고 말했다

현재까지 왓슨의 또 다른 용도로는 무인 운전 차량 ‘올리(Olli)’와 여러 의료 프로젝트 및 IBM이 최근 인수한 TWC(The Weather Company)에서 파생된 기업용 지역 일기예보 툴인 딥 썬더(Deep Thunder)가 있다.

이 모든 과정에서 IBM의 목표 중 하나는 협력사 및 개발자들이 AI의 기저를 이루를 복잡한 수학을 가능한 신경 쓰지 않도록 하는 것이다. 에이브럼스는 "개발자들이 매우 쉽게 소비할 수 있기를 바라며 그들 대부분은 머신러닝 전문가가 아니다"고 주장했다.

예를 들어, 왓슨의 자연어 분류자는 인간의 문자 의도를 이해하도록 개발되었으며 특정 목적으로 훈련할 수 있다. 호텔 프론트 데스크에서 질문에 답변을 제공하는 것이 그 예가 될 수 있으며, 올해 초 힐튼 호텔에서는 왓슨 기반의 ‘코니(Connie)’ 로봇을 시험 운영하기 시작했다. 에이브럼스는 "'나를 몇 시에 여기에 쫓아낼 계획인가?'라는 질문을 왓슨은 '체크아웃 시간은 몇 시인가?'로 이해할 수 있다"고 설명했다.

하지만 IBM은 일반 용도의 방식으로 이 기능을 제공하기보다는 개발자들에게 왓슨이 이해하길 원하는 인간의 발화를 나열한 스프레드시트를 업로드하라고 요청했다. 그러고 나서 IBM은 뒤에서 이에 따라 모델을 훈련한다.

에이브럼스는 "우리는 세계적인 수준의 머신러닝 기법을 이용해 분류자를 구축했지만 개발자들이 이에 관해 걱정하는 것은 원치 않는다"며 "왓슨은 개발자들이 인지 시스템을 구축할 수 있도록 하는 서비스의 집합체라고 생각한다"고 이야기했다.

이어서 앞으로 IBM은 왓슨의 기저를 이루는 과학을 발전시킬 뿐 아니라 관련 서비스를 간소화하고 확장할 것이라고 덧붙였다.

IBM은 왓슨과 인지 컴퓨팅에 큰 기대를 걸고 있으며 이 기술을 컴퓨팅의 차기 개척 분야뿐 아니라 자사 사업의 핵심 부분으로 고려하고 있다.

IBM의 회장 겸 사장 겸 CEO 지니 로메티는 최근 인터뷰에서 "모든 것이 디지털화되고 모든 산업이 저마다의 우버(Uber)나 테슬라(Tesla)를 갖게 되면 무엇으로 차별화할 수 있을까?"라며 질문을 던지고 나서 "회사를 차별화할 수 있는 가장 좋은 것이 인지이다"고 강조했다.

여기에 집중하면 놀라운 결과를 얻을 수 있다. AMR(Allied Market Research)에 따르면 인지 컴퓨팅 시장은 2020년까지 137억 달러의 매출을 발생시킬 것으로 예상된다.

이 시장에는 IBM만 있는 게 아니다.

엔드포인트의 카이는 "왓슨이 사용하는 기법은 다른 기업들이 모든 곳에서 복제하고 있다"고 말했다. 하지만 모든 일반적인 AI/머신러닝 툴 중 왓슨이 가장 발전되고 오래되었다.

에이브럼스는 "우리의 목표는 인지를 컴퓨팅의 최고 패러다임으로 만들고 왓슨을 이를 위한 최고의 플랫폼으로 만드는 것이다"고 강조했다. ciokr@idg.co.kr
 



2016.10.11

'제퍼디 쇼는 시작에 불과' 왓슨은 어떻게 발전하고 있나

Katherine Noyes | IDG News Service
IBM의 왓슨에게 제퍼디 쇼는 시작에 불과했다.

오늘날 기업 세계에서 명성을 떨치고 있는 한 데이터 전문가가 있다. 그 사람은 세간의 주목을 받고 있다. 그 사람은 학습이 매우 빠르고 8개 언어를 구사하며 여러 분야에서 전문가로 통한다. 그는 모범적인 직업윤리를 갖추었으며 읽는 속도가 빠르고 그 누구도 갖추지 못한 통찰력을 갖췄다. 게다가 그는 요리도 잘하고 훌륭한 데이터 조언도 제공한다.

이 새로운 인물의 이름은? 바로 왓슨(Watson)이다.


왓슨은 IBM의 '인지' AI 기술이다. Credit: IBM

토마스 왓슨의 이름을 딴 ‘왓슨’
IBM의 초기 CEO의 이름을 딴 왓슨은 2007년에 IBM 리서치(IBM Research)가 미국의 퀴즈쇼인 ‘제퍼디(Jeopardy)’에서 경쟁할 수 있는 질문 답변 시스템을 개발하려는 노력의 일환으로 탄생했다. 2011년 해당 쇼에서 인간 경쟁자들을 물리친 후 크게 성장했다. 시스템으로 시작되었던 것이 단일 코어 역량에 집중하게 되었고 인간이 자연어로 제시하는 질문에 답하면서 이제는 언어, 말하기, 비전, 데이터 분석 등 다양한 기능이 포함된다.

왓슨은 약 50개의 기술을 이용하며 머신러닝, 딥 러닝(Deep Learning), 신경망, 자연어 처리, 컴퓨터 비전, 음성 인식, 감정 분석 등의 인공 지능 기법을 활용한다. 하지만 IBM은 왓슨을 단순한 AI 이상으로 생각하며 ‘인지’라는 용어를 선호한다. IBM에 따르면, 기존의 컴퓨터는 반드시 프로그래밍이 필요하지만 왓슨은 인간과 마찬가지로 감각, 학습, 경험을 통해 세상을 이해한다.

IBM 왓슨 플랫폼 이사인 스티브 에이브럼스는 "우리가 '인지'라고 말할 때는 학습, 이해, 합리화, 상호작용이 가능하다는 뜻"이라며 "왓슨은 사람, 데이터, 기타 시스템과 이런 것들을 할 수 있다"고 말했다.

초당 8억 페이지 이상을 읽을 수 있는 능력을 통해 비정형 데이터 등 광범위한 데이터를 분석하고 자연어를 이해하여 처리하고 증거를 기반으로 가설을 세우며 이로부터 학습한다.

왓슨을 IBM의 연구 시설 핵심부에 베일에 싸인 일종의 거대한 ‘두뇌’로 상상할 수도 있지만 현실은 매우 다르다.

ET(Endpoint Technologies)의 수석 분석가 로저 카이는 "왓슨을 인지형 컴퓨터라고 부르는 것은 과도하게 단순화한 것이다"며 "영역별 자원을 모아 해당 정보를 자연어 인터페이스를 통해 인간에 제공한다"고 밝혔다.

‘인지’ 부분은 왓슨이 "AI 및 머신러닝 알고리즘을 도입하여 사용자의 질문에 대한 잠재적인 답변을 위한 지식 기반을 빠르게 탐색"할 수 있다는 뜻이라고 카이는 부연했다. 카이에 따르면, IBM은 이런 종류의 분석을 위한 거대한 엔진을 만들고 이를 프로그래밍하기 위해 꽤 단순한 수단들과 최종 사용자를 위한 간단한 인간 인터페이스를 조합했다.

카이는 “IBM이 웹을 통해 접근할 수 있는 강력한 기능”이라며 “현재의 왓슨은 하나의 클라우드 유틸리티로 볼 수 있다”고 이야기했다.

누가 왓슨을 담당하나
2014년 IBM은 이 기술을 강화하고 상업화하기 위해 뉴욕에 본부를 둔 전담 왓슨 그룹(Watson Group)을 출범했다. 다음 해, 보스턴에 의료 사업부를 만들었고, 독일에 IoT 본부를 설립했다. 오늘날, 왓슨은 클라우드와 약 30개의 API(Application Programming Interface)를 통해 협력사 및 개발자들에게 제공되고 있다. IBM에 따르면, 36개국 29개 산업 부문 이상에 걸쳐 수백 곳의 IBM 고객사 및 협력사가 현재 왓슨과 함께 프로젝트를 진행 중이다.

왓슨 개발 커뮤니티는 17개 산업 및 학문 부문의 개발자 550명 이상으로 구성되어 있으며 그중 100명 이상이 이미 상업용 ‘인지’ 앱, 제품, 서비스를 도입했다. 전 세계 100만 명 이상의 개발자들이 IBM의 블루믹스(Bluemix) 플랫폼에서 WDC(Watson Developer Cloud)를 이용해 새로운 비즈니스 아이디어를 시범 운영, 시험, 배치하고 있다. IBM은 이 커뮤니티를 지원하기 위해 벤더 투자로 1억 달러를 할당했다.

왓슨의 활약
옴니어스(OmniEarth)는 환경 분석 기업으로 최근 IBM과 협력하여 왓슨의 시각 인지 서비스를 활용해 항공 및 위성 사진의 물리적 특징을 판독 및 분류하고 있으며 이런 분석을 이용해 캘리포니아의 가뭄을 해결하도록 돕고 있다.

옴니어스의 수석 데이터 과학자 셰이 스트롱은 "기본적으로 우리는 실외 물 사용에 관해 학습하여 특정 구획에 필요할 수 있는 물의 양을 예측할 방법을 찾고 있다"고 설명했다.

스트롱에 따르면, 사람이 항공 사진과 위성 사진을 검토하여 특정 구획에서 수영장과 기타 관련된 지형지물을 식별하려면 과도한 시간과 전문 지식이 필요할 수 있다.

이제 옴니어스는 자체 개발한 것과 왓슨의 일부 등 다양한 머신러닝 알고리즘을 활용하고 있다. (왓슨의 비전 API는 여기에서 확인할 수 있으며 옴니어스의 기술은 여기에서 볼 수 있다). 광범위한 데이터가 관련되어 있지만 머신러닝으로 그 프로세스가 엄청나게 빨라졌다(스트롱에 따르면, 로스앤젤레스만 하더라도 1테라바이트에 가깝다). 옴니어스는 이제 이전보다 40배 빠른 속도로 항공 이미지를 처리할 수 있어 7시간이 아닌 12분 만에 15만 장의 이미지를 처리할 수 있다.

스트롱은 "엄청난 효율성을 제공한다"고 밝혔다.

또한 계획과 예산 편성이 개선되었다. 예전에는 CF(City of Folsom)와 EBMWD(East Bay Municipal Water District) 등이 다가올 수요를 측정하기 위해 주 전체의 평균을 활용하는 경우가 많았지만 옴니어스의 AI 기반 분석을 통해 훨씬 정확한 예측이 가능하게 되었다. 또한 왓슨 덕분에 IEUA(Inland Empire Utility Agency)와 SAWPA(Santa Ana Watershed Project Authority) 등의 지역 유틸리티 및 보존 그룹이 지원 프로그램을 미세 조정하여 가구들에 물 사용량 조정에 관해 더 나은 교육을 제공할 수 있다.

메이시즈(Macy's)는 또 다른 왓슨 사용자다. 지난여름, 이 백화점은 고객들이 쇼핑 중 매장을 탐색할 수 있도록 개발된 왓슨 기반 웹 서비스를 출시했다. IBM의 협력사 새티스파이(Satisfi)의 위치 기반 개입 소프트웨어를 통해 제공된 메이시즈 온콜(On-Call)을 통해 고객들은 각 참여 매장의 특수 제품 분류, 서비스, 시설에 관한 질문을 자연어로 입력한 후 맞춤형 답변을 받을 수 있다. 메이시즈는 현재 미국 전역 10개 매장에서 이 새로운 툴을 시범 운영하고 있다.

이 백화점의 디지털 매체 부사장인 세레나 포터는 "다른 잠재적인 용도도 많다"며 "우리의 궁극적인 목표는 향후 추가적인 인지 서비스를 이행하는 것이다"고 말했다

현재까지 왓슨의 또 다른 용도로는 무인 운전 차량 ‘올리(Olli)’와 여러 의료 프로젝트 및 IBM이 최근 인수한 TWC(The Weather Company)에서 파생된 기업용 지역 일기예보 툴인 딥 썬더(Deep Thunder)가 있다.

이 모든 과정에서 IBM의 목표 중 하나는 협력사 및 개발자들이 AI의 기저를 이루를 복잡한 수학을 가능한 신경 쓰지 않도록 하는 것이다. 에이브럼스는 "개발자들이 매우 쉽게 소비할 수 있기를 바라며 그들 대부분은 머신러닝 전문가가 아니다"고 주장했다.

예를 들어, 왓슨의 자연어 분류자는 인간의 문자 의도를 이해하도록 개발되었으며 특정 목적으로 훈련할 수 있다. 호텔 프론트 데스크에서 질문에 답변을 제공하는 것이 그 예가 될 수 있으며, 올해 초 힐튼 호텔에서는 왓슨 기반의 ‘코니(Connie)’ 로봇을 시험 운영하기 시작했다. 에이브럼스는 "'나를 몇 시에 여기에 쫓아낼 계획인가?'라는 질문을 왓슨은 '체크아웃 시간은 몇 시인가?'로 이해할 수 있다"고 설명했다.

하지만 IBM은 일반 용도의 방식으로 이 기능을 제공하기보다는 개발자들에게 왓슨이 이해하길 원하는 인간의 발화를 나열한 스프레드시트를 업로드하라고 요청했다. 그러고 나서 IBM은 뒤에서 이에 따라 모델을 훈련한다.

에이브럼스는 "우리는 세계적인 수준의 머신러닝 기법을 이용해 분류자를 구축했지만 개발자들이 이에 관해 걱정하는 것은 원치 않는다"며 "왓슨은 개발자들이 인지 시스템을 구축할 수 있도록 하는 서비스의 집합체라고 생각한다"고 이야기했다.

이어서 앞으로 IBM은 왓슨의 기저를 이루는 과학을 발전시킬 뿐 아니라 관련 서비스를 간소화하고 확장할 것이라고 덧붙였다.

IBM은 왓슨과 인지 컴퓨팅에 큰 기대를 걸고 있으며 이 기술을 컴퓨팅의 차기 개척 분야뿐 아니라 자사 사업의 핵심 부분으로 고려하고 있다.

IBM의 회장 겸 사장 겸 CEO 지니 로메티는 최근 인터뷰에서 "모든 것이 디지털화되고 모든 산업이 저마다의 우버(Uber)나 테슬라(Tesla)를 갖게 되면 무엇으로 차별화할 수 있을까?"라며 질문을 던지고 나서 "회사를 차별화할 수 있는 가장 좋은 것이 인지이다"고 강조했다.

여기에 집중하면 놀라운 결과를 얻을 수 있다. AMR(Allied Market Research)에 따르면 인지 컴퓨팅 시장은 2020년까지 137억 달러의 매출을 발생시킬 것으로 예상된다.

이 시장에는 IBM만 있는 게 아니다.

엔드포인트의 카이는 "왓슨이 사용하는 기법은 다른 기업들이 모든 곳에서 복제하고 있다"고 말했다. 하지만 모든 일반적인 AI/머신러닝 툴 중 왓슨이 가장 발전되고 오래되었다.

에이브럼스는 "우리의 목표는 인지를 컴퓨팅의 최고 패러다임으로 만들고 왓슨을 이를 위한 최고의 플랫폼으로 만드는 것이다"고 강조했다. ciokr@idg.co.kr
 

X