2019.01.11

다우존스, 머신러닝용 빅데이터 처리하는 'DNA' 플랫폼 개발

Laurie Clarke | Computerworld UK
130년 전에 설립돼 세계적으로 명성이 있는 금융정보 회사인 다우존스(Dow Jones)가 DNA라는 자체 대량 데이터 서비스를 개발해 고객이 기존 및 실시간 데이터를 추출할 수 있도록 돕고 있다. 현재 생물학적 감시, 재보험, 자본 시장 등이 이 서비스를 사용 중으로 알려졌다. 
 
Credit: GettyImages

DNA는 데이터(Data), 뉴스(News), 분석(Analytics)의 약어로 이 플랫폼은 2017년 3월에 출시되었지만 아직 베타 버전이다.
 
다우존스에서 DNA 플랫폼 및 기술 파트너십의 총책임자인 토마스 니란잔은 데이터 세트를 좀더 쉽게 사용할 수 있도록 비즈니스 사례를 다음과 같이 설명했다. "몇 년 전 안팎에서 나온 요구 사항은 우리가 보유한 모든 데이터 자산을 잠금 해제하고 기업 고객이 데이터를 프로그래밍 방식으로 쉽게 얻을 수 있어야 한다는 것이었다."

이는 주로 API를 사용하고 피드를 통해 정보를 제공함으로써 달성되었다.

다우존스는 자사의 뉴스와이어(Newswire) 서비스뿐 아니라 통합 뉴스 상품인 팩티바닷컴(Factiva.com)과 사모펀드 및 벤처캐피탈 리서치 툴인 벤처소스(VentureSource) 같은 좀더 전문화된 제품을 비롯해 여러 가지 잘 정립된 데이터 제품을 보유하고 있다.

니란잔은 회사의 고객이 데이터를 사용하는 방식이 바뀌면서 DNA 생성이 촉진되었다고 전했다.

"클라우드 컴퓨팅은 특정 대기업 고객이 대용량 데이터를 소비하고 과거에는 얻을 수 없었던 수준의 통찰을 추출할 수 있는 능력 면에서 가장 큰 변화의 원인이다"고 니란잔은 말했다.

플랫폼상의 클라우드 환경은 제 3자가 수백만 개 또는 수천만 개의 문서를 동시에 다운로드 할 수 있음을 의미하므로 머신러닝 프로젝트에 이상적이다.

이 플랫폼은 '스트리밍' 및 '스냅샷' 데이터 API를 모두 제공한다. 스냅샷을 사용하면 제 3자가 대량의 데이터를 매우 빠르게 대량으로 추출할 수 있고 스트리밍 기능을 통해 기업은 실시간 데이터를 환경에 제공할 수 있다.

이 외에도 조직이나 개인이 특정 기사와 데이터 기록을 검색할 수 있게 해주는 API가 있다. 이전 서비스는 데이터 과학자와 상호작용하도록 설계되었지만 API는 소프트웨어 엔지니어 애플리케이션 개발자가 사용하고 콘텐츠(예 : 모바일 기사)에 통합될 가능성이 크다.

유료 가입 서비스는 다우존스(Dow Jones)의 직접 데이터와 함께 톰슨 로이터(Thomson Reuters)와 뉴욕타임스(New York Times)와 같은 출판물, 월 스트리트 저널 및 타사 라이선스 데이터로부터 정보를 전달한다.

그렇다면 누가 이것을 어떻게 사용하고 있나? 니란잔은 고객이 데이터 및 분석에 많은 투자를 하기를 열망하는 재보험 산업에 큰 관심이 있다고 밝혔다. 그는 최근 몇 년 동안 지급된 재산 및 상해 보험 청구액의 호황으로 인한 것이라고 설명했다.

그는 "DNA 데이터 세트를 활용하여 더 깊은 통찰력을 찾을 수 있게 해준다"며 "이는 위험 프로필을 더 잘 이해할 수 있게 해주므로 앞으로의 위험을 보다 효과적으로 관리하는 데 도움이 된다"고 이야기했다.

이 플랫폼의 또 다른 주요 용도는 생물학적 감시다. 니란잔은 북미 지역의 한 핵심 고객이 이 도구를 어떻게 활용했는지 설명했다. "그들이 원하는 것은 실제로 질병 확산, 특히 특정 의학적 질병의 확산에 대한 조기 경고다. 특정 조직은 북미 지역뿐만 아니라 특정 질병 발생을 감시하는 세계 보건기구와도 매우 광범위하게 송금하고 있다. 여기에는 지카 바이러스 같은 것도 포함된다."

그렇게 하기 위해 니란잔은 고품질의 뉴스 출판물을 비롯한 광범위한 데이터 소스를 활용하고 있다고 말했다.

DNA를 사용하는 또 다른 분야는 자본 시장이다. 그는 "자산운용사가 좀더 정량적인 접근 방식, 또는 근본적인(fundamental) 접근방식과 정량적인(quantitative) 접근방식이 합성어인 퀀텀멘탈(quantamental) 접근 방식이라고 할 수 있는 실질적인 변화를 보고 있다"고 그는 이야기했다.

이어서 "그들은 투자 전략에 영향을 미칠 수 있는 비정량적 요인을 찾고 있다"고 그는 덧붙였다. ciokr@idg.co.kr
 

2019.01.11

다우존스, 머신러닝용 빅데이터 처리하는 'DNA' 플랫폼 개발

Laurie Clarke | Computerworld UK
130년 전에 설립돼 세계적으로 명성이 있는 금융정보 회사인 다우존스(Dow Jones)가 DNA라는 자체 대량 데이터 서비스를 개발해 고객이 기존 및 실시간 데이터를 추출할 수 있도록 돕고 있다. 현재 생물학적 감시, 재보험, 자본 시장 등이 이 서비스를 사용 중으로 알려졌다. 
 
Credit: GettyImages

DNA는 데이터(Data), 뉴스(News), 분석(Analytics)의 약어로 이 플랫폼은 2017년 3월에 출시되었지만 아직 베타 버전이다.
 
다우존스에서 DNA 플랫폼 및 기술 파트너십의 총책임자인 토마스 니란잔은 데이터 세트를 좀더 쉽게 사용할 수 있도록 비즈니스 사례를 다음과 같이 설명했다. "몇 년 전 안팎에서 나온 요구 사항은 우리가 보유한 모든 데이터 자산을 잠금 해제하고 기업 고객이 데이터를 프로그래밍 방식으로 쉽게 얻을 수 있어야 한다는 것이었다."

이는 주로 API를 사용하고 피드를 통해 정보를 제공함으로써 달성되었다.

다우존스는 자사의 뉴스와이어(Newswire) 서비스뿐 아니라 통합 뉴스 상품인 팩티바닷컴(Factiva.com)과 사모펀드 및 벤처캐피탈 리서치 툴인 벤처소스(VentureSource) 같은 좀더 전문화된 제품을 비롯해 여러 가지 잘 정립된 데이터 제품을 보유하고 있다.

니란잔은 회사의 고객이 데이터를 사용하는 방식이 바뀌면서 DNA 생성이 촉진되었다고 전했다.

"클라우드 컴퓨팅은 특정 대기업 고객이 대용량 데이터를 소비하고 과거에는 얻을 수 없었던 수준의 통찰을 추출할 수 있는 능력 면에서 가장 큰 변화의 원인이다"고 니란잔은 말했다.

플랫폼상의 클라우드 환경은 제 3자가 수백만 개 또는 수천만 개의 문서를 동시에 다운로드 할 수 있음을 의미하므로 머신러닝 프로젝트에 이상적이다.

이 플랫폼은 '스트리밍' 및 '스냅샷' 데이터 API를 모두 제공한다. 스냅샷을 사용하면 제 3자가 대량의 데이터를 매우 빠르게 대량으로 추출할 수 있고 스트리밍 기능을 통해 기업은 실시간 데이터를 환경에 제공할 수 있다.

이 외에도 조직이나 개인이 특정 기사와 데이터 기록을 검색할 수 있게 해주는 API가 있다. 이전 서비스는 데이터 과학자와 상호작용하도록 설계되었지만 API는 소프트웨어 엔지니어 애플리케이션 개발자가 사용하고 콘텐츠(예 : 모바일 기사)에 통합될 가능성이 크다.

유료 가입 서비스는 다우존스(Dow Jones)의 직접 데이터와 함께 톰슨 로이터(Thomson Reuters)와 뉴욕타임스(New York Times)와 같은 출판물, 월 스트리트 저널 및 타사 라이선스 데이터로부터 정보를 전달한다.

그렇다면 누가 이것을 어떻게 사용하고 있나? 니란잔은 고객이 데이터 및 분석에 많은 투자를 하기를 열망하는 재보험 산업에 큰 관심이 있다고 밝혔다. 그는 최근 몇 년 동안 지급된 재산 및 상해 보험 청구액의 호황으로 인한 것이라고 설명했다.

그는 "DNA 데이터 세트를 활용하여 더 깊은 통찰력을 찾을 수 있게 해준다"며 "이는 위험 프로필을 더 잘 이해할 수 있게 해주므로 앞으로의 위험을 보다 효과적으로 관리하는 데 도움이 된다"고 이야기했다.

이 플랫폼의 또 다른 주요 용도는 생물학적 감시다. 니란잔은 북미 지역의 한 핵심 고객이 이 도구를 어떻게 활용했는지 설명했다. "그들이 원하는 것은 실제로 질병 확산, 특히 특정 의학적 질병의 확산에 대한 조기 경고다. 특정 조직은 북미 지역뿐만 아니라 특정 질병 발생을 감시하는 세계 보건기구와도 매우 광범위하게 송금하고 있다. 여기에는 지카 바이러스 같은 것도 포함된다."

그렇게 하기 위해 니란잔은 고품질의 뉴스 출판물을 비롯한 광범위한 데이터 소스를 활용하고 있다고 말했다.

DNA를 사용하는 또 다른 분야는 자본 시장이다. 그는 "자산운용사가 좀더 정량적인 접근 방식, 또는 근본적인(fundamental) 접근방식과 정량적인(quantitative) 접근방식이 합성어인 퀀텀멘탈(quantamental) 접근 방식이라고 할 수 있는 실질적인 변화를 보고 있다"고 그는 이야기했다.

이어서 "그들은 투자 전략에 영향을 미칠 수 있는 비정량적 요인을 찾고 있다"고 그는 덧붙였다. ciokr@idg.co.kr
 

X