2011.08.04

대용량 데이터가 가져올 변화

Tim Lohman | Computerworld
IIIS의 위원들에게 들려온 바에 따르면, 현실 마이닝, 데이터 태깅, 클라우드 평가 대행기관 등은 '대용량 데이터의 급증에서 나온 세가지 새로운 트렌드다.

실제 벌어지는 일상에서 얻는 데이터 ‘현실 마이닝(Reality Mining)’

스토리지 네트워킹산업 협회 호주/뉴질랜드 지부(Storage Networking Industry Association A/NZ) 와 컴퓨터월드 호주 지부가 공동으로 개최한 행사 ‘정보 인프라 구축 심포지움(Implementing Information Infrastructure Symposium)’에서 연설을 맡은, 전략 조언가이자 작가며 미래학자인 로스 도슨은 “현실 마이닝(Reality mining)”–주어진 환경에서 사람들의 행동에 따른 데이터 수집-은 대용량 데이터에서 나왔으며 동시에 그것에 기여하는 주요 트렌드라고 밝혔다.

그는 “사무실 환경을 둘러보면, 살펴볼만한 정보들이 엄청나게 많이 있다. 사람들은 어떠한 행동을 취하는가, 그들은 어디를 보고 있으며 어떠한 대화를 나누는가, 서로 이야기를 나눌 때 얼마나 많이 웃는가, 등등이 예가 될 수 있다”라고 설명했다.

“이런 것들을 단 몇 시간만 하면 말 그대로 테라바이트 단위의 데이터들을 얻을 수 있다. 그 데이터는 생산성을 올리기 위해, 협력을 증진시키고 조직 내에서 가치를 창출해낼 수 있는 새로운 방법을 고안하기 위해 수집된다”라고 그는 덧붙였다.

도슨은 데이터 기반의 의사결정을 이용하는 조직들이 5내지 6%의 생산성 향상을 누릴 수 있었음을 시사하는 연구를 통해 이러한 종류의 현실 마이닝을 더욱 강조해야 한다고 말했다.

그는 “이러한 종류의 현실 마이닝을 필요로 한다. 그리고 이것은 조직 내에서 캡쳐되고 효과적으로 사용될만한 모든 데이터를 필요로 한다”라고 전했다.

비정형 데이터에 이름표 붙이는 ‘데이터 태깅(Data Tagging)’
효과적인 데이터 캡쳐를 위해 조직들은 정형화되지 않은 데이터의 대량 수집에서 캡쳐 시점에 모든 데이터가 타깃이 되는 프로세스로 변모해가야 한다.

그는 "우리가 가지고 있는 대다수의 정보는 정형화되지 않아 소스에서의 데이터 태깅이 매우 중요하다. 데이터가 폭발적으로 급증하고 있는 가운데 핵심은 소스에서 태깅하여 데이터에 구조를 더해주는 것으로, 나중에 하는 것이 비용이 훨씬 많이 든다"고 전했다.

도슨은 비디오가 이를 보여주는 좋은 예로 비디오 안에서 말하는 사람뿐 아니라 주제와 더 나아가 화자의 감정까지도 태깅되고 현실 마이닝 예제에서 사용될 수 있다고 설명했다.

그러한 태깅 작업은 주로 장비로 처리하겠지만 “인간의 지성”을 곧바로 적용시킬 수 있도록 원하는 인력을 제공해주는 아마존의 ‘미케니컬 터크(Mechanical Turk)’와 같은 서비스들을 통해 이루어질 수도 있다.

클라우드 업체의 등급 매기는 제3의 기관 등장
도슨은 “태깅 적용에 주요 걸림돌을 공용 클라우드의 보안과 함께, 미국의 신용 평가 기관인 S&P(Standard&Poor’s)나 무디스처럼 클라우드 제공업체들의 보안 순위를 매기는 클라우드 평가 기관들이 등장할 것”이라고 내다봤다.

그는 “’평판의 경제(reputation economy)’와 일맥상통한다. 이번 10년은 평판이 우리가 하는 모든 것들-개인에 대한 평판, 소셜미디어에 대한 사람들의 영향력 같은 것들-을 움직여 왔다”라고 말했다.

“기업들 입장에서는 클라우드에 속하는 것이 자동적으로 평판이 좋음을 의미하지는 않는다. 우리는 클라우드에도 S&P나 무디스와 같은 평가 기관들을 만들어야 한다.”

클라우드 평가 기관들과 마찬가지로 클라우드 기반의 분산 데이터베이스 등의 서비스를 제공하는 기업들이나 –현물 시장에서 저장공간이나 처리 능력을 거래하는 조직인- 클라우드 브로커(Cloud broker)들이 등장할 것이다.




2011.08.04

대용량 데이터가 가져올 변화

Tim Lohman | Computerworld
IIIS의 위원들에게 들려온 바에 따르면, 현실 마이닝, 데이터 태깅, 클라우드 평가 대행기관 등은 '대용량 데이터의 급증에서 나온 세가지 새로운 트렌드다.

실제 벌어지는 일상에서 얻는 데이터 ‘현실 마이닝(Reality Mining)’

스토리지 네트워킹산업 협회 호주/뉴질랜드 지부(Storage Networking Industry Association A/NZ) 와 컴퓨터월드 호주 지부가 공동으로 개최한 행사 ‘정보 인프라 구축 심포지움(Implementing Information Infrastructure Symposium)’에서 연설을 맡은, 전략 조언가이자 작가며 미래학자인 로스 도슨은 “현실 마이닝(Reality mining)”–주어진 환경에서 사람들의 행동에 따른 데이터 수집-은 대용량 데이터에서 나왔으며 동시에 그것에 기여하는 주요 트렌드라고 밝혔다.

그는 “사무실 환경을 둘러보면, 살펴볼만한 정보들이 엄청나게 많이 있다. 사람들은 어떠한 행동을 취하는가, 그들은 어디를 보고 있으며 어떠한 대화를 나누는가, 서로 이야기를 나눌 때 얼마나 많이 웃는가, 등등이 예가 될 수 있다”라고 설명했다.

“이런 것들을 단 몇 시간만 하면 말 그대로 테라바이트 단위의 데이터들을 얻을 수 있다. 그 데이터는 생산성을 올리기 위해, 협력을 증진시키고 조직 내에서 가치를 창출해낼 수 있는 새로운 방법을 고안하기 위해 수집된다”라고 그는 덧붙였다.

도슨은 데이터 기반의 의사결정을 이용하는 조직들이 5내지 6%의 생산성 향상을 누릴 수 있었음을 시사하는 연구를 통해 이러한 종류의 현실 마이닝을 더욱 강조해야 한다고 말했다.

그는 “이러한 종류의 현실 마이닝을 필요로 한다. 그리고 이것은 조직 내에서 캡쳐되고 효과적으로 사용될만한 모든 데이터를 필요로 한다”라고 전했다.

비정형 데이터에 이름표 붙이는 ‘데이터 태깅(Data Tagging)’
효과적인 데이터 캡쳐를 위해 조직들은 정형화되지 않은 데이터의 대량 수집에서 캡쳐 시점에 모든 데이터가 타깃이 되는 프로세스로 변모해가야 한다.

그는 "우리가 가지고 있는 대다수의 정보는 정형화되지 않아 소스에서의 데이터 태깅이 매우 중요하다. 데이터가 폭발적으로 급증하고 있는 가운데 핵심은 소스에서 태깅하여 데이터에 구조를 더해주는 것으로, 나중에 하는 것이 비용이 훨씬 많이 든다"고 전했다.

도슨은 비디오가 이를 보여주는 좋은 예로 비디오 안에서 말하는 사람뿐 아니라 주제와 더 나아가 화자의 감정까지도 태깅되고 현실 마이닝 예제에서 사용될 수 있다고 설명했다.

그러한 태깅 작업은 주로 장비로 처리하겠지만 “인간의 지성”을 곧바로 적용시킬 수 있도록 원하는 인력을 제공해주는 아마존의 ‘미케니컬 터크(Mechanical Turk)’와 같은 서비스들을 통해 이루어질 수도 있다.

클라우드 업체의 등급 매기는 제3의 기관 등장
도슨은 “태깅 적용에 주요 걸림돌을 공용 클라우드의 보안과 함께, 미국의 신용 평가 기관인 S&P(Standard&Poor’s)나 무디스처럼 클라우드 제공업체들의 보안 순위를 매기는 클라우드 평가 기관들이 등장할 것”이라고 내다봤다.

그는 “’평판의 경제(reputation economy)’와 일맥상통한다. 이번 10년은 평판이 우리가 하는 모든 것들-개인에 대한 평판, 소셜미디어에 대한 사람들의 영향력 같은 것들-을 움직여 왔다”라고 말했다.

“기업들 입장에서는 클라우드에 속하는 것이 자동적으로 평판이 좋음을 의미하지는 않는다. 우리는 클라우드에도 S&P나 무디스와 같은 평가 기관들을 만들어야 한다.”

클라우드 평가 기관들과 마찬가지로 클라우드 기반의 분산 데이터베이스 등의 서비스를 제공하는 기업들이나 –현물 시장에서 저장공간이나 처리 능력을 거래하는 조직인- 클라우드 브로커(Cloud broker)들이 등장할 것이다.


X