Offcanvas

��������� ���������

시스코, IoT 분석 업체 '파스트림' 인수

시스코가 독일 퀼른에 있는 데이터 분석툴 개발업체인 파스트림(ParStream)을 인수하겠다고 발표했으며 자세한 인수 조건은 알려지지 않았다. 이미지 출처 : Thinkstock 파스트림은 기업이 대용량 데이터를 분석하고 네트워크 내 어디서나 저장할 수 있도록 사물인터넷 환경을 위한 분석 데이터베이스를 만드는 회사다. 기업은 압축과 색인 기능을 사용해 파스트림 데이터베이스로 거의 실시간으로 네트워크 단에서 대용량의 데이터를 계산하고 분석하고 수십억 건의 레코드를 정제할 수 있다고 시스코는 전했다. 기업은 이 데이터를 중앙 서버로 전송하는 대신 소스에 가까운 네트워크 단에서 데이터를 저장하고 분산형 네트워크를 통해 결과를 추적할 수 있다고 시스코는 말했다. 시스코는 이번 인수로 현재 자사의 데이터 및 분석 포트폴리오를 보완하고, 점점 더 많은 데이터를 생성하는 네트워크 단에서 분석을 제공하는 기능을 개선할 수 있을 것으로 기대한다고 밝혔다.   파스트림은 시스코 벤처 지원 프로그램(Cisco Entrepreneurs in Residence Startup Program)’에서 사물인터넷, 스마트시티, 빅데이터/분석, 기업용 모빌리티, 보안 제품 개발에 주력하는 신생벤처들을 설립 초기 6개월 동안 지원 받았던 기업 중 하나였다. 파스트림 팀은 시스코의 데이터 및 분석 그룹으로 통합되며 이번 인수는 시스코의 회계연도 기준 2016년 2분기인 2016년 1월에 마무리될 예정이다. ciokr@idg.co.kr

인수 파스트림 시스코시스템즈 사물인터넷 분석 합병 시스코 대용량 데이터 M&A ParStream

2015.10.27

시스코가 독일 퀼른에 있는 데이터 분석툴 개발업체인 파스트림(ParStream)을 인수하겠다고 발표했으며 자세한 인수 조건은 알려지지 않았다. 이미지 출처 : Thinkstock 파스트림은 기업이 대용량 데이터를 분석하고 네트워크 내 어디서나 저장할 수 있도록 사물인터넷 환경을 위한 분석 데이터베이스를 만드는 회사다. 기업은 압축과 색인 기능을 사용해 파스트림 데이터베이스로 거의 실시간으로 네트워크 단에서 대용량의 데이터를 계산하고 분석하고 수십억 건의 레코드를 정제할 수 있다고 시스코는 전했다. 기업은 이 데이터를 중앙 서버로 전송하는 대신 소스에 가까운 네트워크 단에서 데이터를 저장하고 분산형 네트워크를 통해 결과를 추적할 수 있다고 시스코는 말했다. 시스코는 이번 인수로 현재 자사의 데이터 및 분석 포트폴리오를 보완하고, 점점 더 많은 데이터를 생성하는 네트워크 단에서 분석을 제공하는 기능을 개선할 수 있을 것으로 기대한다고 밝혔다.   파스트림은 시스코 벤처 지원 프로그램(Cisco Entrepreneurs in Residence Startup Program)’에서 사물인터넷, 스마트시티, 빅데이터/분석, 기업용 모빌리티, 보안 제품 개발에 주력하는 신생벤처들을 설립 초기 6개월 동안 지원 받았던 기업 중 하나였다. 파스트림 팀은 시스코의 데이터 및 분석 그룹으로 통합되며 이번 인수는 시스코의 회계연도 기준 2016년 2분기인 2016년 1월에 마무리될 예정이다. ciokr@idg.co.kr

2015.10.27

아마존, 새로운 대용량 데이터 분석 툴 '키네시스' 발표

아마존 웹 서비스가 클라우드 기반 데이터 분석 툴 ‘키네시스(Kenesis)’를 발표했다. 키네시스는 실시간으로 대용량 데이터를 분석할 수 있으며 시간 당 요금을 지불할 수 있는 것이 특징이다. 키네시스는 클라우드에서 장착해 아마존의 클라우드 내 데이터베이스, 레드시프트(Redshift)같은 웨어하우스, NoSQL 데이터베이스인 다이나모DB 또는 관계형 데이터베이스 등 다양한 소스에서 데이터를 받을 수 있는 애플리케이션이다. 이 툴은 데이터를 분석하고 데이터를 원 상태로 되돌려 놓는다. AWS는 자사 하드웨어와 소프트웨어를 결합해 사용하면서 이 툴을 개발했다. 시스템 도 확장성이 우수하며 수 천 개의 소스에서 가져온 데이터를 한 시간에 수 테라바이트까지 처리할 수 있다. 지난 주 열린 리인벤트(re:Invent) 행사에서 AWS는 데이터에서 실행되는 쿼리를 허용하면서 키네시스가 트위터에서 업데이트되는 수 천 개의 트윗을 어떻게 분석하는지 보여줬다. 키네시스는 1시간 동안 업로드된 트윗에서 가장 인기있는 단어를 정확히 찾아낼 수 있다. 키네시스가 생성하는 데이터는 아마존의 심플 스토리지 서비스(S3)같은 이 회사의 스토리지 플랫폼 중 하나에 오프로드할 수 있다. 또한 실시간 금융 거래, 인바운드 마케팅이나 측정 데이터를 분석하는데도 쓰일 수 있다. 이 새로운 서비스는 AWS가 이미 보유하고 있는 데이터 분석 툴을 제공해 준다. 예를 들어 레드시프트편는 그곳에 저장된 데이터를 분석할 수 있는 기능을 가지고 있지만 장기간 저장하는 데이터의 경우 클라우드로 저장한다는 것을 의미한다. 키네시스는 신속하면서 실시간으로 데이터를 분석할 수 있음을 뜻한다. 키네시스는 AWS가 분석하는 데이터를 활용하는 툴을 제공하는 수많은 아마존 협력사들에 맞게 설계됐다. 예를 들어, 재스퍼소프트(Jaspersoft)의 경우, 레드시프트가 했던 쿼리 결과를 가져올 수 있고 거기서 시각화를 만들 수 있으며 알림 기능도 설정할 수 있다. 플랫폼의 종류...

아마존 대용량 데이터 AWS 분석 툴 Re:Invent 키네시스

2013.11.18

아마존 웹 서비스가 클라우드 기반 데이터 분석 툴 ‘키네시스(Kenesis)’를 발표했다. 키네시스는 실시간으로 대용량 데이터를 분석할 수 있으며 시간 당 요금을 지불할 수 있는 것이 특징이다. 키네시스는 클라우드에서 장착해 아마존의 클라우드 내 데이터베이스, 레드시프트(Redshift)같은 웨어하우스, NoSQL 데이터베이스인 다이나모DB 또는 관계형 데이터베이스 등 다양한 소스에서 데이터를 받을 수 있는 애플리케이션이다. 이 툴은 데이터를 분석하고 데이터를 원 상태로 되돌려 놓는다. AWS는 자사 하드웨어와 소프트웨어를 결합해 사용하면서 이 툴을 개발했다. 시스템 도 확장성이 우수하며 수 천 개의 소스에서 가져온 데이터를 한 시간에 수 테라바이트까지 처리할 수 있다. 지난 주 열린 리인벤트(re:Invent) 행사에서 AWS는 데이터에서 실행되는 쿼리를 허용하면서 키네시스가 트위터에서 업데이트되는 수 천 개의 트윗을 어떻게 분석하는지 보여줬다. 키네시스는 1시간 동안 업로드된 트윗에서 가장 인기있는 단어를 정확히 찾아낼 수 있다. 키네시스가 생성하는 데이터는 아마존의 심플 스토리지 서비스(S3)같은 이 회사의 스토리지 플랫폼 중 하나에 오프로드할 수 있다. 또한 실시간 금융 거래, 인바운드 마케팅이나 측정 데이터를 분석하는데도 쓰일 수 있다. 이 새로운 서비스는 AWS가 이미 보유하고 있는 데이터 분석 툴을 제공해 준다. 예를 들어 레드시프트편는 그곳에 저장된 데이터를 분석할 수 있는 기능을 가지고 있지만 장기간 저장하는 데이터의 경우 클라우드로 저장한다는 것을 의미한다. 키네시스는 신속하면서 실시간으로 데이터를 분석할 수 있음을 뜻한다. 키네시스는 AWS가 분석하는 데이터를 활용하는 툴을 제공하는 수많은 아마존 협력사들에 맞게 설계됐다. 예를 들어, 재스퍼소프트(Jaspersoft)의 경우, 레드시프트가 했던 쿼리 결과를 가져올 수 있고 거기서 시각화를 만들 수 있으며 알림 기능도 설정할 수 있다. 플랫폼의 종류...

2013.11.18

기고 | 파이어호스 데이터를 처리하는 방법

어떤 데이터들은 일정한 속도로, 심지어 초고속으로 전송된다. IT시스템이 어떻게 그러한 데이터 흐름을 처리하면서 데이터 분석까지 해 내는지 알아 보자. 대용량 데이터를 논할 때 문제가 되는 것은 비단 데이터의 ‘규모’만은 아니다. 사용자의 컴퓨터에 데이터가 수신되는 수신율 역시 중요하다. 데이터 자동화 시대가 시작되기 전까지만 해도, 데이터는 주로 미리 설정된 시간에 데이터 구성(organization)으로 수신되곤 했었다. 데이터의 비즈니스 아워(Business hour)가 그 좋은 예다. 가령 데이터가 9시부터 5시 사이에 수신됐다면, 데이터는 완벽하게 예상 가능한 속도로 성장했으며, 이 데이터에 접근 및 분석하는 일도 마찬가지로 예측 가능한 속도로 이루어 졌다. 게다가, 사람들이 모두 퇴근한 밤 시간에 일어나는 다운타임은 야간 데이터베이스 관리 책임자(DBA)가 문제의 데이터베이스를 업데이트 및 수리 할 수 있도록 하기도 했다. 심지어 초과 근무 수당까지 지불하기도 했다. 많은 기업들에서는 아직도 이러한 방식으로 데이터를 처리하고 있으며, 일부 기업들에선 이 방법만 사용하기도 한다. (그리고 ‘초과 근무’라는 이상한 단어는 대부분 사라졌다) 그러나 다운타임이 없는 자동화된 소스에서 데이터가 전송되는 빈도가 잦아지고 있으며 매일, 매 초 데이터 구성에 데이터를 보내고 있을 수도 있다. 그것도 상당한 양의 데이터를 말이다. 당신의 IT 인프라가 관리하도록 돼 있으며, 모든 것이 말 한 대로 이뤄졌을 경우 실제로 경영상의 의사 결정에 사용되는 일정하고도 강력한 데이터 스트림, 데이터 구루(guru)들은 이를 ‘파이어호스 데이터(firehose data)’라고 부른다. 포스트그레SQL 엑스퍼트(PostgreSQL Experts Inc.)의 CEO 조쉬 베커스에 따르면, 파이어호스 데이터를 다루는 데는 네 가지의 어려움이 존재 한다고 한다. 베커스...

대용량 데이터 속도 하둡 데이터 처리 정확성 전송 추출 변환. ETL

2012.02.02

어떤 데이터들은 일정한 속도로, 심지어 초고속으로 전송된다. IT시스템이 어떻게 그러한 데이터 흐름을 처리하면서 데이터 분석까지 해 내는지 알아 보자. 대용량 데이터를 논할 때 문제가 되는 것은 비단 데이터의 ‘규모’만은 아니다. 사용자의 컴퓨터에 데이터가 수신되는 수신율 역시 중요하다. 데이터 자동화 시대가 시작되기 전까지만 해도, 데이터는 주로 미리 설정된 시간에 데이터 구성(organization)으로 수신되곤 했었다. 데이터의 비즈니스 아워(Business hour)가 그 좋은 예다. 가령 데이터가 9시부터 5시 사이에 수신됐다면, 데이터는 완벽하게 예상 가능한 속도로 성장했으며, 이 데이터에 접근 및 분석하는 일도 마찬가지로 예측 가능한 속도로 이루어 졌다. 게다가, 사람들이 모두 퇴근한 밤 시간에 일어나는 다운타임은 야간 데이터베이스 관리 책임자(DBA)가 문제의 데이터베이스를 업데이트 및 수리 할 수 있도록 하기도 했다. 심지어 초과 근무 수당까지 지불하기도 했다. 많은 기업들에서는 아직도 이러한 방식으로 데이터를 처리하고 있으며, 일부 기업들에선 이 방법만 사용하기도 한다. (그리고 ‘초과 근무’라는 이상한 단어는 대부분 사라졌다) 그러나 다운타임이 없는 자동화된 소스에서 데이터가 전송되는 빈도가 잦아지고 있으며 매일, 매 초 데이터 구성에 데이터를 보내고 있을 수도 있다. 그것도 상당한 양의 데이터를 말이다. 당신의 IT 인프라가 관리하도록 돼 있으며, 모든 것이 말 한 대로 이뤄졌을 경우 실제로 경영상의 의사 결정에 사용되는 일정하고도 강력한 데이터 스트림, 데이터 구루(guru)들은 이를 ‘파이어호스 데이터(firehose data)’라고 부른다. 포스트그레SQL 엑스퍼트(PostgreSQL Experts Inc.)의 CEO 조쉬 베커스에 따르면, 파이어호스 데이터를 다루는 데는 네 가지의 어려움이 존재 한다고 한다. 베커스...

2012.02.02

2011년 글로벌 핫이슈 따라잡기-빅 데이터

빅 데이터만큼 짧은 시간에 IT업계의 화두로 급부상한 주제도 많지 않을 것이다. 소셜 네트워크와 스마트폰의 활용에 힘입어 폭발적으로 증가한 비정형 데이터를 어떻게 분석하고 처리할 것인가에서 시작된 빅 데이터는 오픈소스 기술인 하둡(Hadoop)까지도 단숨에 핫이슈로 부상했다. ->빅 데이터 전문가들 "잠재력은 뚜렷, 그러나 신중히 접근해야" 캘리포니아 마운틴 뷰에서 12월 7일 열린 처칠 클럽 이벤트의 연사들에 따르면, '빅 데이터' 트렌드는 데이터 저장과 분석 도구라는 두 측면에서 도전 ... ->이제는 빅 데이터 대비할 때 • • • '5가지 가이드라인' 빅 데이터가 미래의 핵심 전략적 사업 부문으로 일컬어지고 있다. (물론 혹자는 보는 관점에 따라 과장 선전이라고 말하기도 한다.) 이 말은 즉 고급 ... ->IBM의 빅데이터, 천문학 연구 돕는다 스퀘어 킬로미터 어레이(SKA) 망원경에서 취합한 거대한 데이터로 천문학자들이 연구 효율을 높여줄 소프트웨어 아키텍처의 표준 버전이 완성했다. ->데이터 과학자란 무엇인가? IBM 빅 데이터 담당자와의 일문일답 IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist) ... A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 ... ->'미 국회도서관, 아마존, 마쯔다'가 전하는 빅 데이터 스토리지 팁 데이터 관리는 IT의 오랜 주요 임무 중 하나였다. 그러나 빅 데이터 동향을 분석하는 윈터콥 컨설팅 서비스(WinterCorp Consulting Services)의 ... ->조사 | 새로운 툴이 빅 데이터 분석 주도 TDWI에 따르면, 1/3 이상의 응답자들은 현재 빅 데이터로 고도화된 분석의 일부로 대부분의 비즈니스 인텔리전스, 예측 분석, 데이터 마이닝 및 통계 ... ->성공적인 ...

BI 대용량 데이터 데이터 과학자 하둡 빅 데이터

2011.12.28

빅 데이터만큼 짧은 시간에 IT업계의 화두로 급부상한 주제도 많지 않을 것이다. 소셜 네트워크와 스마트폰의 활용에 힘입어 폭발적으로 증가한 비정형 데이터를 어떻게 분석하고 처리할 것인가에서 시작된 빅 데이터는 오픈소스 기술인 하둡(Hadoop)까지도 단숨에 핫이슈로 부상했다. ->빅 데이터 전문가들 "잠재력은 뚜렷, 그러나 신중히 접근해야" 캘리포니아 마운틴 뷰에서 12월 7일 열린 처칠 클럽 이벤트의 연사들에 따르면, '빅 데이터' 트렌드는 데이터 저장과 분석 도구라는 두 측면에서 도전 ... ->이제는 빅 데이터 대비할 때 • • • '5가지 가이드라인' 빅 데이터가 미래의 핵심 전략적 사업 부문으로 일컬어지고 있다. (물론 혹자는 보는 관점에 따라 과장 선전이라고 말하기도 한다.) 이 말은 즉 고급 ... ->IBM의 빅데이터, 천문학 연구 돕는다 스퀘어 킬로미터 어레이(SKA) 망원경에서 취합한 거대한 데이터로 천문학자들이 연구 효율을 높여줄 소프트웨어 아키텍처의 표준 버전이 완성했다. ->데이터 과학자란 무엇인가? IBM 빅 데이터 담당자와의 일문일답 IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist) ... A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 ... ->'미 국회도서관, 아마존, 마쯔다'가 전하는 빅 데이터 스토리지 팁 데이터 관리는 IT의 오랜 주요 임무 중 하나였다. 그러나 빅 데이터 동향을 분석하는 윈터콥 컨설팅 서비스(WinterCorp Consulting Services)의 ... ->조사 | 새로운 툴이 빅 데이터 분석 주도 TDWI에 따르면, 1/3 이상의 응답자들은 현재 빅 데이터로 고도화된 분석의 일부로 대부분의 비즈니스 인텔리전스, 예측 분석, 데이터 마이닝 및 통계 ... ->성공적인 ...

2011.12.28

조사 | 새로운 툴이 빅 데이터 분석 주도

새로운 기술들이 등장함에 따라 기업들이 매우 크고 다양한 데이터 세트에서 취합한 데이터를 점점 더 정교하게 분석할 수 있게 됐다. 데이터웨어하우징연구소(TDWI)는 대기업 및 SMB의 IT관리자, 현업 사용자, 컨설턴트 325명을 대상으로 실시한 조사를 분석한 보고서에서 이같이 밝혔다 TDWI에 따르면, 1/3 이상의 응답자들은 현재 빅 데이터로 고도화된 분석의 일부로 대부분의 비즈니스 인텔리전스, 예측 분석, 데이터 마이닝 및 통계 분석 작업 등을 실행하고 있다고 말했다.   45%에 가까운 응답자들은 빅 데이터 분석이 비즈니스 통찰력을 활성화할 것으로 기대한다고 말한 반면, 38%는 더 나은 판매 및 시장 기회를 발굴하고자 빅 데이터 기술을 사용한다고 답했다. 응답자 60% 이상은 큰 데이터 분석이 기업의 소셜 미디어 마케팅 역량을 강화 수 있을 것으로 기대한다고 밝혔다. TDWI 조사에 따르면, 가장 빠른 빅 데이터 분석 활용 사례는 고도화된 데이터 가시화다. 점점 더 많은 기업들이 빅 데이터 세트에서 기업 데이터의 극히 복잡한 기업 데이터를 시각적으로 표현하기 위해 정교한 분석 툴을 실행하는 것으로 조사됐다. "기업들이 대용량 데이터 관리를 다루는 데 고전하고 있을 때, 빅 데이터는 기술적인 문제에만 사용됐다”라고 TDWI 애널리스트이자 이 보고서의 저자인 필립 루솜은 전했다. “빅 데이터에 분석을 적용한다면, 기업이 얻을 수 있는 것들은 많다. 이는 전통적인 BI와 데이터웨어하우징 기술에서 구할 수 없었던 것들이다”라고 그는 덧붙였다. 빅 데이터라는 용어는 종종 수 백 테라바이트나 페타바이트 같은 매우 큰 규모의 데이터 세트를 의미하기도 한다. 점차 이 용어는 정형 데이터의 대용량뿐 아니라 블로그, 클릭스트림 데이터, 시스템 및 센서 데이터, 소셜 미디어 데이터 등 비정화된 데이터를 설명하는 데 사용되고 있다. 많은 경우, 기업이 오랫동안 콜센터, RFID 칩, 공급망 ...

오픈소스 대용량 데이터 분석 비정형 데이터 맵리듀스 하둡 빅 데이터 카산드라

2011.10.19

새로운 기술들이 등장함에 따라 기업들이 매우 크고 다양한 데이터 세트에서 취합한 데이터를 점점 더 정교하게 분석할 수 있게 됐다. 데이터웨어하우징연구소(TDWI)는 대기업 및 SMB의 IT관리자, 현업 사용자, 컨설턴트 325명을 대상으로 실시한 조사를 분석한 보고서에서 이같이 밝혔다 TDWI에 따르면, 1/3 이상의 응답자들은 현재 빅 데이터로 고도화된 분석의 일부로 대부분의 비즈니스 인텔리전스, 예측 분석, 데이터 마이닝 및 통계 분석 작업 등을 실행하고 있다고 말했다.   45%에 가까운 응답자들은 빅 데이터 분석이 비즈니스 통찰력을 활성화할 것으로 기대한다고 말한 반면, 38%는 더 나은 판매 및 시장 기회를 발굴하고자 빅 데이터 기술을 사용한다고 답했다. 응답자 60% 이상은 큰 데이터 분석이 기업의 소셜 미디어 마케팅 역량을 강화 수 있을 것으로 기대한다고 밝혔다. TDWI 조사에 따르면, 가장 빠른 빅 데이터 분석 활용 사례는 고도화된 데이터 가시화다. 점점 더 많은 기업들이 빅 데이터 세트에서 기업 데이터의 극히 복잡한 기업 데이터를 시각적으로 표현하기 위해 정교한 분석 툴을 실행하는 것으로 조사됐다. "기업들이 대용량 데이터 관리를 다루는 데 고전하고 있을 때, 빅 데이터는 기술적인 문제에만 사용됐다”라고 TDWI 애널리스트이자 이 보고서의 저자인 필립 루솜은 전했다. “빅 데이터에 분석을 적용한다면, 기업이 얻을 수 있는 것들은 많다. 이는 전통적인 BI와 데이터웨어하우징 기술에서 구할 수 없었던 것들이다”라고 그는 덧붙였다. 빅 데이터라는 용어는 종종 수 백 테라바이트나 페타바이트 같은 매우 큰 규모의 데이터 세트를 의미하기도 한다. 점차 이 용어는 정형 데이터의 대용량뿐 아니라 블로그, 클릭스트림 데이터, 시스템 및 센서 데이터, 소셜 미디어 데이터 등 비정화된 데이터를 설명하는 데 사용되고 있다. 많은 경우, 기업이 오랫동안 콜센터, RFID 칩, 공급망 ...

2011.10.19

마이크로소프트, 하둡 진영에 합류

마이크로소프트는 하둡 '빅 데이터' 진영에 가장 최근에 합류한 IT 업체가 됐다. 지난 수요일 마이크로소프트는 윈도우 서버와 윈도우 애저 플랫폼용 아파치 하둡(Apache Hadoop)을 개발하기 위해 야후에서 분사한 호튼웍스와 협력할 예정이라고 발표했다.   이번 파트너십 체결을 통해 호튼웍스는 마이크로소프트가 윈도우 기술에 하둡을 통합하는데 있어 전문적인 기술을 제공할 예정이다.   마이크로소프트는 올 연말까지는 윈도우 애저용 하둡 기반 서비스의 시제품을, 그리고 2012년에는 윈도우 서버용 시제품 개발을 목표로 하고 있다고 밝혔다. 그리고 윈도우 서버 하둡 개발은 기존의 마이크로소프트 BI 툴을 사용해 수행할 것임을 언급했다.   마이크로소프트의 부회장 테드 쿠머트는 "이를 통해 마이크로소프트 고객들은 좀더 나은 빅 데이터 관리를 수행할 수 있을 것"이라고 밝혔다.   오라클, IBM에 이어 하둡 합류 마이크로소프트의 이번 발표는 오라클이 하둡 기반 빅 데이터 제품과 새로운 오라클 NoSQL 데이터베이스, 그리고 통계 분석을 위한 R 프로그래밍 언어의 오픈 소스 배포를 공개한지 채 일주일이 되지 않은 시점에 이루어진 것이다.   마이크로소프트와 마찬가지로, 오라클도 하둡 제품군은 빅 데이터 분석에 대한 기업들의 관심 고조로 출시하게 됐다고 밝힌 바 있다.   그리고 12일 IBM은 하둡이 일반적으로 실행되는 대규모 컴퓨팅 클러스터 관리를 위해 소프트웨어 업체 플랫폼 컴퓨팅(Platform Computing)과 인수할 예정이라고 발표했다.     빅 데이터 애플리케이션을 지원하는 오픈소스 소프트웨어 프레임워크인 하둡은 이메일 콘텐츠, 웹로그, 클릭스트림 데이터, 오디오와 비디오 파일, 그리고 센서 데이터 등 비구조화된 대규모 데이터를 관리할 수 있는 기능을 제공, IT 전문가들로부터 많은 관심을 받고 있다.   ...

BI 오픈소스 마이크로소프트 대용량 데이터 하둡 빅 데이터

2011.10.14

마이크로소프트는 하둡 '빅 데이터' 진영에 가장 최근에 합류한 IT 업체가 됐다. 지난 수요일 마이크로소프트는 윈도우 서버와 윈도우 애저 플랫폼용 아파치 하둡(Apache Hadoop)을 개발하기 위해 야후에서 분사한 호튼웍스와 협력할 예정이라고 발표했다.   이번 파트너십 체결을 통해 호튼웍스는 마이크로소프트가 윈도우 기술에 하둡을 통합하는데 있어 전문적인 기술을 제공할 예정이다.   마이크로소프트는 올 연말까지는 윈도우 애저용 하둡 기반 서비스의 시제품을, 그리고 2012년에는 윈도우 서버용 시제품 개발을 목표로 하고 있다고 밝혔다. 그리고 윈도우 서버 하둡 개발은 기존의 마이크로소프트 BI 툴을 사용해 수행할 것임을 언급했다.   마이크로소프트의 부회장 테드 쿠머트는 "이를 통해 마이크로소프트 고객들은 좀더 나은 빅 데이터 관리를 수행할 수 있을 것"이라고 밝혔다.   오라클, IBM에 이어 하둡 합류 마이크로소프트의 이번 발표는 오라클이 하둡 기반 빅 데이터 제품과 새로운 오라클 NoSQL 데이터베이스, 그리고 통계 분석을 위한 R 프로그래밍 언어의 오픈 소스 배포를 공개한지 채 일주일이 되지 않은 시점에 이루어진 것이다.   마이크로소프트와 마찬가지로, 오라클도 하둡 제품군은 빅 데이터 분석에 대한 기업들의 관심 고조로 출시하게 됐다고 밝힌 바 있다.   그리고 12일 IBM은 하둡이 일반적으로 실행되는 대규모 컴퓨팅 클러스터 관리를 위해 소프트웨어 업체 플랫폼 컴퓨팅(Platform Computing)과 인수할 예정이라고 발표했다.     빅 데이터 애플리케이션을 지원하는 오픈소스 소프트웨어 프레임워크인 하둡은 이메일 콘텐츠, 웹로그, 클릭스트림 데이터, 오디오와 비디오 파일, 그리고 센서 데이터 등 비구조화된 대규모 데이터를 관리할 수 있는 기능을 제공, IT 전문가들로부터 많은 관심을 받고 있다.   ...

2011.10.14

데이터 과학자란 무엇인가? IBM 빅 데이터 담당자와의 일문일답

IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist)의 역할이 무엇인지에 일문일답으로 설명했다 Q. 데이터 과학자란 무엇인가? A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 트렌드를 발견하기 위해 기업의 대용량 데이터를 분석하는 사람이다. 데이터 과학자들은 기업이 경쟁우위를 가지고 살아남으려면 무엇이 필요한 지를 제시할 수 있는 사람이다. 그들은 빅데이터에서 어떻게 하면 최대 가치를 끌어내고 새로운 정보를 통합할 지에 대해 C레벨 직접 임원들에게 조언을 주고 함께 일한다. 많은 방법으로 데이터 과학자는 오늘날의 업무에서 변화 담당자로서 부서를 조정하고 정보를 통합한다. Q. 어떤 경력과 기술을 지닌 사람이 데이터 과학자에 가장 잘 맞는다고 생각하나? A. 성공적인 데이터 과학자는 정보의 복잡성을 핸들링하며 현업과 IT부서 모두에 영향을 주고 그들 자신의 연구를 추구할 수 있다. 그들은 데이터 관리에 대한 기능적인 통찰력으로 일하는 데 시간을 보내기보다는 데이터가 무엇을 말하는지를 배울 때, 비로소 최고의 가치를 제공할 수 있다. 그러므로 데이터를 찾아내는 방법이나 예측 분석을 활용하는 방법에 대한 깊은 지식이 IT로 정확한 질문을 적용하는 경험보다는 덜 중요하다. 기업들은 데이터 기술에만 초점을 맞춘 전통적인 체크리스트를 사용한다면, 뛰어난 데이터 과학자 후보군들을 놓칠 것이다. 역할에 관심 있는 사람들은 수학, 모델링, 분석 등의 배경을 가지고 있을 것이다. 기계 학습, 데이터 마이닝이나 예측 분석에서 가능한 전문적인 업무를 가지고. 후보군들은 기업 전체를 통해 일할 수 있어야 하며 다양한 훈련에 영향을 줄 수 있어야 한다. 그리고 한 가지 역할로 데이터 과학자는 데이터 관리와 전력 기술을 높이는 IBM의 무료 교육 세미나와 같은 것을 따라다니면서 전문적인 교육을 지속해야 한다. Q. 현재 이 역할에 대한 수요는 많은 편인가? A. 구글 검색은 1만 건 이상의 데이터 과학자 ...

IBM 대용량 데이터 분석 데이터 과학자 통계 빅 데이터

2011.10.12

IBM의 빅 데이터 제품 담당 부사장 앤줄 밤브리가 데이터 과학자(Data Scientist)의 역할이 무엇인지에 일문일답으로 설명했다 Q. 데이터 과학자란 무엇인가? A. 데이터 과학자란 실제 비즈니스 결과를 끌어내는 활동들간의 트렌드를 발견하기 위해 기업의 대용량 데이터를 분석하는 사람이다. 데이터 과학자들은 기업이 경쟁우위를 가지고 살아남으려면 무엇이 필요한 지를 제시할 수 있는 사람이다. 그들은 빅데이터에서 어떻게 하면 최대 가치를 끌어내고 새로운 정보를 통합할 지에 대해 C레벨 직접 임원들에게 조언을 주고 함께 일한다. 많은 방법으로 데이터 과학자는 오늘날의 업무에서 변화 담당자로서 부서를 조정하고 정보를 통합한다. Q. 어떤 경력과 기술을 지닌 사람이 데이터 과학자에 가장 잘 맞는다고 생각하나? A. 성공적인 데이터 과학자는 정보의 복잡성을 핸들링하며 현업과 IT부서 모두에 영향을 주고 그들 자신의 연구를 추구할 수 있다. 그들은 데이터 관리에 대한 기능적인 통찰력으로 일하는 데 시간을 보내기보다는 데이터가 무엇을 말하는지를 배울 때, 비로소 최고의 가치를 제공할 수 있다. 그러므로 데이터를 찾아내는 방법이나 예측 분석을 활용하는 방법에 대한 깊은 지식이 IT로 정확한 질문을 적용하는 경험보다는 덜 중요하다. 기업들은 데이터 기술에만 초점을 맞춘 전통적인 체크리스트를 사용한다면, 뛰어난 데이터 과학자 후보군들을 놓칠 것이다. 역할에 관심 있는 사람들은 수학, 모델링, 분석 등의 배경을 가지고 있을 것이다. 기계 학습, 데이터 마이닝이나 예측 분석에서 가능한 전문적인 업무를 가지고. 후보군들은 기업 전체를 통해 일할 수 있어야 하며 다양한 훈련에 영향을 줄 수 있어야 한다. 그리고 한 가지 역할로 데이터 과학자는 데이터 관리와 전력 기술을 높이는 IBM의 무료 교육 세미나와 같은 것을 따라다니면서 전문적인 교육을 지속해야 한다. Q. 현재 이 역할에 대한 수요는 많은 편인가? A. 구글 검색은 1만 건 이상의 데이터 과학자 ...

2011.10.12

성공적인 ‘빅 데이터+ BI’를 위한 10단계

기업들은 매일 고객, 공급업체, 운영에 대한 엄청난 양의 정보를 생성하고 수집하고 있다. 게다가 이제 이 정보는 멀티미디어, 스마트폰, 소셜 네트워킹 사이트 등을 통해 이용할 수 있으며 우리는 그 어느 때보다도 데이터의 홍수 시대를 맞이하게 됐다. 기존의 데이터 저장 능력으로는 이러한 많은 양의 정보에 대처할 수 없지만 빅 데이터 기술을 이용해 점차 발전하고 있는 데이터 분석학과 더 나은 비즈니스 의사결정을 위해 이런 소중한 대규모 데이터에 접속하고 사용할 수 있게 됐다. 빅 데이터는 이미 우리 생활의 일부가 됐다. 가트너의 애널리스트들은 정보의 용량이 매년 최소 59%의 비율로 증가하고 있다는 주장을 내놨다. 최근 IDC의 디지털 유니버스(Digital Universe) 연구에 따르면 전 세계적으로 저장되는 데이터의 총 용량이 2020년까지 35 제타바이트(Zettabyte)에 달할 것이라고 한다. (1 ZB= 1조 GB) 빅 데이터는 BI 영역에 변화를 가져오고 기업들에 소중한 데이터 자산을 제공하게 될 것이다.- 다음은 CIO들이 빅 데이터를 성공적으로 자사의 BI 솔루션에 결합하기 위해 따라야 할 조치들을 정리한 것이다. 1. 적절한 프로젝트를 찾아라 - 주장하건대 가장 중요한 단계는 빅 데이터를 시험할 적절한 프로젝트를 찾아내는 것이다. 이 때 기술적 쟁점보다는 커뮤니케이션으로 풀 수 있는 방안이 필요하다. 해당 프로젝트가 반드시 기존의 기반 설비로는 충족시키지 못하는 직접적인 혜택이나 장점을 기업에 제공하도록 하면 경영진의 지원을 받을 수 있을 것이다. 2. 경영진의 지원을 받아라 - 빅 데이터는 데이터 자장 기술에 대한 기존의 투자를 보완한다. 경영진의 지원은 증거 기반의 전략의 가치에 대한 수용 여부에 달려있다. (즉, 그들은 이미 기관 내에서 데이터 웨어하우징과 데이터 마이닝을 광범위하게 사용하고 있을 것이다.) 3. 적임자를 찾아라 – 분산된 대규모의 데이터와 이와 관련된 하드웨어를 관리할 수 있는 ...

CIO 오픈소스 대용량 데이터 데이터 과학자 빅 데이터

2011.10.12

기업들은 매일 고객, 공급업체, 운영에 대한 엄청난 양의 정보를 생성하고 수집하고 있다. 게다가 이제 이 정보는 멀티미디어, 스마트폰, 소셜 네트워킹 사이트 등을 통해 이용할 수 있으며 우리는 그 어느 때보다도 데이터의 홍수 시대를 맞이하게 됐다. 기존의 데이터 저장 능력으로는 이러한 많은 양의 정보에 대처할 수 없지만 빅 데이터 기술을 이용해 점차 발전하고 있는 데이터 분석학과 더 나은 비즈니스 의사결정을 위해 이런 소중한 대규모 데이터에 접속하고 사용할 수 있게 됐다. 빅 데이터는 이미 우리 생활의 일부가 됐다. 가트너의 애널리스트들은 정보의 용량이 매년 최소 59%의 비율로 증가하고 있다는 주장을 내놨다. 최근 IDC의 디지털 유니버스(Digital Universe) 연구에 따르면 전 세계적으로 저장되는 데이터의 총 용량이 2020년까지 35 제타바이트(Zettabyte)에 달할 것이라고 한다. (1 ZB= 1조 GB) 빅 데이터는 BI 영역에 변화를 가져오고 기업들에 소중한 데이터 자산을 제공하게 될 것이다.- 다음은 CIO들이 빅 데이터를 성공적으로 자사의 BI 솔루션에 결합하기 위해 따라야 할 조치들을 정리한 것이다. 1. 적절한 프로젝트를 찾아라 - 주장하건대 가장 중요한 단계는 빅 데이터를 시험할 적절한 프로젝트를 찾아내는 것이다. 이 때 기술적 쟁점보다는 커뮤니케이션으로 풀 수 있는 방안이 필요하다. 해당 프로젝트가 반드시 기존의 기반 설비로는 충족시키지 못하는 직접적인 혜택이나 장점을 기업에 제공하도록 하면 경영진의 지원을 받을 수 있을 것이다. 2. 경영진의 지원을 받아라 - 빅 데이터는 데이터 자장 기술에 대한 기존의 투자를 보완한다. 경영진의 지원은 증거 기반의 전략의 가치에 대한 수용 여부에 달려있다. (즉, 그들은 이미 기관 내에서 데이터 웨어하우징과 데이터 마이닝을 광범위하게 사용하고 있을 것이다.) 3. 적임자를 찾아라 – 분산된 대규모의 데이터와 이와 관련된 하드웨어를 관리할 수 있는 ...

2011.10.12

블로그 | 돈 버는 빅 데이터 이야기

데이터는 항상 실시간으로 생성되고 이동한다. 지금까지는 실시간 데이터를 대량으로 만들어 내는 것은 바로 증권 시장이었다. 그러나 이제 데이터는 기업의 웹사이트나 CRM시스템, 개인들이 사용하는 자동차부터 스마트폰까지, 곳곳에서 폭발적으로 생성되고 있다. 그렇다면, 모든 데이터에 관심을 기울여야 할까? 우리는 이를 활용해 무엇을 할 수 있을까? 이러한 데이터 속에는 각종 패턴과 시그널(signal)들이 담겨있다. 그리고 이러한 현상을 우리는 ‘빅 데이터(Big Data)’라 부른다. 과거 이와 같은 데이터의 홍수는 공백으로 채워져 있었고, 우리는 이를 이해하는 과정을 직관에 의존해야만 했다. 그러나 이제 우리에겐, 팩트(fact)에 반하는 우리의 직관을 시험하고, 우리의 직관과 수익성을 개선시킬 기회가 주어지게 됐다. 직관을 향상시켜라 직관이 항상 정확한 것은 아니다. 이 점을 인정해야 한다. 지금까지 우리는 비즈니스에서 가장 중요한 요소가 효율성과 경제성이라고 배웠다. 그러나 이제 이러한 요소들은 그다지 중요하지 않는다는 것이 밝혀지고 있다. 효율성에 대한 끊임없는 집착은 오히려 기업을 망쳐버릴 수 있다. 효율성 보다는 대응성이 기업에게 보다 많은 수익을 가져다 줄 것이다. 효율성은 예측 가능성과 긴 제품 수명 주기(PLC, Product Life Cycle)를 필요로 한다. 그러나 현대 시장에서 이들 두 요소의 영향력은 눈에 띄게 줄어들고 있다. 지난 세기 휴대전화 시장을 주도했던 모토로라의 사례를 살펴보자. 이 기업은 휴대전화에 대한 지속적인 투자를 통해 시장에 가장 경제적인 가격에 가장 좋은 품질의 제품을 공급할 수 있었다. 그들이 지난 십 년 간 가장 많은 노력을 쏟은 영역은 바로 효율성이었다. 그러나 시장은 그들을 외면했다. 그들은 변화하는 소비자들의 요구를 읽는데 실패했고, 결국 노키아에, 이후 블랙베리에, 그리고 최종적으로는 아이폰에 시장의 주도권을 내주게 됐다. 모토로라 휴대전화의 가격은 여전히 ...

사례 대용량 데이터 모토로라 빅 데이터 스타벅스

2011.10.11

데이터는 항상 실시간으로 생성되고 이동한다. 지금까지는 실시간 데이터를 대량으로 만들어 내는 것은 바로 증권 시장이었다. 그러나 이제 데이터는 기업의 웹사이트나 CRM시스템, 개인들이 사용하는 자동차부터 스마트폰까지, 곳곳에서 폭발적으로 생성되고 있다. 그렇다면, 모든 데이터에 관심을 기울여야 할까? 우리는 이를 활용해 무엇을 할 수 있을까? 이러한 데이터 속에는 각종 패턴과 시그널(signal)들이 담겨있다. 그리고 이러한 현상을 우리는 ‘빅 데이터(Big Data)’라 부른다. 과거 이와 같은 데이터의 홍수는 공백으로 채워져 있었고, 우리는 이를 이해하는 과정을 직관에 의존해야만 했다. 그러나 이제 우리에겐, 팩트(fact)에 반하는 우리의 직관을 시험하고, 우리의 직관과 수익성을 개선시킬 기회가 주어지게 됐다. 직관을 향상시켜라 직관이 항상 정확한 것은 아니다. 이 점을 인정해야 한다. 지금까지 우리는 비즈니스에서 가장 중요한 요소가 효율성과 경제성이라고 배웠다. 그러나 이제 이러한 요소들은 그다지 중요하지 않는다는 것이 밝혀지고 있다. 효율성에 대한 끊임없는 집착은 오히려 기업을 망쳐버릴 수 있다. 효율성 보다는 대응성이 기업에게 보다 많은 수익을 가져다 줄 것이다. 효율성은 예측 가능성과 긴 제품 수명 주기(PLC, Product Life Cycle)를 필요로 한다. 그러나 현대 시장에서 이들 두 요소의 영향력은 눈에 띄게 줄어들고 있다. 지난 세기 휴대전화 시장을 주도했던 모토로라의 사례를 살펴보자. 이 기업은 휴대전화에 대한 지속적인 투자를 통해 시장에 가장 경제적인 가격에 가장 좋은 품질의 제품을 공급할 수 있었다. 그들이 지난 십 년 간 가장 많은 노력을 쏟은 영역은 바로 효율성이었다. 그러나 시장은 그들을 외면했다. 그들은 변화하는 소비자들의 요구를 읽는데 실패했고, 결국 노키아에, 이후 블랙베리에, 그리고 최종적으로는 아이폰에 시장의 주도권을 내주게 됐다. 모토로라 휴대전화의 가격은 여전히 ...

2011.10.11

사례 | 클라우드로 대용량 데이터를 저장하는 기업들 - 2부

'사례 | 라우드로 대용량 데이터를 저장하는 기업들 - 1부'에 이어 2부에서는 스토리지 카드로부터 기업을 구원해줄 수단으로 클라우드를 도입한 기업들을 소개한다. 운영 데이터, 운영 위험 데이터 관리 책임의 문제는 대규모 데이터 집합이 클라우드로 이전될 때 해결돼야 하는 여러 가지 위험 중 일부에 지나지 않는다. 클라우드가 기업에 미치는 영향이 증가함에 따라 기업의 통제를 넘어서는 클라우드의 운영 중단 혹은 보안 침해 사고로 발생한 데이터 손실의 영향력도 점점 더 커지고 있다. 클라우드에 민감한 데이터를 이전하면 그게 끝이다. 공은 이제 클라우드 제공업체의 손으로 넘어가게 되는 것이다. 그리고 최근에는 보안 침해 사고로 인해 호스팅 제공업체 디스트리뷰트IT(Distribute.IT)가 관리 중이던 4,800개 이상 사이트의 교체 불가 콘텐트가 삭제된 것과 같은 사고가 발생하기도 했다. 그러한 사고 그리고 유사 사고로 인해 호스팅 계정 SaaS 제공업체 사수(Saasu)는 보안을 최우선 과제로 삼고 수 기가 바이트에 달하는 고객들의 신상정보와 금융 정보가 담긴 데이터베이스를 맥쿼리 텔레콤(Macquarie Telecom)의 자회사 나인폴드(Ninefold)의 클라우드 스토리지에 정기적으로 백업하고 있다. 60GB에 달하는 사수 데이터베이스의 증분 백업(Incremental backups)은 알싱크(rSync)와 싱크파이드(Syncified)를 사용하여 15분 마다 클라우드로 복사되고 완전 백업은 2일 마다 전세계의 여러 위치로 저장된다. 이러한 작업을 위한 총 비용은 월 사용료로 약 12달러(호주)다. 사수의 CTO 폴 글라비치는 "클라우드에 데이터를 저장하는 것은 매우 쉽다"며 "그것은 우리 회사가 지난 십 년간 해온 일이고 우리는 그러한 작업에 매우 자신이 있다. 몇몇 기업들은 이러한 것을 까다로운 작업으로 여기고 자체적으로 데이터를 보유할 때 좀 더 안전하다고 느...

클라우드 스토리지 대용량 데이터 빅 데이터 저장

2011.10.10

'사례 | 라우드로 대용량 데이터를 저장하는 기업들 - 1부'에 이어 2부에서는 스토리지 카드로부터 기업을 구원해줄 수단으로 클라우드를 도입한 기업들을 소개한다. 운영 데이터, 운영 위험 데이터 관리 책임의 문제는 대규모 데이터 집합이 클라우드로 이전될 때 해결돼야 하는 여러 가지 위험 중 일부에 지나지 않는다. 클라우드가 기업에 미치는 영향이 증가함에 따라 기업의 통제를 넘어서는 클라우드의 운영 중단 혹은 보안 침해 사고로 발생한 데이터 손실의 영향력도 점점 더 커지고 있다. 클라우드에 민감한 데이터를 이전하면 그게 끝이다. 공은 이제 클라우드 제공업체의 손으로 넘어가게 되는 것이다. 그리고 최근에는 보안 침해 사고로 인해 호스팅 제공업체 디스트리뷰트IT(Distribute.IT)가 관리 중이던 4,800개 이상 사이트의 교체 불가 콘텐트가 삭제된 것과 같은 사고가 발생하기도 했다. 그러한 사고 그리고 유사 사고로 인해 호스팅 계정 SaaS 제공업체 사수(Saasu)는 보안을 최우선 과제로 삼고 수 기가 바이트에 달하는 고객들의 신상정보와 금융 정보가 담긴 데이터베이스를 맥쿼리 텔레콤(Macquarie Telecom)의 자회사 나인폴드(Ninefold)의 클라우드 스토리지에 정기적으로 백업하고 있다. 60GB에 달하는 사수 데이터베이스의 증분 백업(Incremental backups)은 알싱크(rSync)와 싱크파이드(Syncified)를 사용하여 15분 마다 클라우드로 복사되고 완전 백업은 2일 마다 전세계의 여러 위치로 저장된다. 이러한 작업을 위한 총 비용은 월 사용료로 약 12달러(호주)다. 사수의 CTO 폴 글라비치는 "클라우드에 데이터를 저장하는 것은 매우 쉽다"며 "그것은 우리 회사가 지난 십 년간 해온 일이고 우리는 그러한 작업에 매우 자신이 있다. 몇몇 기업들은 이러한 것을 까다로운 작업으로 여기고 자체적으로 데이터를 보유할 때 좀 더 안전하다고 느...

2011.10.10

사례 | 클라우드로 대용량 데이터를 저장하는 기업들-1부

최근 저렴한 아카이빙, 손쉬운 접근, 그리고 온라인 분석 기능을 이유로 대용량 데이터를 클라우드에 저장하는 기업들이 점점 늘어나는 추세다. 그러나 이는 너무 위험한 발상일 수도 있다. 기업들은 저마다 자사가 관리하는 데이터 양이 방대하고 생각할 것이다. 하지만 제임스 반게이만큼은 아니다. 반게이는 호주 퀸즈랜드에 위치한 유틸리티 기업인 에르곤 에너지(Ergon Energy)에서 ROME(원격 감시 자동 경제 상황 모델링, Remote Observation Automated Modeling Economic Situation) 프로젝트의 프로그램 책임자다. ROME는 무선 레이더 관측을 통해 생성되고 퀸즈랜드 전역의 모든 전력 인프라를 센티미터 단위로 매핑할 데이터를 관리하고 분석하기 위한 기본 계획과 그러한 자산의 500m 내에 위치하는 수 억 그루의 나무를 3D로 모델링하는 것이다. 센티미터 단위의 해상도를 갖는 지도는 교외 지역에서는 60m로 확대될 수 있는 지적 지도의 정확도를 크게 개선할 수 있다. 이뿐만 아니라 에르곤 에너지가 자산을 좀 더 잘 추적하고 관리해 매년 나무의 성장률을 비교해 전력망에 손상을 입힐 수 있는 장애물들을 초기에 제거할 수 있도록 해준다. 이 프로젝트로 연간 4,400만 달러(호주달러)를 절감할 것으로 목표로 하며 이에 대한 논란이 있긴 하다. 반게이의 팀은 그러한 목표를 달성하기 위해 400TB의 데이터를 생성하고 관리하며 새로운 지도 데이터가 수집될 때마다 주기적으로 데이터를 업데이트 해야만 한다. 이 400TB의 데이터가 클라우드로 저장된다. 그러한 데이터는 구글의 클라우드 지리정보 시스템용 지리 데이터를 확보하기 위한 협력 프로젝트 어스 빌더(Earth Builder)의 자료로 활용되고, 모든 사용자들은 구글 어스(Google Earth)와 구글 맵스(Google Maps) 인터페이스를 통해 그러한 데이터를 이용할 수 있다. 어스 빌더는 물고기 서식지, 코알라 서식지, 유해...

사례 대용량 데이터 빅 데이터

2011.10.07

최근 저렴한 아카이빙, 손쉬운 접근, 그리고 온라인 분석 기능을 이유로 대용량 데이터를 클라우드에 저장하는 기업들이 점점 늘어나는 추세다. 그러나 이는 너무 위험한 발상일 수도 있다. 기업들은 저마다 자사가 관리하는 데이터 양이 방대하고 생각할 것이다. 하지만 제임스 반게이만큼은 아니다. 반게이는 호주 퀸즈랜드에 위치한 유틸리티 기업인 에르곤 에너지(Ergon Energy)에서 ROME(원격 감시 자동 경제 상황 모델링, Remote Observation Automated Modeling Economic Situation) 프로젝트의 프로그램 책임자다. ROME는 무선 레이더 관측을 통해 생성되고 퀸즈랜드 전역의 모든 전력 인프라를 센티미터 단위로 매핑할 데이터를 관리하고 분석하기 위한 기본 계획과 그러한 자산의 500m 내에 위치하는 수 억 그루의 나무를 3D로 모델링하는 것이다. 센티미터 단위의 해상도를 갖는 지도는 교외 지역에서는 60m로 확대될 수 있는 지적 지도의 정확도를 크게 개선할 수 있다. 이뿐만 아니라 에르곤 에너지가 자산을 좀 더 잘 추적하고 관리해 매년 나무의 성장률을 비교해 전력망에 손상을 입힐 수 있는 장애물들을 초기에 제거할 수 있도록 해준다. 이 프로젝트로 연간 4,400만 달러(호주달러)를 절감할 것으로 목표로 하며 이에 대한 논란이 있긴 하다. 반게이의 팀은 그러한 목표를 달성하기 위해 400TB의 데이터를 생성하고 관리하며 새로운 지도 데이터가 수집될 때마다 주기적으로 데이터를 업데이트 해야만 한다. 이 400TB의 데이터가 클라우드로 저장된다. 그러한 데이터는 구글의 클라우드 지리정보 시스템용 지리 데이터를 확보하기 위한 협력 프로젝트 어스 빌더(Earth Builder)의 자료로 활용되고, 모든 사용자들은 구글 어스(Google Earth)와 구글 맵스(Google Maps) 인터페이스를 통해 그러한 데이터를 이용할 수 있다. 어스 빌더는 물고기 서식지, 코알라 서식지, 유해...

2011.10.07

빅 데이터 DW 선택 가이드 2-IDG Special Report

DW어플라이언스는 비정형 데이터에 최적화된 DW다. 이 점이 바로 기존의 DW와 구분되는 가장 큰 차별점이다. 데이터의 범람 속에서 이를 분석할 수 있을 뿐 아니라 과거에 하지 못했던 분석까지 가능하게 하는 솔루션이 바로 DW어플라이언스기 때문이다. 우리캐피탈과 코리아크레딧뷰로의 실제 사례와 고성능 분석을 위한 논리적 DW 재구축 전략을 소개한다. 주요 내용 데이터의 범람과 분석 필요성의 대두  -왜 빅 데이터인가? 주목해야 할 이유 -빅 데이터 수혜 직종 ‘데이터 과학자’ FAQ 변화하는 분석 대상과 기술 -빅 데이터가 가져올 IT업계의 변화 -일상 생활 모니터링해 미래의 행동 예측 -부상하는 하둡, ‘아직은 RDBMS와 병행해 사용’                                                         빅 데이터를 위한 선택-DW어플라이언스                                                         -우리캐피탈| 빠르고 정확한 데이...

BI 네티자 비정형 데이터 DW어플라이언스 분석 대용량 데이터 DW IBM CIO 빅 데이터

2011.10.04

DW어플라이언스는 비정형 데이터에 최적화된 DW다. 이 점이 바로 기존의 DW와 구분되는 가장 큰 차별점이다. 데이터의 범람 속에서 이를 분석할 수 있을 뿐 아니라 과거에 하지 못했던 분석까지 가능하게 하는 솔루션이 바로 DW어플라이언스기 때문이다. 우리캐피탈과 코리아크레딧뷰로의 실제 사례와 고성능 분석을 위한 논리적 DW 재구축 전략을 소개한다. 주요 내용 데이터의 범람과 분석 필요성의 대두  -왜 빅 데이터인가? 주목해야 할 이유 -빅 데이터 수혜 직종 ‘데이터 과학자’ FAQ 변화하는 분석 대상과 기술 -빅 데이터가 가져올 IT업계의 변화 -일상 생활 모니터링해 미래의 행동 예측 -부상하는 하둡, ‘아직은 RDBMS와 병행해 사용’                                                         빅 데이터를 위한 선택-DW어플라이언스                                                         -우리캐피탈| 빠르고 정확한 데이...

2011.10.04

NSA, 빅 데이터 위한 라벨 기반 SW를 아파치 재단에 전달

미국 국가안전국(National Security Agency)이 새로운 라벨 기반 데이터 저장 소프트웨어를 아파치 소프트웨어 재단에 전했다. NSA는 다른 기업들도 이 소프트웨어를 정보보호 시스템에서 사용해 개발에 도움이 될 것으로 기대한다고 전했다. 아쿠물로(Accumulo)라고 이름을 붙인 이 소프트웨어는 의미 있고 매우 자세한 라벨을 사용하고 있다. 이 라벨은 데이터 저장소에 있는 각각의 셀에 태그를 붙일 수 있으며 이 각각의 셀에 보안 정책을 적용할 수 있다. 예를 들어, 외부 서버가 어떤 셀들에는 접근할 수 있지만 다른 셀들에 대해서는 접근하지 못하도록 할 수 있다.   구글의 빅 테이블(Big Table) 디자인을 기반으로 한 아쿠물로는 단일 키(simple key)/가치 키(Value key) 보관소다. 이 보관소는 키와 함께 제공하는 시스템이 그 키와 관련 있는 모든 데이터를 보관했다가 사용자에게 제공해줄 것이다. NSA는 “디자인을 선별해서 사용할 수 있도록 아쿠물로는 여러 서버로 운영된다. 또한 빅 데이터 시스템을 관리하기 위한 다양한 선택사양들을 제시해 준다”라고 말했다. “아쿠물로의 라벨 접근 자체가 완성된 보안 솔루션을 제공하지 않는다. 아쿠물로는 데이터 각각의 조각에 자동으로 라벨을 붙이는 메커니즘이며 이를 직접 확인할 수 있다”라고 NSA는 아파치 제안서에서 밝혔다. 다른 개발자들이 아쿠쿨로를 활용해 기능을 향상시키면, 이를 회사, 정부 기관 및 엄격한 보안 정책을 준수해야 하는 기관이나 기업들의 데이터 보관소에도 제공할 수 있다”라고 NSA는 덧붙였다. ciokr@idg.co.kr

대용량 데이터 태그 빅 데이터 라벨 태깅 NSA 아파치 재단

2011.09.27

미국 국가안전국(National Security Agency)이 새로운 라벨 기반 데이터 저장 소프트웨어를 아파치 소프트웨어 재단에 전했다. NSA는 다른 기업들도 이 소프트웨어를 정보보호 시스템에서 사용해 개발에 도움이 될 것으로 기대한다고 전했다. 아쿠물로(Accumulo)라고 이름을 붙인 이 소프트웨어는 의미 있고 매우 자세한 라벨을 사용하고 있다. 이 라벨은 데이터 저장소에 있는 각각의 셀에 태그를 붙일 수 있으며 이 각각의 셀에 보안 정책을 적용할 수 있다. 예를 들어, 외부 서버가 어떤 셀들에는 접근할 수 있지만 다른 셀들에 대해서는 접근하지 못하도록 할 수 있다.   구글의 빅 테이블(Big Table) 디자인을 기반으로 한 아쿠물로는 단일 키(simple key)/가치 키(Value key) 보관소다. 이 보관소는 키와 함께 제공하는 시스템이 그 키와 관련 있는 모든 데이터를 보관했다가 사용자에게 제공해줄 것이다. NSA는 “디자인을 선별해서 사용할 수 있도록 아쿠물로는 여러 서버로 운영된다. 또한 빅 데이터 시스템을 관리하기 위한 다양한 선택사양들을 제시해 준다”라고 말했다. “아쿠물로의 라벨 접근 자체가 완성된 보안 솔루션을 제공하지 않는다. 아쿠물로는 데이터 각각의 조각에 자동으로 라벨을 붙이는 메커니즘이며 이를 직접 확인할 수 있다”라고 NSA는 아파치 제안서에서 밝혔다. 다른 개발자들이 아쿠쿨로를 활용해 기능을 향상시키면, 이를 회사, 정부 기관 및 엄격한 보안 정책을 준수해야 하는 기관이나 기업들의 데이터 보관소에도 제공할 수 있다”라고 NSA는 덧붙였다. ciokr@idg.co.kr

2011.09.27

빅 데이터의 기대주 '인메모리 컴퓨팅'

빅 데이터의 출현과 더불어 주목 받는 기술이 바로 인메모리 컴퓨팅이다. 인메모리 컴퓨팅은 전통적으로 디스크 기반 스토리지에 상주하는 워크로드를 메인 메모리로 옮기는 기술이다. 이는 기존 방식에 비해 수 배에 달하는 성능 개선 효과를 가져온다. 하지만 이 기술은 데이터를 추출해 관계형 데이터 웨어하우스로 옮기는 데 따른 장점보다는 트랜잭셔널 시스템에서 실시간으로 이벤트를 분석하는데 따른 장점이 더 크다. 인메모리 컴퓨팅은 클릭테크(QlickTech)가 클릭뷰(Qlikview) 인메모리 비즈니스 분석 툴을 이용해 개척했다. 팁코(TIBCO)와 SAP 같은 대형 IT업체도 이런 솔루션을 제공하고 있으며, SAP는 올해 HANA 인메모리 비즈니스 분석 어플라이언스를 시장에 소개하기도 했다. SAP 비즈니스 애널리틱스 부문의 글로벌 매니저인 스티브 루카스는 "현재 25개 기업들이 베타 사용자로 HANA를 이용하고 있으며, 또 다른 수 천 기업들이 많은 관심을 보이고 있다"라고 밝혔다. "대형 소비재 기업의 경우, 재고 확보나 마케팅 같은 대용량 데이터가 발생하는 분야에서 분석 방법을 모색하고 있다. 또 ‘사기 행위’를 분석하고 싶어하는 금융 회사들도 있다”라고 루카스는 덧붙였다. 심지어 HANA를 이용해 가정에서 시청하는 TV 프로그램이 무엇인지 실시간으로 분석하고자 하는 모색하는 기업들도 있다. 루카스는 HANA를 통해 예측하지 못한 유형의 활동을 살펴보기 원하는 회사들도 있다고 전했다. 이들 회사가 추구하는 것은 속도다. 인메모리 기술과 데이터베이스 최적화는 기업들이 기존에 가능했던 방법보다 수 천 배 빠른 속도로 분석하게 해준다. 따라서 개별 기록에 대한 손상 없이 한층 크고 복잡한 데이터 세트를 처리할 수 있다. 빅 데이터로 탄생한 새로운 비즈니스 빅 데이터가 일부 기업들에게 새 기회를 제공하고 있지만, 이와 동시에 완전히 새로운 비즈니스...

SAP 대용량 데이터 빅 데이터 HANA 인메모리 컴퓨팅

2011.09.23

빅 데이터의 출현과 더불어 주목 받는 기술이 바로 인메모리 컴퓨팅이다. 인메모리 컴퓨팅은 전통적으로 디스크 기반 스토리지에 상주하는 워크로드를 메인 메모리로 옮기는 기술이다. 이는 기존 방식에 비해 수 배에 달하는 성능 개선 효과를 가져온다. 하지만 이 기술은 데이터를 추출해 관계형 데이터 웨어하우스로 옮기는 데 따른 장점보다는 트랜잭셔널 시스템에서 실시간으로 이벤트를 분석하는데 따른 장점이 더 크다. 인메모리 컴퓨팅은 클릭테크(QlickTech)가 클릭뷰(Qlikview) 인메모리 비즈니스 분석 툴을 이용해 개척했다. 팁코(TIBCO)와 SAP 같은 대형 IT업체도 이런 솔루션을 제공하고 있으며, SAP는 올해 HANA 인메모리 비즈니스 분석 어플라이언스를 시장에 소개하기도 했다. SAP 비즈니스 애널리틱스 부문의 글로벌 매니저인 스티브 루카스는 "현재 25개 기업들이 베타 사용자로 HANA를 이용하고 있으며, 또 다른 수 천 기업들이 많은 관심을 보이고 있다"라고 밝혔다. "대형 소비재 기업의 경우, 재고 확보나 마케팅 같은 대용량 데이터가 발생하는 분야에서 분석 방법을 모색하고 있다. 또 ‘사기 행위’를 분석하고 싶어하는 금융 회사들도 있다”라고 루카스는 덧붙였다. 심지어 HANA를 이용해 가정에서 시청하는 TV 프로그램이 무엇인지 실시간으로 분석하고자 하는 모색하는 기업들도 있다. 루카스는 HANA를 통해 예측하지 못한 유형의 활동을 살펴보기 원하는 회사들도 있다고 전했다. 이들 회사가 추구하는 것은 속도다. 인메모리 기술과 데이터베이스 최적화는 기업들이 기존에 가능했던 방법보다 수 천 배 빠른 속도로 분석하게 해준다. 따라서 개별 기록에 대한 손상 없이 한층 크고 복잡한 데이터 세트를 처리할 수 있다. 빅 데이터로 탄생한 새로운 비즈니스 빅 데이터가 일부 기업들에게 새 기회를 제공하고 있지만, 이와 동시에 완전히 새로운 비즈니스...

2011.09.23

HP의 오토노미 인수, CIO가 주시해야 할 이유

CIO들이 HP의 이번 인수에 주목해야 할 이유가 여기 있다. 찰스 킹 애널리스트에 따르면, 이번 인수는 애널리틱스의 미래를 좌우할 만한 이정표다. ‘비정형 데이터 활용’의 문턱을 모든 규모의 기업들에게 열어내는 사건일 수도 있다. ->글로벌 칼럼 | HP에게 보내는 갈채 '오토노미 인수, 탁월한 결정' IT 시장에서의 차세대 접전이 윤곽을 드러내고 있다. 이메일, 이미지, 동영상 등등의 이용하기 어려운 비구조적 데이터를 분류하고 저장 및 이용하기 위한 방안을 기업들에게 제공하려는, 이른바 대용량 데이터 분석 시장이다. 펀드IT의 수석 애널리스트인 찰스 킹은 지난 주 정보 관리 소프트웨어 업체인 오토노미(Autonomy)를 인수하려는 HP의 행보가 이러한 전쟁에 도화선을 당긴 격이라고 해석했다. 아울러 이번 인수는 결과적으로 기업들이 계속 커져가는 데이터 문제를 해결할 수 있도록 획기적으로 일조할 것이라고 분석했다. 또 기업 CIO들은 HP의 움직임과 그것이 신흥 시장에서 소비자들에게 잠재적으로 무엇을 의미하는지에 대해 파악할 필요가 있다고 그는 덧붙였다.   킹에 따르면 비구조적 데이터, 비정형 데이터 혹은 대용량 데이터(big data)라고 불리는 것들은 기업 전체데이터의 80%를 차지하고 있다. 그러나 분석되고 사용될 수 없다면 아무 쓸모 없는 것들이기도 하다. 전문 업체들이 이 문제에 대해 유효한 대답을 제공하려고 박차를 가하고 있는 이유이기도 하다. 기업 고객을 두고 HP와 경쟁하고 있는 몇몇 업체들은 지난 2년간 이러한 방향대로 움직여왔다. EMC는 작년에 데이터 웨어하우징 업체인 그린플럼(Greenplum)을 인수했고 IBM은 비구조적 데이터를 다루는데 도움이 될만한 기술을 들여올 목적으로 데이터 어플라이언스 업체인 네티자(Netezza)를 인수했다. IBM은 행보는 사실 더 오래됐다. 그 이전부터 자사의 비즈니스 인텔리전스 제품들을 개선...

HP 대용량 데이터 분석 애널리틱스 오토노미 빅 데이터

2011.08.26

CIO들이 HP의 이번 인수에 주목해야 할 이유가 여기 있다. 찰스 킹 애널리스트에 따르면, 이번 인수는 애널리틱스의 미래를 좌우할 만한 이정표다. ‘비정형 데이터 활용’의 문턱을 모든 규모의 기업들에게 열어내는 사건일 수도 있다. ->글로벌 칼럼 | HP에게 보내는 갈채 '오토노미 인수, 탁월한 결정' IT 시장에서의 차세대 접전이 윤곽을 드러내고 있다. 이메일, 이미지, 동영상 등등의 이용하기 어려운 비구조적 데이터를 분류하고 저장 및 이용하기 위한 방안을 기업들에게 제공하려는, 이른바 대용량 데이터 분석 시장이다. 펀드IT의 수석 애널리스트인 찰스 킹은 지난 주 정보 관리 소프트웨어 업체인 오토노미(Autonomy)를 인수하려는 HP의 행보가 이러한 전쟁에 도화선을 당긴 격이라고 해석했다. 아울러 이번 인수는 결과적으로 기업들이 계속 커져가는 데이터 문제를 해결할 수 있도록 획기적으로 일조할 것이라고 분석했다. 또 기업 CIO들은 HP의 움직임과 그것이 신흥 시장에서 소비자들에게 잠재적으로 무엇을 의미하는지에 대해 파악할 필요가 있다고 그는 덧붙였다.   킹에 따르면 비구조적 데이터, 비정형 데이터 혹은 대용량 데이터(big data)라고 불리는 것들은 기업 전체데이터의 80%를 차지하고 있다. 그러나 분석되고 사용될 수 없다면 아무 쓸모 없는 것들이기도 하다. 전문 업체들이 이 문제에 대해 유효한 대답을 제공하려고 박차를 가하고 있는 이유이기도 하다. 기업 고객을 두고 HP와 경쟁하고 있는 몇몇 업체들은 지난 2년간 이러한 방향대로 움직여왔다. EMC는 작년에 데이터 웨어하우징 업체인 그린플럼(Greenplum)을 인수했고 IBM은 비구조적 데이터를 다루는데 도움이 될만한 기술을 들여올 목적으로 데이터 어플라이언스 업체인 네티자(Netezza)를 인수했다. IBM은 행보는 사실 더 오래됐다. 그 이전부터 자사의 비즈니스 인텔리전스 제품들을 개선...

2011.08.26

설문조사 | "신기술이 대용량 데이터 분석 견인 중"

새로운 기술들이 정교한 데이터 분석에의 진입장벽을 낮춰주고 있는 것으로 조사됐다고 데이터 웨어하우징 협회(TDWI ; The Data Warehousing Institute)가 밝혔다. 새로운 기술 및 도구의 출현이 과거 불가능했던 수준의 대용량 비정형 데이터 분석을 가능케하고 있으며, 이에 따라 대용량 데이터 분석 기술은 기업의 핵심 자산으로 자리잡아가고 있다는 것이 이번 보고서의 골자다. TDWI가 진행한 이번 설문 조사는 325명의 IT 매니저, 기업사용자, 컨설턴트 등을 대상으로 한 것이다. 응답자의 3/4 이상은 현재 대용량 데이터에 대한 분석을 몇몇 형태로 운영 중이라고 응답했다. 대대부분은 비즈니스 인텔리전스(BI), 예측 애널리틱스, 데이터 마이닝, 통계 분석 등의 용도를 이를 활용하고 있었다. 또 거의 45%의 응답자가 대용량 데이터 분석이 보다 정확한 비즈니스 통찰을 구현해줄 것으로 기대하고 있다고 대답했다. 아울러 38%의 응답자는 이 기술이 매출 증대 및 시장에서의 기회 발굴에 도움을 줄 수 있도록 강구하고 있다고 대답했다. 대용량 데이터 분석이 기업의 소셜 미디어 마케팅 능력을 증진시킬 수 있을 것이라고 응답한 이는 60% 이상이었다. 이번 조사에서는 또 대용량 데이터 분석과 관련해 가장 빠르게 성장하고 있는 분야가 진보적인 데이터 가시화(advanced data visualization)라는 점이 드러났다. 점점 더 많은 기업들이 보다 정교한 분석 도구를 활용해 데이터의 가시성을 높여가고 있었다. TDWI의 애널리스트이자 보고서의 저자인 필립 루솜은 "대용량 데이터는 지금껏 기업들에게 골치아픈 기술적 문제였었다. 그러나 이제는 분석 도구를 통해 중요한 정보를 얻을 수 있는 원천이 되고 있다"라고 말했다. 루솜에 따르면 대용량 데이터(Big data)라는 용어는 흔히 대단히 큰 데이터 세트를 의미한다. 보통 몇백 테라바이트에서 수 페타바이트에 이르는 용량의 데이터를 지칭했다. 최근에...

BI 대용량 데이터 애널리틱스 TDWI

2011.08.26

새로운 기술들이 정교한 데이터 분석에의 진입장벽을 낮춰주고 있는 것으로 조사됐다고 데이터 웨어하우징 협회(TDWI ; The Data Warehousing Institute)가 밝혔다. 새로운 기술 및 도구의 출현이 과거 불가능했던 수준의 대용량 비정형 데이터 분석을 가능케하고 있으며, 이에 따라 대용량 데이터 분석 기술은 기업의 핵심 자산으로 자리잡아가고 있다는 것이 이번 보고서의 골자다. TDWI가 진행한 이번 설문 조사는 325명의 IT 매니저, 기업사용자, 컨설턴트 등을 대상으로 한 것이다. 응답자의 3/4 이상은 현재 대용량 데이터에 대한 분석을 몇몇 형태로 운영 중이라고 응답했다. 대대부분은 비즈니스 인텔리전스(BI), 예측 애널리틱스, 데이터 마이닝, 통계 분석 등의 용도를 이를 활용하고 있었다. 또 거의 45%의 응답자가 대용량 데이터 분석이 보다 정확한 비즈니스 통찰을 구현해줄 것으로 기대하고 있다고 대답했다. 아울러 38%의 응답자는 이 기술이 매출 증대 및 시장에서의 기회 발굴에 도움을 줄 수 있도록 강구하고 있다고 대답했다. 대용량 데이터 분석이 기업의 소셜 미디어 마케팅 능력을 증진시킬 수 있을 것이라고 응답한 이는 60% 이상이었다. 이번 조사에서는 또 대용량 데이터 분석과 관련해 가장 빠르게 성장하고 있는 분야가 진보적인 데이터 가시화(advanced data visualization)라는 점이 드러났다. 점점 더 많은 기업들이 보다 정교한 분석 도구를 활용해 데이터의 가시성을 높여가고 있었다. TDWI의 애널리스트이자 보고서의 저자인 필립 루솜은 "대용량 데이터는 지금껏 기업들에게 골치아픈 기술적 문제였었다. 그러나 이제는 분석 도구를 통해 중요한 정보를 얻을 수 있는 원천이 되고 있다"라고 말했다. 루솜에 따르면 대용량 데이터(Big data)라는 용어는 흔히 대단히 큰 데이터 세트를 의미한다. 보통 몇백 테라바이트에서 수 페타바이트에 이르는 용량의 데이터를 지칭했다. 최근에...

2011.08.26

대용량 데이터가 가져올 변화

IIIS의 위원들에게 들려온 바에 따르면, 현실 마이닝, 데이터 태깅, 클라우드 평가 대행기관 등은 '대용량 데이터의 급증에서 나온 세가지 새로운 트렌드다. 실제 벌어지는 일상에서 얻는 데이터 ‘현실 마이닝(Reality Mining)’ 스토리지 네트워킹산업 협회 호주/뉴질랜드 지부(Storage Networking Industry Association A/NZ) 와 컴퓨터월드 호주 지부가 공동으로 개최한 행사 ‘정보 인프라 구축 심포지움(Implementing Information Infrastructure Symposium)’에서 연설을 맡은, 전략 조언가이자 작가며 미래학자인 로스 도슨은 “현실 마이닝(Reality mining)”–주어진 환경에서 사람들의 행동에 따른 데이터 수집-은 대용량 데이터에서 나왔으며 동시에 그것에 기여하는 주요 트렌드라고 밝혔다. 그는 “사무실 환경을 둘러보면, 살펴볼만한 정보들이 엄청나게 많이 있다. 사람들은 어떠한 행동을 취하는가, 그들은 어디를 보고 있으며 어떠한 대화를 나누는가, 서로 이야기를 나눌 때 얼마나 많이 웃는가, 등등이 예가 될 수 있다”라고 설명했다. “이런 것들을 단 몇 시간만 하면 말 그대로 테라바이트 단위의 데이터들을 얻을 수 있다. 그 데이터는 생산성을 올리기 위해, 협력을 증진시키고 조직 내에서 가치를 창출해낼 수 있는 새로운 방법을 고안하기 위해 수집된다”라고 그는 덧붙였다. 도슨은 데이터 기반의 의사결정을 이용하는 조직들이 5내지 6%의 생산성 향상을 누릴 수 있었음을 시사하는 연구를 통해 이러한 종류의 현실 마이닝을 더욱 강조해야 한다고 말했다. 그는 “이러한 종류의 현실 마이닝을 필요로 한다. 그리고 이것은 조직 내에서 캡쳐되고 효과적으로 사용될만한 모든 데이터를 필요로 한다”라고 전했다. ...

BI 빅데이터 대용량 데이터 비정형 데이터 Big Data 트렌드 현실 마이닝 Reality Mining 데이터 태깅

2011.08.04

IIIS의 위원들에게 들려온 바에 따르면, 현실 마이닝, 데이터 태깅, 클라우드 평가 대행기관 등은 '대용량 데이터의 급증에서 나온 세가지 새로운 트렌드다. 실제 벌어지는 일상에서 얻는 데이터 ‘현실 마이닝(Reality Mining)’ 스토리지 네트워킹산업 협회 호주/뉴질랜드 지부(Storage Networking Industry Association A/NZ) 와 컴퓨터월드 호주 지부가 공동으로 개최한 행사 ‘정보 인프라 구축 심포지움(Implementing Information Infrastructure Symposium)’에서 연설을 맡은, 전략 조언가이자 작가며 미래학자인 로스 도슨은 “현실 마이닝(Reality mining)”–주어진 환경에서 사람들의 행동에 따른 데이터 수집-은 대용량 데이터에서 나왔으며 동시에 그것에 기여하는 주요 트렌드라고 밝혔다. 그는 “사무실 환경을 둘러보면, 살펴볼만한 정보들이 엄청나게 많이 있다. 사람들은 어떠한 행동을 취하는가, 그들은 어디를 보고 있으며 어떠한 대화를 나누는가, 서로 이야기를 나눌 때 얼마나 많이 웃는가, 등등이 예가 될 수 있다”라고 설명했다. “이런 것들을 단 몇 시간만 하면 말 그대로 테라바이트 단위의 데이터들을 얻을 수 있다. 그 데이터는 생산성을 올리기 위해, 협력을 증진시키고 조직 내에서 가치를 창출해낼 수 있는 새로운 방법을 고안하기 위해 수집된다”라고 그는 덧붙였다. 도슨은 데이터 기반의 의사결정을 이용하는 조직들이 5내지 6%의 생산성 향상을 누릴 수 있었음을 시사하는 연구를 통해 이러한 종류의 현실 마이닝을 더욱 강조해야 한다고 말했다. 그는 “이러한 종류의 현실 마이닝을 필요로 한다. 그리고 이것은 조직 내에서 캡쳐되고 효과적으로 사용될만한 모든 데이터를 필요로 한다”라고 전했다. ...

2011.08.04

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9