Offcanvas

��������������������������������������������������������������������������������� ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

"지금은 빅 데이터 걸음마 단계, 문제는 분석" 업계 전문가 지적

최근 가트너가 2013년은 빅 데이터의 해가 될 것이라 선언했다. 정말 그럴까? 그 무엇도 확실한 사실이라 단정하기 어려운 상황이지만 채널 전문가들의 경우, 빅 데이터에 대한 접근이 지금까지 그래왔듯 저항할 수 없는 흐름이라기 보다는 일종의 유행으로 보이는 측면이 있다고 한 목소리로 말하고 있다. 실제로 기업들은 빅 데이터를 자신들이 나아가야 할 방향으로 바라보고 있지만, 여전히 애널리스트들은 빅 데이터 접근에 신중한 태도를 취할 것을 당부하고 있다. 어디서 시작하고, 또 쌓여있는 이 모든 데이터들을 통해 무엇을 할 지 단서를 잡지 못하고 있기 때문이다. 하지만 전문가들은 빅 데이터에 대한 강조가 향후 몇 년은 더 큰 폭의 증가세를 보일 것이라 전망하는 것 역시 사실이다. 전문가들에 따르면, 기업들은 빅 데이터가 요구하는 바가 무엇이며 이것이 어떤 가치를 전해줄 수 있을지를 이해해야 하고, 그 선봉에서 역할을 해야 하는 것이 바로 ‘분석(Analytics)’이다. 아크로니스A/NZ(Acronis A/NZ)의 총괄 매니저 앤디 퍼비스는 빅 데이터의 성장을 이끄는 가장 중요한 요인으로 IT의 소비자화와 그와 연관된 모바일 기기의 확산을 꼽았다. 퍼비스는 현재 소비자들의 평균 모바일 기기 보유 대수는 2.3대지만, 2015년에는 그 수치가 4.7대까지 증가할 것으로 전망했다. 퍼비스는 “이제 언제 어디서나 데이터 이용을 기대하는 것은 새로운 문화로 자리잡았다. 이제 데이터는 클라우드와 모바일 기기를 통해 모든 곳에 열려있다. 기업은 이러한 변화를 간과해선 안될 것이다”라고 강조했다. 가트너의 대담한 주장은 글로벌 조사 결과에서도 입증됐다. 기업들을 대상으로 한 가트너의 조사에서 현재 빅 데이터 기술에 투자하고 있거나 1년 이내에 투자 계획이 있다고 답한 기업의 비율은 42% 수준이었다. 2015년에는 글로벌 100대 기업 가운데 20%가 정보 인프라 전략을 수립할 것으로 예상됐다. ...

가트너 빅 데이터 분석 애널리틱스

2013.04.17

최근 가트너가 2013년은 빅 데이터의 해가 될 것이라 선언했다. 정말 그럴까? 그 무엇도 확실한 사실이라 단정하기 어려운 상황이지만 채널 전문가들의 경우, 빅 데이터에 대한 접근이 지금까지 그래왔듯 저항할 수 없는 흐름이라기 보다는 일종의 유행으로 보이는 측면이 있다고 한 목소리로 말하고 있다. 실제로 기업들은 빅 데이터를 자신들이 나아가야 할 방향으로 바라보고 있지만, 여전히 애널리스트들은 빅 데이터 접근에 신중한 태도를 취할 것을 당부하고 있다. 어디서 시작하고, 또 쌓여있는 이 모든 데이터들을 통해 무엇을 할 지 단서를 잡지 못하고 있기 때문이다. 하지만 전문가들은 빅 데이터에 대한 강조가 향후 몇 년은 더 큰 폭의 증가세를 보일 것이라 전망하는 것 역시 사실이다. 전문가들에 따르면, 기업들은 빅 데이터가 요구하는 바가 무엇이며 이것이 어떤 가치를 전해줄 수 있을지를 이해해야 하고, 그 선봉에서 역할을 해야 하는 것이 바로 ‘분석(Analytics)’이다. 아크로니스A/NZ(Acronis A/NZ)의 총괄 매니저 앤디 퍼비스는 빅 데이터의 성장을 이끄는 가장 중요한 요인으로 IT의 소비자화와 그와 연관된 모바일 기기의 확산을 꼽았다. 퍼비스는 현재 소비자들의 평균 모바일 기기 보유 대수는 2.3대지만, 2015년에는 그 수치가 4.7대까지 증가할 것으로 전망했다. 퍼비스는 “이제 언제 어디서나 데이터 이용을 기대하는 것은 새로운 문화로 자리잡았다. 이제 데이터는 클라우드와 모바일 기기를 통해 모든 곳에 열려있다. 기업은 이러한 변화를 간과해선 안될 것이다”라고 강조했다. 가트너의 대담한 주장은 글로벌 조사 결과에서도 입증됐다. 기업들을 대상으로 한 가트너의 조사에서 현재 빅 데이터 기술에 투자하고 있거나 1년 이내에 투자 계획이 있다고 답한 기업의 비율은 42% 수준이었다. 2015년에는 글로벌 100대 기업 가운데 20%가 정보 인프라 전략을 수립할 것으로 예상됐다. ...

2013.04.17

빅 데이터가 ‘못먹는 감’되는 4가지 이유

지난 3년 간 빅 데이터에 관한 이야기들이 지속적으로 증폭돼 왔다. 몇몇 사람들은 빅 데이터를 거품이라고 평가절하하는 것도 사실이다. 그러나 전세계 기업들이 빅 데이터에 주목하고 있는 것은 분명해 보인다. 최근 발행된 5차 연례 디지털 IQ 서베이(Digital IQ Survey)를 보면, 62%의 응답자들이 빅 데이터를 통해 회사에 경쟁 우위를 얻을 수 있다고 믿고 있었다고 컨설팅 업체 PwC가 밝혔다. 그러나 빅 데이터의 위력을 믿는 것과 빅 데이터를 행동 가능한 통찰로 활용하는 것은 서로 다른 문제다. PwC에 의하면 58%의 응답자는 데이터에서 통찰을 이끌어 내는 것이 주요 어려움이라는데 동의했다. PwC의 상무 아난드 라오는 “현재 수집되는 정보와 데이터는 양적 관점에서 볼 때 정말이지 엄청나다”라며, “조직들은 제대로 된 인력을 보유하지도, 제대로 된 구조가 자리잡지도 못한 상태로 여전히 몇 가지 툴과 기술들을 가지고 씨름하고 있다”라고 말했다. PWC는 12개 국가의 다양한 산업분야에 걸쳐 1,108건의 설문 조사를 진행했다. 응답자들은 IT와 현업 부문으로 나뉘어져 있으며, 그들 중 75% 이상은 10억 달러 이상의 매출을 올리는 조직에서 일했다. PwC는 조사 결과 기업들이 4가지 빅 데이터 장애물로 고심 중이라는 점을 알아냈다고 밝혔다. - 시각화(visualization)의 중요성을 직시하지 못하고 있다. - 데이터 분석보다 수집에 더 많이 투자하고 있다. - 인력 격차에 직면해있다. - 빠른 정보 처리가 가능한 시스템이 부족해 고심하고 있다. 시각화의 중요성을 직시하지 못한다 대부분의 조직이 사용 가능한 데이터에서 실제로 통찰을 끌어냄에 있어, 근본이 되는 것 중 하나는 시각화다. 시각화는 데이터에 맥락을 더해주고 비즈니스에의 활용에 생기를 불어넣어준다. 많은 경우, 고급 시각화 능력을 통해 조직들은 유용한 통찰을...

하둡 빅 데이터 시각화 통찰 인력 격차

2013.04.11

지난 3년 간 빅 데이터에 관한 이야기들이 지속적으로 증폭돼 왔다. 몇몇 사람들은 빅 데이터를 거품이라고 평가절하하는 것도 사실이다. 그러나 전세계 기업들이 빅 데이터에 주목하고 있는 것은 분명해 보인다. 최근 발행된 5차 연례 디지털 IQ 서베이(Digital IQ Survey)를 보면, 62%의 응답자들이 빅 데이터를 통해 회사에 경쟁 우위를 얻을 수 있다고 믿고 있었다고 컨설팅 업체 PwC가 밝혔다. 그러나 빅 데이터의 위력을 믿는 것과 빅 데이터를 행동 가능한 통찰로 활용하는 것은 서로 다른 문제다. PwC에 의하면 58%의 응답자는 데이터에서 통찰을 이끌어 내는 것이 주요 어려움이라는데 동의했다. PwC의 상무 아난드 라오는 “현재 수집되는 정보와 데이터는 양적 관점에서 볼 때 정말이지 엄청나다”라며, “조직들은 제대로 된 인력을 보유하지도, 제대로 된 구조가 자리잡지도 못한 상태로 여전히 몇 가지 툴과 기술들을 가지고 씨름하고 있다”라고 말했다. PWC는 12개 국가의 다양한 산업분야에 걸쳐 1,108건의 설문 조사를 진행했다. 응답자들은 IT와 현업 부문으로 나뉘어져 있으며, 그들 중 75% 이상은 10억 달러 이상의 매출을 올리는 조직에서 일했다. PwC는 조사 결과 기업들이 4가지 빅 데이터 장애물로 고심 중이라는 점을 알아냈다고 밝혔다. - 시각화(visualization)의 중요성을 직시하지 못하고 있다. - 데이터 분석보다 수집에 더 많이 투자하고 있다. - 인력 격차에 직면해있다. - 빠른 정보 처리가 가능한 시스템이 부족해 고심하고 있다. 시각화의 중요성을 직시하지 못한다 대부분의 조직이 사용 가능한 데이터에서 실제로 통찰을 끌어냄에 있어, 근본이 되는 것 중 하나는 시각화다. 시각화는 데이터에 맥락을 더해주고 비즈니스에의 활용에 생기를 불어넣어준다. 많은 경우, 고급 시각화 능력을 통해 조직들은 유용한 통찰을...

2013.04.11

블로그 | 빅 데이터가 빅 쓰레기가 된다면?

더 많은 데이터가 사실 더 많은 실수와 부정확성의 여지를 남기지는 않을까? 고용주로부터 절도 혐의로 고소당한 인물을 걸러내기 위해 소매업자가 사용하는 데이터 베이스가 결백한 사람을 지목해 거대한 소송으로 이어진다면 어떻게 될까? 지난 3일 뉴욕타임즈에 실린 이야기는 테리 길리엄의 걸작 디스토피아 영화 브라질(Brazil)을 연상시켰다.  이 1985년작 영화에서는 현대적 의미의 컴퓨터가 개발되지 않았다. 대신 데이터 처리는 은행에 의해 타자기로 진행된다. 어느날 파리 한 마리가 기계에 우연히 떨어졌다. 그리고 해리 터틀(영화 속의 로빈 후드 캐릭터)이라는 이름에 대해 발부될 예정이었던 구속 영장이, 해리 버틀이라는 이름의 얌전했던 소시민에게 발부된다. 버틀은 정부 기관에 의해 체포되고 장소로 이동된다. 정부가 대외적으로는 부정하는 비밀스러운 장소다. 뉴욕타임즈 기사의 제목은 "업주가 방대한 데이터베이스로 직원을 추적하다"(Retailers Track Employee Thefts in Vast Databases)였다. 기사에서 소개된 데이터베이스는 과거 매장에서 절도 경력이 있는 인물을 다시 채용하지 않도록 개발된 것이었다. 아마 독자들은 이 데이터베이스 시스템으로부터의 데이터를 기업들이 신중하게 살펴볼 것이라고 생각할 것이다. 누군가의 삶에 지대한 영향을 미칠 수 있는 잠재력을 감안할 때 당연한 기대치다. 기사는 다음과 같이 기술하고 있다. "퍼스트 어드밴티지 코퍼레이션의 이스팀 데이터베이스와 같은 정보 저장 솔루션은 추정 도난 사건에 대해 불확실한 정보를 담고 있으며 범죄 혐의와는 무관한 경우도 있다. 이러한 정보들이 지원자의 기회를 박탈하기에 충분한 영향력을 행사하면서도 그렇다. 이러한 데이터베이스들은 합법적 제품들이지만 노동 전문 변호사면 연방 규제 기관에 의해 검토될 처지에 놓여있다. 이들의 포괄성으로 인해 결백한 직원들도 피해를 입을 수 있기 때문이다." 점주 입장에서 누군가...

빅 데이터 백 그라운드 체크

2013.04.05

더 많은 데이터가 사실 더 많은 실수와 부정확성의 여지를 남기지는 않을까? 고용주로부터 절도 혐의로 고소당한 인물을 걸러내기 위해 소매업자가 사용하는 데이터 베이스가 결백한 사람을 지목해 거대한 소송으로 이어진다면 어떻게 될까? 지난 3일 뉴욕타임즈에 실린 이야기는 테리 길리엄의 걸작 디스토피아 영화 브라질(Brazil)을 연상시켰다.  이 1985년작 영화에서는 현대적 의미의 컴퓨터가 개발되지 않았다. 대신 데이터 처리는 은행에 의해 타자기로 진행된다. 어느날 파리 한 마리가 기계에 우연히 떨어졌다. 그리고 해리 터틀(영화 속의 로빈 후드 캐릭터)이라는 이름에 대해 발부될 예정이었던 구속 영장이, 해리 버틀이라는 이름의 얌전했던 소시민에게 발부된다. 버틀은 정부 기관에 의해 체포되고 장소로 이동된다. 정부가 대외적으로는 부정하는 비밀스러운 장소다. 뉴욕타임즈 기사의 제목은 "업주가 방대한 데이터베이스로 직원을 추적하다"(Retailers Track Employee Thefts in Vast Databases)였다. 기사에서 소개된 데이터베이스는 과거 매장에서 절도 경력이 있는 인물을 다시 채용하지 않도록 개발된 것이었다. 아마 독자들은 이 데이터베이스 시스템으로부터의 데이터를 기업들이 신중하게 살펴볼 것이라고 생각할 것이다. 누군가의 삶에 지대한 영향을 미칠 수 있는 잠재력을 감안할 때 당연한 기대치다. 기사는 다음과 같이 기술하고 있다. "퍼스트 어드밴티지 코퍼레이션의 이스팀 데이터베이스와 같은 정보 저장 솔루션은 추정 도난 사건에 대해 불확실한 정보를 담고 있으며 범죄 혐의와는 무관한 경우도 있다. 이러한 정보들이 지원자의 기회를 박탈하기에 충분한 영향력을 행사하면서도 그렇다. 이러한 데이터베이스들은 합법적 제품들이지만 노동 전문 변호사면 연방 규제 기관에 의해 검토될 처지에 놓여있다. 이들의 포괄성으로 인해 결백한 직원들도 피해를 입을 수 있기 때문이다." 점주 입장에서 누군가...

2013.04.05

'유행 휩쓸린 접근은 곤란' 빅 데이터 프로젝트 가이드라인

빅 데이터는 이제 그 이름처럼 ‘거대한' 비즈니스 활동으로 자리 잡았다. 그러나 문화적, 기술적 준비가 제대로 되어있지 않은 기업들에게 이는 단순한 흉내 내기 수단, 또 일시적 유행의 의미에 불과할 것이다. 즉 일관성 있는 목표와 강력한 데이터 통제력, 데이터 정확성 담보를 위한 엄격한 프로세스, 그리고 이를 다루는  올바른 마음가짐까지, 다시 말해 전략적 계획이 마련되지 못한다면 빅 데이터 계획은 가치가 아닌 방대한 시간 낭비만을 가져다 줄 것이다. 여기 빅 데이터 계획을 성공으로 이끄는데 도움을 줄 5가지 전략적 조언들을 소개한다. 많은 이들은 데이터 관리 프로젝트와 관련한 조언을 전하며 그 데이터 세트의 규모를 고려치 않는 모습을 보여준다. 하지만, 오늘날 시장이 경험하고 있는 막대한 규모의 데이터의 도래는 그만의 독특한 어려움을 내포하고 있다. 지금부터 여러 소스들로부터 전해져 오는 수많은 데이터들을 한데 섞어 그 속에서 성공의 기회를 찾아낼 전략을 함께 고민해보자. 빅 데이터 성공 팁 No.1: 빅 데이터를 비즈니스 중심 원리로 리어던 커머스(Rearden Commerce)의 CTO 필 스타이츠는 빅 데이터 활동 성공의 핵심을 간결히 정리했다. ‘애널리틱스 및 데이터 주도 의사 결정 문화를 비즈니스 전략의 핵심에 통합하라'가 그것이다. 스타이츠는 “‘빅 데이터'가 전문가들만의 내부 용어로만 사용될 경우, 그것의 역할은 문제 해결 솔루션 이상으로 나아가지 못할 것”이라고 말했다. 리어던 커머스는 자사의 전자 상거래 플랫폼을 통한 구매자와 판매자 간의 상품 및 서비스, 정보 거래 과정을 최적화하는데 빅 데이터를 비롯한 자산들을 이용하고 있다. 이 기업에게 있어 ‘완전 타당성'(적절한 경제 행위자에게 적절한 시간에 적절한 거래 기회를 제시하는 것)은 비즈니스 핵심 개념이다. 스타이츠는 “전...

프로젝트 거버넌스 빅 데이터 CoE

2013.04.03

빅 데이터는 이제 그 이름처럼 ‘거대한' 비즈니스 활동으로 자리 잡았다. 그러나 문화적, 기술적 준비가 제대로 되어있지 않은 기업들에게 이는 단순한 흉내 내기 수단, 또 일시적 유행의 의미에 불과할 것이다. 즉 일관성 있는 목표와 강력한 데이터 통제력, 데이터 정확성 담보를 위한 엄격한 프로세스, 그리고 이를 다루는  올바른 마음가짐까지, 다시 말해 전략적 계획이 마련되지 못한다면 빅 데이터 계획은 가치가 아닌 방대한 시간 낭비만을 가져다 줄 것이다. 여기 빅 데이터 계획을 성공으로 이끄는데 도움을 줄 5가지 전략적 조언들을 소개한다. 많은 이들은 데이터 관리 프로젝트와 관련한 조언을 전하며 그 데이터 세트의 규모를 고려치 않는 모습을 보여준다. 하지만, 오늘날 시장이 경험하고 있는 막대한 규모의 데이터의 도래는 그만의 독특한 어려움을 내포하고 있다. 지금부터 여러 소스들로부터 전해져 오는 수많은 데이터들을 한데 섞어 그 속에서 성공의 기회를 찾아낼 전략을 함께 고민해보자. 빅 데이터 성공 팁 No.1: 빅 데이터를 비즈니스 중심 원리로 리어던 커머스(Rearden Commerce)의 CTO 필 스타이츠는 빅 데이터 활동 성공의 핵심을 간결히 정리했다. ‘애널리틱스 및 데이터 주도 의사 결정 문화를 비즈니스 전략의 핵심에 통합하라'가 그것이다. 스타이츠는 “‘빅 데이터'가 전문가들만의 내부 용어로만 사용될 경우, 그것의 역할은 문제 해결 솔루션 이상으로 나아가지 못할 것”이라고 말했다. 리어던 커머스는 자사의 전자 상거래 플랫폼을 통한 구매자와 판매자 간의 상품 및 서비스, 정보 거래 과정을 최적화하는데 빅 데이터를 비롯한 자산들을 이용하고 있다. 이 기업에게 있어 ‘완전 타당성'(적절한 경제 행위자에게 적절한 시간에 적절한 거래 기회를 제시하는 것)은 비즈니스 핵심 개념이다. 스타이츠는 “전...

2013.04.03

"빅 데이터 잘 활용하는 기업 28%에 불과"

IT 전문가들과 기업들은 빅 데이터 프로젝트를 통해 전략적인 가치를 끌어내는 데 애를 먹고 있는 것으로 나타났다. CCWTR(Cisco Connected World Technology Report)는 전세계 18개국 1,800여명의 IT 전문가를 대상으로 빅 데이터 프로젝트에 대한 준비상태와 과제, 기술적인 한계, 전략적인 가치 등에 대해 조사한 결과를 27일 발표했다.   이에 따르면 대부분의 기업들은 데이터를 수집, 저장, 분석하고 있지만 실무와 IT 측면 모두에서 어려움을 겪고 있는 것으로 조사됐다. 예를 들어 응답자의 60%는 빅 데이터가 기업내 의사결정과 경쟁력 향상에 도움이 될 것이라고 답했다. 그러나 현재 이들 데이터에서 전략적인 가치를 뽑아내고 있다는 답변은 28%에 불과했다.   또한 응답자의 1/3 이상인 38%는 빅 데이터 솔루션을 구입했다고 답했다. 반면 빅 데이터를 이용하기 위한 전략적인 계획이 추가로 필요하다고 응답했다. IT 전문가들은 빅 데이터 솔루션을 완전하게 적용하는데 여러가지 어려움이 있다고 답했는데 보안과 예산, 인력 문제를 가장 많이 꼽았다.   구체적으로 보면 4명 중 1명 이상인 27%는 데이터 보안과 리스크 관리를 가장 큰 우려사항으로 지목했다. 그들은 빅 데이터 보안 프로젝트가 어려운 이유로 데이터 규모가 방대하고 데이터에 접근할 수 있는 방법이 적고 보안 예산이 부족하다는 점 등을 꼽앗다. 또한 응답자의 거의 1/4 가량은 빅 데이터 프로젝트를 관리할 수 있는 전문인력이 충분히 않다고 답했다. 한편 전체 응답자의 절반은 빅 데이터 전략 때문에 올해 IT 예산이 늘어날 것이라고 전망했다. 상당수 응답자인 81%는 모든 혹은 일부 빅 데이터 프로젝트에서 클라우드 컴퓨팅이 필요하다고 답했고 절반 가까운 48%는 네트워크 로드가 향후 2년간 두배로 늘어날 것이라고 전망했다.   이번 조사에는 개인적으로...

빅 데이터

2013.03.29

IT 전문가들과 기업들은 빅 데이터 프로젝트를 통해 전략적인 가치를 끌어내는 데 애를 먹고 있는 것으로 나타났다. CCWTR(Cisco Connected World Technology Report)는 전세계 18개국 1,800여명의 IT 전문가를 대상으로 빅 데이터 프로젝트에 대한 준비상태와 과제, 기술적인 한계, 전략적인 가치 등에 대해 조사한 결과를 27일 발표했다.   이에 따르면 대부분의 기업들은 데이터를 수집, 저장, 분석하고 있지만 실무와 IT 측면 모두에서 어려움을 겪고 있는 것으로 조사됐다. 예를 들어 응답자의 60%는 빅 데이터가 기업내 의사결정과 경쟁력 향상에 도움이 될 것이라고 답했다. 그러나 현재 이들 데이터에서 전략적인 가치를 뽑아내고 있다는 답변은 28%에 불과했다.   또한 응답자의 1/3 이상인 38%는 빅 데이터 솔루션을 구입했다고 답했다. 반면 빅 데이터를 이용하기 위한 전략적인 계획이 추가로 필요하다고 응답했다. IT 전문가들은 빅 데이터 솔루션을 완전하게 적용하는데 여러가지 어려움이 있다고 답했는데 보안과 예산, 인력 문제를 가장 많이 꼽았다.   구체적으로 보면 4명 중 1명 이상인 27%는 데이터 보안과 리스크 관리를 가장 큰 우려사항으로 지목했다. 그들은 빅 데이터 보안 프로젝트가 어려운 이유로 데이터 규모가 방대하고 데이터에 접근할 수 있는 방법이 적고 보안 예산이 부족하다는 점 등을 꼽앗다. 또한 응답자의 거의 1/4 가량은 빅 데이터 프로젝트를 관리할 수 있는 전문인력이 충분히 않다고 답했다. 한편 전체 응답자의 절반은 빅 데이터 전략 때문에 올해 IT 예산이 늘어날 것이라고 전망했다. 상당수 응답자인 81%는 모든 혹은 일부 빅 데이터 프로젝트에서 클라우드 컴퓨팅이 필요하다고 답했고 절반 가까운 48%는 네트워크 로드가 향후 2년간 두배로 늘어날 것이라고 전망했다.   이번 조사에는 개인적으로...

2013.03.29

사례로 보는 빅 데이터 성공 가이드 - IDG Deep Dive

빅 데이터에는 왕도란 없다. 폭증하는 빅 데이터를 효과적으로 저장, 관리 그리고 처리, 활용함으로써 기업 내에 통찰을 얻는 과정에서 쉽게 도달하는 방법은 없다는 의미다. 타 기업의 성공 사례를 보면 그 열매는 달고 맛있게 보이지만, 열매를 맺는 과정에서 모두들 한없이 고달프고 힘들고 험난한 과정을 이겨냈다는 것을 배워야 한다. 한없이 달고 맛있어 보이는 과일 향 속에 숨어 있는 그들의 노력과 과정을 살펴보도록 하자.    주요 내용  성공하는 기업들의 공통점, 데이터 주도형 문화  국내 빅 데이터 사례, 이제부터 시작이다   에버노트, 하둡과 파엑셀로 본격 빅 데이터 분석 환경 구현 트위터, 캐스케이딩으로 하둡 개발 속도 대폭 향상 트위터의 모든 기록을 저장, 열람케 하려는 미 의회 도서관의 도전 빅 데이터로 보안 역량 개선한 지온스의 성공담

트위터 에버노트 빅 데이터 데이터 주도형

2013.03.29

빅 데이터에는 왕도란 없다. 폭증하는 빅 데이터를 효과적으로 저장, 관리 그리고 처리, 활용함으로써 기업 내에 통찰을 얻는 과정에서 쉽게 도달하는 방법은 없다는 의미다. 타 기업의 성공 사례를 보면 그 열매는 달고 맛있게 보이지만, 열매를 맺는 과정에서 모두들 한없이 고달프고 힘들고 험난한 과정을 이겨냈다는 것을 배워야 한다. 한없이 달고 맛있어 보이는 과일 향 속에 숨어 있는 그들의 노력과 과정을 살펴보도록 하자.    주요 내용  성공하는 기업들의 공통점, 데이터 주도형 문화  국내 빅 데이터 사례, 이제부터 시작이다   에버노트, 하둡과 파엑셀로 본격 빅 데이터 분석 환경 구현 트위터, 캐스케이딩으로 하둡 개발 속도 대폭 향상 트위터의 모든 기록을 저장, 열람케 하려는 미 의회 도서관의 도전 빅 데이터로 보안 역량 개선한 지온스의 성공담

2013.03.29

한국 IT 부서와 빅 데이터, "중요성 인지하나 준비 상태는 부족"

"갈증은 있으나 전략과 대책이 마련되지 못한 상황이다." 한국 IT 부서가 빅 데이터와 관련한 처한 입장이었다고 시스코 코리아가 진단했다. 시스코는 28일 삼성동 코엑스에서 진행한 '시스코 키넥트 코리아 2013'의 부대 행사로 진행한 기자간담회에서 전세계 IT 전문가를 대상으로 한 시스코 커넥티드 월드 네크놀로지 리포트를 공개했다. 이 보고서에 따르면 한국 기업의 IT 부서가 빅 데이터에 대해 바라보는 시각이 외국 기업 IT 부서의 시각과 사뭇 다른 것으로 드러나 눈길을 끌었다. 18개국 1,800 명의 매니저 이상 IT 전문가를 대상으로 진행한 이번 설문조사 결과에 따르면, 한국의 IT 전문가들은 빅 데이터가 기업 경쟁력을 올려줄 것이라는 관점에 71%가 동의했다. 글로벌 평균은 60%였던 것을 감안하면 한국 IT 전문가들이 빅데이터를 좀더 적극적으로 바라보고 있다고 해석할 수 있다. 그러나 기업 차원에서 빅 데이터가 전략적 우선순위를 차지하고 있다고 응답한 비율은 해외기업(68%)에 비해 한국기업(63%)이 오히려 낮았다. 보고서를 발표한 시스코 코리아의 성일용 부사장은 국내 IT 부서의 영향력이 해외 기업에 비해 낮은 것도 한 원인일 것으로 해석했다. 빅 데이터가 IT 예산에 긍정적인 영향을 끼칠 것으로 보느냐는 질문에는 대체로 낙관적이었다. 국내 IT 전문가 61%, 해외 전문가 53%가 올해 빅 데이터 관련 IT 예산이 증가할 것이라고 답했다. 향후 3년 내 예산 증가 가능성을 묻는 질문에는 국내 65%, 해외 57%였다. IT 전문가들은 또 빅 데이터로 인해 IT 인력 구성이 변화할 가능성을 높게 점치고 있다. 중대한 영향을 줄 것이라고 응답한 비율(22%), 일정 영향을 미칠 것이라고 응답한 비율(56%)를 합치면 88%가 이에 동의했다. 국내 전문가들의 응답 비율도 유사했다. 성 부사장은 "빅 데이터로 인해 IT 부서가 지원 조직에서 혁신 조직으로 변모할 가능성을 시사한다...

시스코 투자 빅 데이터

2013.03.28

"갈증은 있으나 전략과 대책이 마련되지 못한 상황이다." 한국 IT 부서가 빅 데이터와 관련한 처한 입장이었다고 시스코 코리아가 진단했다. 시스코는 28일 삼성동 코엑스에서 진행한 '시스코 키넥트 코리아 2013'의 부대 행사로 진행한 기자간담회에서 전세계 IT 전문가를 대상으로 한 시스코 커넥티드 월드 네크놀로지 리포트를 공개했다. 이 보고서에 따르면 한국 기업의 IT 부서가 빅 데이터에 대해 바라보는 시각이 외국 기업 IT 부서의 시각과 사뭇 다른 것으로 드러나 눈길을 끌었다. 18개국 1,800 명의 매니저 이상 IT 전문가를 대상으로 진행한 이번 설문조사 결과에 따르면, 한국의 IT 전문가들은 빅 데이터가 기업 경쟁력을 올려줄 것이라는 관점에 71%가 동의했다. 글로벌 평균은 60%였던 것을 감안하면 한국 IT 전문가들이 빅데이터를 좀더 적극적으로 바라보고 있다고 해석할 수 있다. 그러나 기업 차원에서 빅 데이터가 전략적 우선순위를 차지하고 있다고 응답한 비율은 해외기업(68%)에 비해 한국기업(63%)이 오히려 낮았다. 보고서를 발표한 시스코 코리아의 성일용 부사장은 국내 IT 부서의 영향력이 해외 기업에 비해 낮은 것도 한 원인일 것으로 해석했다. 빅 데이터가 IT 예산에 긍정적인 영향을 끼칠 것으로 보느냐는 질문에는 대체로 낙관적이었다. 국내 IT 전문가 61%, 해외 전문가 53%가 올해 빅 데이터 관련 IT 예산이 증가할 것이라고 답했다. 향후 3년 내 예산 증가 가능성을 묻는 질문에는 국내 65%, 해외 57%였다. IT 전문가들은 또 빅 데이터로 인해 IT 인력 구성이 변화할 가능성을 높게 점치고 있다. 중대한 영향을 줄 것이라고 응답한 비율(22%), 일정 영향을 미칠 것이라고 응답한 비율(56%)를 합치면 88%가 이에 동의했다. 국내 전문가들의 응답 비율도 유사했다. 성 부사장은 "빅 데이터로 인해 IT 부서가 지원 조직에서 혁신 조직으로 변모할 가능성을 시사한다...

2013.03.28

기고 | 빅 데이터, 과거의 BI는 잊어라

전통적인 BI에서는 상관관계 요소에 필요한 쿼리를 사람의 결정해 입력해야 했다. 예측 데이터 분석이 점점 더 강력해지면서 알고리즘이 결정을 내리게 됐다. 지난 주 SV포럼 빅 데이터 이벤트에 참석한 이들 중에는 이번 행사가 하둡에 대한 것일 거라고 막연히 짐작한 사람이 많았을 것이다. 물론 집중적으로 하둡을 다룬 것은 사실이지만, 그렇다고 하둡이 이번 행사의 유일한 주제는 아니었다. 하둡과 빅 데이터가 대세인 건 맞다. 소셜 미디어나 웹사이트 클릭스트림(clickstream)과 같은 새로운 데이터 소스가 폭발적으로 증가하며 새로운 종류의 정보가 생겨났으며 이는 어쩌면 새로운 시각을 열어줄 계기가 될 수도 있다. 하둡은 이런 트렌드의 중심이자 가장 선두 자리에서 분산된 데이터 콜렉션에 맵리듀스(MapReduce) 방법을 적용해 기존의 방법보다 훨씬 많은 양의 데이터를 분석할 수 있는 길을 열었다. 그러나 이런 장점에도 하둡이 비즈니스 인텔리전스(BI)의 ‘만병통치약’이 아니라는 건 분명하다. 포럼에 참석한 다수의 연사들이 하둡의 일괄적인 성격을 단점으로 꼽았다. 수 시간이 걸려 결과물을 받았지만 이 분석 결과가 원하던 것이 아니어서 다시 결과를 받아야 하는 일이 발생하는 것이다. 몇몇 다른 연설자들은 실시간 BI(트위터나 페이스북과 같은 소셜 스트림 발굴과 관련이 있는 듯 보여지는)에 주목하는 모습을 보여줬다. 이러한 실시간 분석은 분명 가치 있는 작업이다. 그러나 이것이 대다수의 기업들에서 주요 시각 소스로 자리잡는 데는 일면 무리가 있을 듯 보인다. 이는 오히려 다른 시각 수집 도구들의 보조자로서 더 유용하게 이용될 수 있을 것이다. 흥미로운 연구 주제를 제공해준다는 점에서도 실시간 BI는 그 가치를 드러내고 있다. 미래의 빅 데이터 투자처는 ‘오픈소스’ 필자는 빅 데이터의 투자 기회를 주제로 한 한 패널 토론의 사회를 맡았다. 이런 종류의 토론에 패널로 참석하는 투...

BI CIO 버나드 골든 비즈니스 인텔리전스 빅 데이터 예측 분석

2013.03.28

전통적인 BI에서는 상관관계 요소에 필요한 쿼리를 사람의 결정해 입력해야 했다. 예측 데이터 분석이 점점 더 강력해지면서 알고리즘이 결정을 내리게 됐다. 지난 주 SV포럼 빅 데이터 이벤트에 참석한 이들 중에는 이번 행사가 하둡에 대한 것일 거라고 막연히 짐작한 사람이 많았을 것이다. 물론 집중적으로 하둡을 다룬 것은 사실이지만, 그렇다고 하둡이 이번 행사의 유일한 주제는 아니었다. 하둡과 빅 데이터가 대세인 건 맞다. 소셜 미디어나 웹사이트 클릭스트림(clickstream)과 같은 새로운 데이터 소스가 폭발적으로 증가하며 새로운 종류의 정보가 생겨났으며 이는 어쩌면 새로운 시각을 열어줄 계기가 될 수도 있다. 하둡은 이런 트렌드의 중심이자 가장 선두 자리에서 분산된 데이터 콜렉션에 맵리듀스(MapReduce) 방법을 적용해 기존의 방법보다 훨씬 많은 양의 데이터를 분석할 수 있는 길을 열었다. 그러나 이런 장점에도 하둡이 비즈니스 인텔리전스(BI)의 ‘만병통치약’이 아니라는 건 분명하다. 포럼에 참석한 다수의 연사들이 하둡의 일괄적인 성격을 단점으로 꼽았다. 수 시간이 걸려 결과물을 받았지만 이 분석 결과가 원하던 것이 아니어서 다시 결과를 받아야 하는 일이 발생하는 것이다. 몇몇 다른 연설자들은 실시간 BI(트위터나 페이스북과 같은 소셜 스트림 발굴과 관련이 있는 듯 보여지는)에 주목하는 모습을 보여줬다. 이러한 실시간 분석은 분명 가치 있는 작업이다. 그러나 이것이 대다수의 기업들에서 주요 시각 소스로 자리잡는 데는 일면 무리가 있을 듯 보인다. 이는 오히려 다른 시각 수집 도구들의 보조자로서 더 유용하게 이용될 수 있을 것이다. 흥미로운 연구 주제를 제공해준다는 점에서도 실시간 BI는 그 가치를 드러내고 있다. 미래의 빅 데이터 투자처는 ‘오픈소스’ 필자는 빅 데이터의 투자 기회를 주제로 한 한 패널 토론의 사회를 맡았다. 이런 종류의 토론에 패널로 참석하는 투...

2013.03.28

실생활로 구현된 10가지 빅 데이터

빅 데이터에 대해서는 과장된 측면이 많다. 그러나 세계의 데이터가 18개월마다 두 배씩, 기하급수적으로 증가하고 있다는 것은 결코 과장이 아니다. 그리고 이제는 이 데이터가 알게 모르게 우리 실생활의 모든 측면과 연계되고 있다. 빅 데이터를 통해 이루어지는 현실 세계의 방대한 데이터 분석 사례 10가지를 살펴보자. editor@itworld.co.kr

빅 데이터 넷플릭스 구현

2013.03.27

빅 데이터에 대해서는 과장된 측면이 많다. 그러나 세계의 데이터가 18개월마다 두 배씩, 기하급수적으로 증가하고 있다는 것은 결코 과장이 아니다. 그리고 이제는 이 데이터가 알게 모르게 우리 실생활의 모든 측면과 연계되고 있다. 빅 데이터를 통해 이루어지는 현실 세계의 방대한 데이터 분석 사례 10가지를 살펴보자. editor@itworld.co.kr

2013.03.27

소셜 미디어 분석용 8가지 툴, 성능·가격 대해부

모든 회사들이 소셜 미디어로 마케팅 활동을 벌이기 시작했다. 하지만 소셜 미디어 노력이 얼마나 잘 통하는지를 과연 측정하고 있을까? 현재 모니터링, 포스팅, 분석 기능을 수행할 10여개의 툴들이 나와있다. 네트워크월드는 그 가운데 엑스피언(Expion), 그렘린(Gremln), 심플리메쥬어드(SimplyMeasured), 스프라우트소셜(SproutSocial), 시소모스 허트비트(Sysomos Heartbeat), 우버뷰(Ubervu), 바이럴히트(Viralheat), 비저블 테크놀로지스 인텔리전스(Visible Technologies’ Intelligence) 등 8개를 테스트했다. 여기 그 결과를 소개한다.  ciokr@idg.co.kr

소셜 미디어 빅 데이터 리포팅 분석 툴

2013.03.27

모든 회사들이 소셜 미디어로 마케팅 활동을 벌이기 시작했다. 하지만 소셜 미디어 노력이 얼마나 잘 통하는지를 과연 측정하고 있을까? 현재 모니터링, 포스팅, 분석 기능을 수행할 10여개의 툴들이 나와있다. 네트워크월드는 그 가운데 엑스피언(Expion), 그렘린(Gremln), 심플리메쥬어드(SimplyMeasured), 스프라우트소셜(SproutSocial), 시소모스 허트비트(Sysomos Heartbeat), 우버뷰(Ubervu), 바이럴히트(Viralheat), 비저블 테크놀로지스 인텔리전스(Visible Technologies’ Intelligence) 등 8개를 테스트했다. 여기 그 결과를 소개한다.  ciokr@idg.co.kr

2013.03.27

칼럼 | 성공적 빅 데이터 활용, 핵심은 분석에 있다

지난 수 년 간 필자는 빅 데이터 관련 상품을 판매하는 기업들에게, 그리고 이 문제를 다루는데 고민하는 IT 임원들에게 이런저런 조언을 제공해왔다. 그리고 그들과 이야기를 나누다 보면 몇몇 흥미로운 문제들이 공통적으로 제기되는 모습을 발견하곤 한다. 빅 데이터에 관한 우리의 이해는 여전히 초기 단계에 머무르고 있는 것이 사실이다. 빅 데이터가 제공하는 정보를 완벽히 이해하기까지는 분명 짧지 않은 시간이 더 소요될 것이다. 페이스북이나 구글과 같은 기업들은 막대한 규모의 정보를 수집하고 있다. 그리고 그로 인해 프라이버시 침해의 주범으로 모든 이들의 질타를 받고 있기도 하다. 그러나 사실 우리는, 어쩌면 그들도 이런 데이터 수집 활동이 정확히 어떻게 프라이버시를 침해하는지는 정확히 알지 못하고 있다. 데이터를 지켜줄 당신만의 충직한 기사는 없다 지금까지 대용량 데이터 저장소와 관련한 담론의 대부분은 그것의 관리 방법론, 다시 말해 관리 보고나 컴플라이언스(compliance) 등 각종 작업들에 대한 접근권을 필요로 하는 이들에게 제시간에 제대로 된 정보를 전달해주는 역량에 초점이 맞춰져 있었다. 데이터의 안전한 보관 역시 주요한 고려 요인이었다. 이 과정은 일반적으로 아이언 마운틴(Iron Mountain)과 같은 벤더들의 서비스를 통해 진행됐다. 이러한 서비스들은 데이터의 안전한 보관 능력으로 소비자들에게 어필했다. 이는 한편으론 데이터 자체의 관리의 문제와 연관을 지니기도 했다. 많은 이들은 데이터를 아무도 찾지 못할 장소에, 비용이 많이 들지 않는 방식으로 숨기는 것에만 관심을 가졌다. 마치 해적들이 약탈한 보물을 다루듯 했다. 그리고 이로 인해 때론 필요한 데이터를 다시 찾아오는데 꽤 많은 시간을 소요하기도 했다. 공격자들은(때로는 데이터를 숨긴 당사자조차도) 분명 어딘가에 데이터가 숨겨져 있다는 것을 알고 있었지만, 그것을 찾지 못하는 덫에 빠져버리곤 했다. 또 가끔은 오래된 데이터들이 너무 엉망으로 정리가 되어있어 보...

빅 데이터 분석

2013.03.26

지난 수 년 간 필자는 빅 데이터 관련 상품을 판매하는 기업들에게, 그리고 이 문제를 다루는데 고민하는 IT 임원들에게 이런저런 조언을 제공해왔다. 그리고 그들과 이야기를 나누다 보면 몇몇 흥미로운 문제들이 공통적으로 제기되는 모습을 발견하곤 한다. 빅 데이터에 관한 우리의 이해는 여전히 초기 단계에 머무르고 있는 것이 사실이다. 빅 데이터가 제공하는 정보를 완벽히 이해하기까지는 분명 짧지 않은 시간이 더 소요될 것이다. 페이스북이나 구글과 같은 기업들은 막대한 규모의 정보를 수집하고 있다. 그리고 그로 인해 프라이버시 침해의 주범으로 모든 이들의 질타를 받고 있기도 하다. 그러나 사실 우리는, 어쩌면 그들도 이런 데이터 수집 활동이 정확히 어떻게 프라이버시를 침해하는지는 정확히 알지 못하고 있다. 데이터를 지켜줄 당신만의 충직한 기사는 없다 지금까지 대용량 데이터 저장소와 관련한 담론의 대부분은 그것의 관리 방법론, 다시 말해 관리 보고나 컴플라이언스(compliance) 등 각종 작업들에 대한 접근권을 필요로 하는 이들에게 제시간에 제대로 된 정보를 전달해주는 역량에 초점이 맞춰져 있었다. 데이터의 안전한 보관 역시 주요한 고려 요인이었다. 이 과정은 일반적으로 아이언 마운틴(Iron Mountain)과 같은 벤더들의 서비스를 통해 진행됐다. 이러한 서비스들은 데이터의 안전한 보관 능력으로 소비자들에게 어필했다. 이는 한편으론 데이터 자체의 관리의 문제와 연관을 지니기도 했다. 많은 이들은 데이터를 아무도 찾지 못할 장소에, 비용이 많이 들지 않는 방식으로 숨기는 것에만 관심을 가졌다. 마치 해적들이 약탈한 보물을 다루듯 했다. 그리고 이로 인해 때론 필요한 데이터를 다시 찾아오는데 꽤 많은 시간을 소요하기도 했다. 공격자들은(때로는 데이터를 숨긴 당사자조차도) 분명 어딘가에 데이터가 숨겨져 있다는 것을 알고 있었지만, 그것을 찾지 못하는 덫에 빠져버리곤 했다. 또 가끔은 오래된 데이터들이 너무 엉망으로 정리가 되어있어 보...

2013.03.26

데이터 주도형 기업들이 성공한다··· '그들의 공통점은?'

업무를 처리하고 결정을 내리는 데 있어 데이터에 기반하는 기업들이 실적에서도 우수했다. 스스로를 데이터 사용에 있어서 앞서있다고 평가한 데이터-주도적(data-driven) 문화의 기업들은 재정적 성과에 있어서 타사보다 앞서 있다고 응답한 비율이 3배나 높았다. 타블로 소프트웨어(Tableau Software)가 후원한 EIU(Economist Intelligence Unit)의 조사 결과다. 2012년 10월, EIU는 북미, 아태, 서유럽, 남미 지역의 광범위한 산업 분야에서 530명의 중역들을 대상으로 조사를 진행했다. 그 조사에서는 필수적인 훈련을 제공하고 직원 전 계급과 부서의 데이터 공유를 촉진함으로써 데이터 활용을 최대화하는 데이터-주도적 문화을 채택한 회사들이 성공적이었던 것으로 밝혀졌다. EIU의 데이터-주도적 문화 조성하기(Fostering a Data-Driven Culture) 보고서의 작성자 짐 가일스는 “데이터-주도형 사고의 중요성은 사실 새로운 주제가 아니다”라고 말했다. 이미 많은 중역들은 이 개념과 친숙하다는 설명이다. 페이스북(Facebook)에서 월마트(Walmart)에 이르기까지, 데이터-주도형 회사의 부상은 이 접근방식이 얼마나 강력할 수 있는지를 잘 보여준다. 그렇다면 데이터-주도의 실질적인 의미는 무엇일까? 그리고 조직 내에 데이터-주도형 문화를 도입함으로써 얻는 혜택에 어떤 것들이 있을까? 데이터-주도 문화는 데이터 과학자에 국한된 주제가 아니다 가일스는 “데이터-주도형 문화의 특징이 아닌 것에서부터 시작해보자”라며 다음과 같이 말했다. “데이터가 회사 내 다른 누군가의 일이며, 데이터 전문가나 혹은 IT 부서의 임무라는 믿음은 데이터-주도형 문화가 아니다. 아직도 횡행하는 오해가 있다. 데이터 전문가들이, 조직 내에 곧바로 낙하산을 타고 배치되어 데이터에 마법을 부리는 조언을 해줄 것이라는 인식이다. 그러나 그들은 ...

경영 데이터 과학자 빅 데이터 데이터 민주화 데이터 주도형 데이터 문화

2013.03.22

업무를 처리하고 결정을 내리는 데 있어 데이터에 기반하는 기업들이 실적에서도 우수했다. 스스로를 데이터 사용에 있어서 앞서있다고 평가한 데이터-주도적(data-driven) 문화의 기업들은 재정적 성과에 있어서 타사보다 앞서 있다고 응답한 비율이 3배나 높았다. 타블로 소프트웨어(Tableau Software)가 후원한 EIU(Economist Intelligence Unit)의 조사 결과다. 2012년 10월, EIU는 북미, 아태, 서유럽, 남미 지역의 광범위한 산업 분야에서 530명의 중역들을 대상으로 조사를 진행했다. 그 조사에서는 필수적인 훈련을 제공하고 직원 전 계급과 부서의 데이터 공유를 촉진함으로써 데이터 활용을 최대화하는 데이터-주도적 문화을 채택한 회사들이 성공적이었던 것으로 밝혀졌다. EIU의 데이터-주도적 문화 조성하기(Fostering a Data-Driven Culture) 보고서의 작성자 짐 가일스는 “데이터-주도형 사고의 중요성은 사실 새로운 주제가 아니다”라고 말했다. 이미 많은 중역들은 이 개념과 친숙하다는 설명이다. 페이스북(Facebook)에서 월마트(Walmart)에 이르기까지, 데이터-주도형 회사의 부상은 이 접근방식이 얼마나 강력할 수 있는지를 잘 보여준다. 그렇다면 데이터-주도의 실질적인 의미는 무엇일까? 그리고 조직 내에 데이터-주도형 문화를 도입함으로써 얻는 혜택에 어떤 것들이 있을까? 데이터-주도 문화는 데이터 과학자에 국한된 주제가 아니다 가일스는 “데이터-주도형 문화의 특징이 아닌 것에서부터 시작해보자”라며 다음과 같이 말했다. “데이터가 회사 내 다른 누군가의 일이며, 데이터 전문가나 혹은 IT 부서의 임무라는 믿음은 데이터-주도형 문화가 아니다. 아직도 횡행하는 오해가 있다. 데이터 전문가들이, 조직 내에 곧바로 낙하산을 타고 배치되어 데이터에 마법을 부리는 조언을 해줄 것이라는 인식이다. 그러나 그들은 ...

2013.03.22

'하둡 사용자 유혹하는' 구글의 빅쿼리 업데이트

구글 빅쿼리(BigQuery)가 다중 데이터 테이블를 쿼리할 수 있게 됐다. 다분히 아파치 하둡 이용자를 겨냥한 행보로 풀이된다. 구글 빅쿼리 프로덕트 매니저 주카이 퀙은 블로그 포스트를 통해 이번 업데이트에 대해 다음과 같이 언급했다. "테라바이트 크기의 태이블을 연결시키는 작업은 데이터 애널리스트들에게 그야말로 어려운 작업이었다. 복잡한 맵리듀스 개발 스킬이나 강력한 하드웨어, 방대한 시간이 요구되곤 햇다. 이들 3가지가 한꺼번에 요구되는 경우도 있었다. 이제 빅쿼리를 통해 기업은 SQL과 같은 쿼리를 이용해 인사이트를 전달할 수 있게 됐다. 훨씬 적은 자원만으로, 더 빠른 시간에 가능하다." 구글 측은 이어 하둡 대신 빅쿼리를 이용함으로써 비용을 절감할 수 있다고 주장했다. 개별 하둡 지원 콤포넌트를 구동하기 위한 연산 비용을 지불하는 대신, 처리되는 쿼리에 대해서만 비용을 지불하면 된다는 이유에서다. 2010년 출범한 빅쿼리에 대해 구글은 대용량 데이터를 처리할 수 있는 쌍방향 서비스라고 홍보하고 있다. 이용자가 데이터 세트를 구글에 업로드하고 빅쿼리 API를 이용해 이에 대한 쿼리를 던지는 방식으로 이용할 수 있다. 이번 업데이트는 빅쿼리의 능력을 확대하는 것으로, 특히 새로운 조인(JOIN) 항목은 다중 데이터 소스를 가로질러 쿼리 결과를 조합할 수 있게 해준다. 기존 빅쿼리의 조인 항목은 8MB 이하의 데이터 세트에 대해서만 이용할 수 있었지만, 새로운 조인 이치(JOIN EACH) 항목에서는 데이터 용량 제한이 없어졌다. 이는 빅쿼리가 하둡의 맵리듀스 대체품으로 활용될 가능성을 시사한다. 현재 많은 하둡 업무는 2개 이상의 데이터 세트에서 비롯된 대용량 데이터를 조합해 이뤄지곤 한다. 개발자는 이를 위해 맵리듀스 프로세스를 처음부터 작성해야 하는데, 이는 많은 시간과 자원을 요구하곤 했다. 반면 조인 이치는 공통 키를 공유하는 2개의 대용량 데이터베이스 테이블로부터 단일 결과를 산출할 수 있다. ...

구글 업데이트 하둡 빅 데이터 빅쿼리

2013.03.15

구글 빅쿼리(BigQuery)가 다중 데이터 테이블를 쿼리할 수 있게 됐다. 다분히 아파치 하둡 이용자를 겨냥한 행보로 풀이된다. 구글 빅쿼리 프로덕트 매니저 주카이 퀙은 블로그 포스트를 통해 이번 업데이트에 대해 다음과 같이 언급했다. "테라바이트 크기의 태이블을 연결시키는 작업은 데이터 애널리스트들에게 그야말로 어려운 작업이었다. 복잡한 맵리듀스 개발 스킬이나 강력한 하드웨어, 방대한 시간이 요구되곤 햇다. 이들 3가지가 한꺼번에 요구되는 경우도 있었다. 이제 빅쿼리를 통해 기업은 SQL과 같은 쿼리를 이용해 인사이트를 전달할 수 있게 됐다. 훨씬 적은 자원만으로, 더 빠른 시간에 가능하다." 구글 측은 이어 하둡 대신 빅쿼리를 이용함으로써 비용을 절감할 수 있다고 주장했다. 개별 하둡 지원 콤포넌트를 구동하기 위한 연산 비용을 지불하는 대신, 처리되는 쿼리에 대해서만 비용을 지불하면 된다는 이유에서다. 2010년 출범한 빅쿼리에 대해 구글은 대용량 데이터를 처리할 수 있는 쌍방향 서비스라고 홍보하고 있다. 이용자가 데이터 세트를 구글에 업로드하고 빅쿼리 API를 이용해 이에 대한 쿼리를 던지는 방식으로 이용할 수 있다. 이번 업데이트는 빅쿼리의 능력을 확대하는 것으로, 특히 새로운 조인(JOIN) 항목은 다중 데이터 소스를 가로질러 쿼리 결과를 조합할 수 있게 해준다. 기존 빅쿼리의 조인 항목은 8MB 이하의 데이터 세트에 대해서만 이용할 수 있었지만, 새로운 조인 이치(JOIN EACH) 항목에서는 데이터 용량 제한이 없어졌다. 이는 빅쿼리가 하둡의 맵리듀스 대체품으로 활용될 가능성을 시사한다. 현재 많은 하둡 업무는 2개 이상의 데이터 세트에서 비롯된 대용량 데이터를 조합해 이뤄지곤 한다. 개발자는 이를 위해 맵리듀스 프로세스를 처음부터 작성해야 하는데, 이는 많은 시간과 자원을 요구하곤 했다. 반면 조인 이치는 공통 키를 공유하는 2개의 대용량 데이터베이스 테이블로부터 단일 결과를 산출할 수 있다. ...

2013.03.15

디렉션 2013 | IDC 애널리스트들의 빅 데이터 진단

'빅 데이터'만큼 활발히 회자되는 유행어도 드물다. 그리고 이에 따른 과장이 존재하는 것도 사실이다. 그러나 빅 데이터 전략을 개발할 수 있는 공식적인 방안들이 마련되고 있는 등, 빅 데이터가 현실 세계에서의 성공을 향해 진군을 개시하는 양상이라고 몇몇 IDC 애널리스트들이 평가했다. IDC 애널리스트 댄 베세트는 13일 보스턴에서 열린 회사의 디렉션 2013 컨퍼런스에서 "수많은 과장과 광고가 명백히 존재하는 시점이다. 문제는 현실은 무엇이냐는 것, 그리고 기업들이 단기적으로 무엇을 할 수 있느냐는 것이다"라고 말했다. 그는 이어 빅 데이터에 대한 IDC의 정의를 소개했다. "광범위한 출처로부터 비롯된 대용량 데이터에서 추출해  새로운 경제적 가치를 창출하는 정보 주도적이고 전술적 의사 결정"이라는 설명이다. 베세트는 최초의 '의사 결정'이라는 문구가 결정적으로 중요하다고 강조했다. 그는 "모든 종류의 기술을 설치할 수 있을 것이다. 그러나 중요한 것은 의사 결정을 개선시키는 것"이라며, "최상의 하둡 솔루션을 가질 수는 있다. 그러나 그것으로는 충분치 않을 것"이라고 덧붙였다. 베세트와 함께 프리젠테이션한 마이클 베르사체 애널리스트는 기업 변혁을 위해 빅 데이터 프로젝트를 활용하는 기업 중 하나로 프로그레시브(Progressive)를 언급했다. 그에 따르면 이 보험회사는 가입자의 운전 습관에 기반한 정보를 활용해 개인별 맞춤 가격 전략 모델을 개발했다. 좀더 자세히 설명하면 프로그레시브는 자동차의 진단 포트에 연결된 기기를 통해 데이터를 수집한다. 운전자의 급제동, 야간 운전 빈도, 이외의 여타 위험한 운전 습관 등을 기록한다. 운전 습관이 안전하다고 판단될수록 가격은 유의미하게 저렴해진다. 베세트는 이 밖에 성공적인 빅 데이터 프로젝트를 출범하기까지는 많은 과제들이 존재한다고 강조했다. 여기에는 어떤 데이터를 저장하...

IDC 데이터베이스 빅 데이터 디렉션 2013

2013.03.14

'빅 데이터'만큼 활발히 회자되는 유행어도 드물다. 그리고 이에 따른 과장이 존재하는 것도 사실이다. 그러나 빅 데이터 전략을 개발할 수 있는 공식적인 방안들이 마련되고 있는 등, 빅 데이터가 현실 세계에서의 성공을 향해 진군을 개시하는 양상이라고 몇몇 IDC 애널리스트들이 평가했다. IDC 애널리스트 댄 베세트는 13일 보스턴에서 열린 회사의 디렉션 2013 컨퍼런스에서 "수많은 과장과 광고가 명백히 존재하는 시점이다. 문제는 현실은 무엇이냐는 것, 그리고 기업들이 단기적으로 무엇을 할 수 있느냐는 것이다"라고 말했다. 그는 이어 빅 데이터에 대한 IDC의 정의를 소개했다. "광범위한 출처로부터 비롯된 대용량 데이터에서 추출해  새로운 경제적 가치를 창출하는 정보 주도적이고 전술적 의사 결정"이라는 설명이다. 베세트는 최초의 '의사 결정'이라는 문구가 결정적으로 중요하다고 강조했다. 그는 "모든 종류의 기술을 설치할 수 있을 것이다. 그러나 중요한 것은 의사 결정을 개선시키는 것"이라며, "최상의 하둡 솔루션을 가질 수는 있다. 그러나 그것으로는 충분치 않을 것"이라고 덧붙였다. 베세트와 함께 프리젠테이션한 마이클 베르사체 애널리스트는 기업 변혁을 위해 빅 데이터 프로젝트를 활용하는 기업 중 하나로 프로그레시브(Progressive)를 언급했다. 그에 따르면 이 보험회사는 가입자의 운전 습관에 기반한 정보를 활용해 개인별 맞춤 가격 전략 모델을 개발했다. 좀더 자세히 설명하면 프로그레시브는 자동차의 진단 포트에 연결된 기기를 통해 데이터를 수집한다. 운전자의 급제동, 야간 운전 빈도, 이외의 여타 위험한 운전 습관 등을 기록한다. 운전 습관이 안전하다고 판단될수록 가격은 유의미하게 저렴해진다. 베세트는 이 밖에 성공적인 빅 데이터 프로젝트를 출범하기까지는 많은 과제들이 존재한다고 강조했다. 여기에는 어떤 데이터를 저장하...

2013.03.14

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.5