Offcanvas

���������

선택 아닌 필수··· ‘통합 데이터 생명주기 솔루션’이 필요한 이유 

데이터가 21세기의 원유(原油)라고 할지라도 이를 시추하는 방법을 모른다면 말짱 도루묵이다. ‘데이터 생명주기(Data Lifecycle)’에는 여러 단계가 있다. 이 때문에 시추부터 생산까지 전체 생명주기를 다룰 수 있는 방법이 필요하다.  디지털 트랜스포메이션을 경험한 거의 모든 기업이 수집된 방대한 양의 데이터를 최대한 활용하고자 고군분투한다. 실제로, 대부분의 기업에서 무려 85~95%의 데이터가 충분히 활용되지 않고 낭비되는 것으로 추정된다.  ‘데이터 생명주기’에는 여러 단계가 있다. ▲데이터 수집, ▲데이터 엔지니어링 및 데이터세트 생성, ▲추가적인 사용 및 애널리틱스를 위한 데이터 대량 저장, ▲데이터 탐색을 위한 데이터베이스 생성, ▲데이터 보안 및 규제를 준수하면서 고급 애널리틱스 또는 머신러닝을 통한 인사이트 도출이다.    많은 기업이 어려움을 겪는 부분은 비용은 합리적으로 그리고 구축 및 운영 시간은 최소한으로 유지하면서 이러한 시스템을 최적으로 통합하는 것이다. 또한 데이터로부터 실질적인 인사이트를 얻을 수 있도록 이를 유의미한 방식으로 제시하는 데 따르는 어려움도 있다.  따라서 데이터 수집부터 인사이트 도출을 위한 분석까지 데이터 생명주기를 전체적으로 관리하는 방법이 필요하다. 오픈소스의 이점은 물론이고 온프레미스, 하이브리드, 클라우드 네이티브 컴퓨팅을 활용할 수 있는 역량을 유지하면서 말이다.  이에 대한 해결책으로 한동안 데이터 웨어하우스가 스토리지 및 전송을 처리하는 데 사용됐지만 완전한 해답은 아니었다. 또 많은 기업이 순수 오픈소스(예: 아파치 하둡) 또는 상용 제품(예: 탈렌드, 인포메티카, 아마존 레드시프트, IBM, SAP, 오라클 등)을 통해 데이터 클라우드를 구축하기도 했지만 이 역시 전체 데이터 생명주기 문제를 해결하진 못했다. 오히려 통합하기 쉽지 않은 이질적인 추가 제품을 다수 사용해야 하는 결과를 낳기도 했다.  특히 비용 측면에서...

데이터 데이터 생명주기 빅 데이터 디지털 트랜스포메이션 데이터 엔지니어링 데이터세트 데이터 보안 데이터베이스 오픈소스 아파치 하둡 탈렌드 인포메티카 아마존 레드시프트 IBM SAP 오라클 클라우데라 머신러닝 금융사기 원격진료

2020.11.27

데이터가 21세기의 원유(原油)라고 할지라도 이를 시추하는 방법을 모른다면 말짱 도루묵이다. ‘데이터 생명주기(Data Lifecycle)’에는 여러 단계가 있다. 이 때문에 시추부터 생산까지 전체 생명주기를 다룰 수 있는 방법이 필요하다.  디지털 트랜스포메이션을 경험한 거의 모든 기업이 수집된 방대한 양의 데이터를 최대한 활용하고자 고군분투한다. 실제로, 대부분의 기업에서 무려 85~95%의 데이터가 충분히 활용되지 않고 낭비되는 것으로 추정된다.  ‘데이터 생명주기’에는 여러 단계가 있다. ▲데이터 수집, ▲데이터 엔지니어링 및 데이터세트 생성, ▲추가적인 사용 및 애널리틱스를 위한 데이터 대량 저장, ▲데이터 탐색을 위한 데이터베이스 생성, ▲데이터 보안 및 규제를 준수하면서 고급 애널리틱스 또는 머신러닝을 통한 인사이트 도출이다.    많은 기업이 어려움을 겪는 부분은 비용은 합리적으로 그리고 구축 및 운영 시간은 최소한으로 유지하면서 이러한 시스템을 최적으로 통합하는 것이다. 또한 데이터로부터 실질적인 인사이트를 얻을 수 있도록 이를 유의미한 방식으로 제시하는 데 따르는 어려움도 있다.  따라서 데이터 수집부터 인사이트 도출을 위한 분석까지 데이터 생명주기를 전체적으로 관리하는 방법이 필요하다. 오픈소스의 이점은 물론이고 온프레미스, 하이브리드, 클라우드 네이티브 컴퓨팅을 활용할 수 있는 역량을 유지하면서 말이다.  이에 대한 해결책으로 한동안 데이터 웨어하우스가 스토리지 및 전송을 처리하는 데 사용됐지만 완전한 해답은 아니었다. 또 많은 기업이 순수 오픈소스(예: 아파치 하둡) 또는 상용 제품(예: 탈렌드, 인포메티카, 아마존 레드시프트, IBM, SAP, 오라클 등)을 통해 데이터 클라우드를 구축하기도 했지만 이 역시 전체 데이터 생명주기 문제를 해결하진 못했다. 오히려 통합하기 쉽지 않은 이질적인 추가 제품을 다수 사용해야 하는 결과를 낳기도 했다.  특히 비용 측면에서...

2020.11.27

GDPR 준수율, 여전히 낮다

클라우드 데이터 통합 업체인 탈렌드(Talend)의 설문 조사에 따르면 유럽의 일반 데이터 보호 규정(GDPR)이 시행된 지 약 18개월 지난 현재 몇 가지 규제가 개선되었지만 GDPR 준수율은 여전히 낮은 수준으로 나타났다.    전 세계 조사 대상 기업 중 절반 이상(58%)은 GDPR에서 지정한 1개월이라는 시간 안에 데이터 접근 및 이동에 관한 정보 요청을 충족할 수 없는 것으로 조사됐다. 이 수치는 2018년 9월 첫 번째 설문 조사 결과보다 개선됐다. 첫 번째 설문 조사에서는 기업의 70%가 1개월 이내에 개인이 요청한 데이터에 관한 정보를 제공하지 못한 것으로 나타났다.  탈렌드는 처음 설문조사를 한 지 1년 만에 이 조사를 다시 했으며, 최근 조사에서 얼마나 나아졌는지를 파악하고자 했다. 전세계에 새로운 규정이 적용되면서 탈렌드는 조직에 데이터 보안 규정을 점검하는 프로세스가 필요해졌다고 주장했다. 데이터 보안 규정에는 미국(2020년 1월 캘리포니아 소비자 개인 정보 보호법), APAC(2020년 5월 태국의 PDPA), 라틴 아메리카(2020년 8월 브라질의 LGPD)에서 시행되는 데이터 보호 규정이 포함된다. 설문 조사에 따르면 미디어/통신, 공공 업계는 데이터 보호 요건을 충족하기 위해 고심하고 있으며, 공공의 29%와 미디어/통신의 32%만이 1개월이라는 제한된 시간 안에 데이터를 제공할 수 있는 것으로 파악됐다. 유통, 금융, 여행, 운송, 숙박 업종은 평균보다 한참 낮은 수준으로 조사됐다. 조사에 응한 기업의 46%는 1개월 이내에 데이터 요청에 정확한 답변을 제공했다고 보고했다. 탈렌드는 조직이 데이터 거버넌스 혁신을 시작하여 360도 고객에 대한 관점을 제공하고 데이터 자동화 담당자가 좀더 자동화된 데이터 처리와 제공을 통해 역량을 강화해야 한다고 말했다. 탈렌드 데이터 거버넌스 제품 담당 이사 장-미셸 프랑코는 “GDPR을 완전히 준수하려면 데이터의 위치, 처리 방법, 대상을 이해해야 한다”...

개인정보 보호 규제 CMO 탈렌드 데이터 통합 GDPR 유럽 일반 데이터 보호 규정

2019.12.06

클라우드 데이터 통합 업체인 탈렌드(Talend)의 설문 조사에 따르면 유럽의 일반 데이터 보호 규정(GDPR)이 시행된 지 약 18개월 지난 현재 몇 가지 규제가 개선되었지만 GDPR 준수율은 여전히 낮은 수준으로 나타났다.    전 세계 조사 대상 기업 중 절반 이상(58%)은 GDPR에서 지정한 1개월이라는 시간 안에 데이터 접근 및 이동에 관한 정보 요청을 충족할 수 없는 것으로 조사됐다. 이 수치는 2018년 9월 첫 번째 설문 조사 결과보다 개선됐다. 첫 번째 설문 조사에서는 기업의 70%가 1개월 이내에 개인이 요청한 데이터에 관한 정보를 제공하지 못한 것으로 나타났다.  탈렌드는 처음 설문조사를 한 지 1년 만에 이 조사를 다시 했으며, 최근 조사에서 얼마나 나아졌는지를 파악하고자 했다. 전세계에 새로운 규정이 적용되면서 탈렌드는 조직에 데이터 보안 규정을 점검하는 프로세스가 필요해졌다고 주장했다. 데이터 보안 규정에는 미국(2020년 1월 캘리포니아 소비자 개인 정보 보호법), APAC(2020년 5월 태국의 PDPA), 라틴 아메리카(2020년 8월 브라질의 LGPD)에서 시행되는 데이터 보호 규정이 포함된다. 설문 조사에 따르면 미디어/통신, 공공 업계는 데이터 보호 요건을 충족하기 위해 고심하고 있으며, 공공의 29%와 미디어/통신의 32%만이 1개월이라는 제한된 시간 안에 데이터를 제공할 수 있는 것으로 파악됐다. 유통, 금융, 여행, 운송, 숙박 업종은 평균보다 한참 낮은 수준으로 조사됐다. 조사에 응한 기업의 46%는 1개월 이내에 데이터 요청에 정확한 답변을 제공했다고 보고했다. 탈렌드는 조직이 데이터 거버넌스 혁신을 시작하여 360도 고객에 대한 관점을 제공하고 데이터 자동화 담당자가 좀더 자동화된 데이터 처리와 제공을 통해 역량을 강화해야 한다고 말했다. 탈렌드 데이터 거버넌스 제품 담당 이사 장-미셸 프랑코는 “GDPR을 완전히 준수하려면 데이터의 위치, 처리 방법, 대상을 이해해야 한다”...

2019.12.06

"오픈소스는 빅데이터를 위한 '뉴 노멀'이다" 탈렌드 CEO

개방성이 하둡 생태계를 주도하고 있다고 한 빅데이터 업체 CEO가 밝혔다. 탈렌드 CEO 마이크 투첸은 “오픈소스가 빅데이터 세계를 움직이고 있다”라고 말했다. 이미지 출처 : IDGNS 하둡과 아파치 스파크가 빅데이터에서 가장 인기 있는 기술이라는 점은 공공연한 사실이지만, 이들이 모두 오픈소스라는 점은 잘 알려지지 않았다. 빅데이터 업체인 탈렌드(Talend)의 CEO이자 마이크로소프트의 간부였던 마이크 투첸은 이 현상에 대해 우연이 아니라고 생각하고 있다. 투첸은 "변화를 보고 있다”며 “차세대 데이터 플랫폼 전체는 오픈소스가 될 것이다"고 전망했다. 그가 말한 플랫폼은 전체 스택이 오픈소스인 확대된 하둡 생태계다. "이것은 뉴 노멀이다"고 투첸은 말했다. 탈렌드는 자사 핵심 제품들을 하둡, 스파크, 오픈소스에 두기 때문에 투첸이 오픈소스에 열의를 보이는 것은 그리 놀라운 일이 아니다. 탈렌드는 무엇보다도 빅데이터, 클라우드, 애플리케이션 통합에 초점을 맞춘 제품들은 제공하고 있으며 모든 제품들은 오픈소스 소프트웨어를 기반으로 한다.   올해 10주년을 맞이하는 이 회사는 그동안 GE, 시티은행, 루프트한자, 오렌지, 버진모바일 등 굵직굵직한 고객사를 확보한 상태로, 여러 주요 프로젝트들을 진행 중에 있다. 2015년 말 탈렌드는 5개국에서 자사 제품을 판매하고 있었으며 올해 말까지 15개국으로 늘릴 것이라고 투첸는 전했다. “이러한 사업 확장은 200여 명의 신규 고용을 의미한다. 올해 전체 인력은 약 750명이 될 것이다”고 그는 설명했다.  기업들은 오픈소스 덕분에 구매하기 전에 시도해볼 수 있게 됐으며, 개발자들끼리만 정보를 공유하던 때보다 훨씬 빠른 속도로 오픈소스가 발전하는 것을 보게 될 것이라고 투첸은 전했다. "하둡 생태계 안에 한 업체만 있었을 때보다 ...

빅데이터 마이크로소프트 탈렌드 하둡 생태계 뉴 노멀 아파치 스파크 Talend

2016.01.25

개방성이 하둡 생태계를 주도하고 있다고 한 빅데이터 업체 CEO가 밝혔다. 탈렌드 CEO 마이크 투첸은 “오픈소스가 빅데이터 세계를 움직이고 있다”라고 말했다. 이미지 출처 : IDGNS 하둡과 아파치 스파크가 빅데이터에서 가장 인기 있는 기술이라는 점은 공공연한 사실이지만, 이들이 모두 오픈소스라는 점은 잘 알려지지 않았다. 빅데이터 업체인 탈렌드(Talend)의 CEO이자 마이크로소프트의 간부였던 마이크 투첸은 이 현상에 대해 우연이 아니라고 생각하고 있다. 투첸은 "변화를 보고 있다”며 “차세대 데이터 플랫폼 전체는 오픈소스가 될 것이다"고 전망했다. 그가 말한 플랫폼은 전체 스택이 오픈소스인 확대된 하둡 생태계다. "이것은 뉴 노멀이다"고 투첸은 말했다. 탈렌드는 자사 핵심 제품들을 하둡, 스파크, 오픈소스에 두기 때문에 투첸이 오픈소스에 열의를 보이는 것은 그리 놀라운 일이 아니다. 탈렌드는 무엇보다도 빅데이터, 클라우드, 애플리케이션 통합에 초점을 맞춘 제품들은 제공하고 있으며 모든 제품들은 오픈소스 소프트웨어를 기반으로 한다.   올해 10주년을 맞이하는 이 회사는 그동안 GE, 시티은행, 루프트한자, 오렌지, 버진모바일 등 굵직굵직한 고객사를 확보한 상태로, 여러 주요 프로젝트들을 진행 중에 있다. 2015년 말 탈렌드는 5개국에서 자사 제품을 판매하고 있었으며 올해 말까지 15개국으로 늘릴 것이라고 투첸는 전했다. “이러한 사업 확장은 200여 명의 신규 고용을 의미한다. 올해 전체 인력은 약 750명이 될 것이다”고 그는 설명했다.  기업들은 오픈소스 덕분에 구매하기 전에 시도해볼 수 있게 됐으며, 개발자들끼리만 정보를 공유하던 때보다 훨씬 빠른 속도로 오픈소스가 발전하는 것을 보게 될 것이라고 투첸은 전했다. "하둡 생태계 안에 한 업체만 있었을 때보다 ...

2016.01.25

빅 데이터 도입 동력은 '경쟁력 확보'에의 기대 <탈렌드 설문조사>

조직 내 빅 데이터를 도입하게 하는 최대 동력은 차별화된 경쟁력을 확보하려는 욕구라는 조사 결과다. 디렉터, 부서장, IT 매니저, 데이터 아키텍트를 대상으로 탈렌드(Talend) 커넥트 런던 2013 이벤트에서 진행한 설문 조사에 따르면 ,34%의 응답자는 빅 데이터의 최대 혜택으로 경쟁사보다 앞설 수 있게 해주는 것을 지목했다. 매출 증대는 29%의 응답자가 지목했다. 반면 제품 및 서비스 개발 비용 절감, 데이터 볼륨 증가 등의 요인은 12%에 그쳤다. 탈렌드 마케이 부문 부사장 이브 드 몽쇠이유는 "가치 있는 데이터 가져다줄 수 있는 혜택이 전술적 차원에 그치지 않는다는 사실을 기업/기관들이 깨달아 가고 있다"라고 말했다. 그는 이어 "기업 강점을 극대화하고 수익성을 강화할 수 있는 전략적 목표를 달성함에 있어 데이터를 활용할 수 있는 능력이 핵심적인 것으로 부각되고 있다"라고 덧붙였다. 이미 고객 행동 및 미래에 대한 통찰을 얻는 몇몇 기업들이 출현하고 있으며, 또 몇몇 기업은 마케팅 및 브랜드 전략에 대한 모든 결정에 빅 데이터를 이용하고 있다는 설명이다. 그는 기업 내 역량 관리 용도로도 활용되고 있다고 전했다. 그러나 빅 데이터에 이해가 높아졌음에도 불구하고 통합된 데이터 관리로 이어지기까지는 아직 가야할 길이 멀다는 사실도 이번 설문조사를 통해 도출됐다. 증가하는 데이터 볼륨을 관리하기에 충분히 준비됐다고 응답한 비율은 33%에 그쳤던 것이다. 단 이는 전년의 24%에 비해 크게 증가한 수치다. 또 제대로 준비되지 않았거나 충분히 준비되지 않았다고 응답한 비율은 20%로, 작년의 37%에서 대폭 감소했다. ciokr@idg.co.kr

설문조사 탈렌드 경쟁력 빅 데이터

2013.12.03

조직 내 빅 데이터를 도입하게 하는 최대 동력은 차별화된 경쟁력을 확보하려는 욕구라는 조사 결과다. 디렉터, 부서장, IT 매니저, 데이터 아키텍트를 대상으로 탈렌드(Talend) 커넥트 런던 2013 이벤트에서 진행한 설문 조사에 따르면 ,34%의 응답자는 빅 데이터의 최대 혜택으로 경쟁사보다 앞설 수 있게 해주는 것을 지목했다. 매출 증대는 29%의 응답자가 지목했다. 반면 제품 및 서비스 개발 비용 절감, 데이터 볼륨 증가 등의 요인은 12%에 그쳤다. 탈렌드 마케이 부문 부사장 이브 드 몽쇠이유는 "가치 있는 데이터 가져다줄 수 있는 혜택이 전술적 차원에 그치지 않는다는 사실을 기업/기관들이 깨달아 가고 있다"라고 말했다. 그는 이어 "기업 강점을 극대화하고 수익성을 강화할 수 있는 전략적 목표를 달성함에 있어 데이터를 활용할 수 있는 능력이 핵심적인 것으로 부각되고 있다"라고 덧붙였다. 이미 고객 행동 및 미래에 대한 통찰을 얻는 몇몇 기업들이 출현하고 있으며, 또 몇몇 기업은 마케팅 및 브랜드 전략에 대한 모든 결정에 빅 데이터를 이용하고 있다는 설명이다. 그는 기업 내 역량 관리 용도로도 활용되고 있다고 전했다. 그러나 빅 데이터에 이해가 높아졌음에도 불구하고 통합된 데이터 관리로 이어지기까지는 아직 가야할 길이 멀다는 사실도 이번 설문조사를 통해 도출됐다. 증가하는 데이터 볼륨을 관리하기에 충분히 준비됐다고 응답한 비율은 33%에 그쳤던 것이다. 단 이는 전년의 24%에 비해 크게 증가한 수치다. 또 제대로 준비되지 않았거나 충분히 준비되지 않았다고 응답한 비율은 20%로, 작년의 37%에서 대폭 감소했다. ciokr@idg.co.kr

2013.12.03

클라우드 확대되면서 데이터 마이그레이션도 부상

IBM, 델에 이어 오픈소스 업체 탈렌드(Talend)가 클라우드 특화 데이터 마이그레이션 툴을 제공하겠다고 나섰다.   탈렌드는 자사 신제품인 ‘탈렌드 클라우드(Talend Cloud)’가 나온 이후, 클라우드 선택의 폭이 더욱 넓어지고 SaaS 데이터 마이그레이션 시장이 크게 성장했다고 밝혔다. 탈렌드 클라우드는 기 구축된 커넥터 시리즈를 세일즈포스닷컴, 아마존 RDS(Relational Database Service), 슈거CRM, 구글앱스, 트위터, 넷스위트(NetSuite) 등의 클라우드 서비스에 추가하면서 기업의 데이터 통합 툴과 다른 미들웨어 위에 애플리케이션을 구축할 수 있게 해준다. 이 회사의 보도자료에 따르면, 커넥터들은 어떤 복잡하고 특정 IT업체를 위한 API들을 모두 수용하면서 연결을 위태 탄생한 툴이다. 기업내 IT부서들이 클라우드 서비스를 점점 더 많이 도입함에 따라, 애플리케이션들을 온프레미스 데이터 저장과 시스템에서 하나로 묶고자 하는 수요가 증가했다. 지난해 IBM과 델이 클라우드 데이터 통합 업체 캐스트 아이언 시스템즈(Cast Iron Systems)와 부미(Boomi)를 각각 인수한 것도 바로 이러한 시장 수요에 대응하기 위해서다. 다양한 환경의 데이터를 통합하고자 하는 이슈는 IT업체들에게 수지타산이 맞는 비즈니스로 부상하거나 그렇게 될 수 있다는 확신이 들게 했다.   컨스텔레이션 리서치(Constellation Research)의 CEO이자 애널리스트인 레이 왕에 따르면, 데이터 통합 업체들은 비슷한 기반에서 경쟁하는 것으로 조사됐다. “IT업체들의 커넥터는 연결 부분을 관리하는 것이 얼마나 수월한가가 관건이다. 여러 애플리케이션이 연결될수록 각각의 버전이 다르기 때문에 지원과 업데이트를 관리해야 할 접점이 얼마나 많은지가 핵심이다. 그러나 얼마나 잘 관리할 수 있느냐는 절대적으로 중요하다”라고 그는 말했...

클라우드 ETL ETT 데이터 마이그레이션 온프레미스 온디맨드 통합 IBM 오픈소스 탈렌드

2011.06.09

IBM, 델에 이어 오픈소스 업체 탈렌드(Talend)가 클라우드 특화 데이터 마이그레이션 툴을 제공하겠다고 나섰다.   탈렌드는 자사 신제품인 ‘탈렌드 클라우드(Talend Cloud)’가 나온 이후, 클라우드 선택의 폭이 더욱 넓어지고 SaaS 데이터 마이그레이션 시장이 크게 성장했다고 밝혔다. 탈렌드 클라우드는 기 구축된 커넥터 시리즈를 세일즈포스닷컴, 아마존 RDS(Relational Database Service), 슈거CRM, 구글앱스, 트위터, 넷스위트(NetSuite) 등의 클라우드 서비스에 추가하면서 기업의 데이터 통합 툴과 다른 미들웨어 위에 애플리케이션을 구축할 수 있게 해준다. 이 회사의 보도자료에 따르면, 커넥터들은 어떤 복잡하고 특정 IT업체를 위한 API들을 모두 수용하면서 연결을 위태 탄생한 툴이다. 기업내 IT부서들이 클라우드 서비스를 점점 더 많이 도입함에 따라, 애플리케이션들을 온프레미스 데이터 저장과 시스템에서 하나로 묶고자 하는 수요가 증가했다. 지난해 IBM과 델이 클라우드 데이터 통합 업체 캐스트 아이언 시스템즈(Cast Iron Systems)와 부미(Boomi)를 각각 인수한 것도 바로 이러한 시장 수요에 대응하기 위해서다. 다양한 환경의 데이터를 통합하고자 하는 이슈는 IT업체들에게 수지타산이 맞는 비즈니스로 부상하거나 그렇게 될 수 있다는 확신이 들게 했다.   컨스텔레이션 리서치(Constellation Research)의 CEO이자 애널리스트인 레이 왕에 따르면, 데이터 통합 업체들은 비슷한 기반에서 경쟁하는 것으로 조사됐다. “IT업체들의 커넥터는 연결 부분을 관리하는 것이 얼마나 수월한가가 관건이다. 여러 애플리케이션이 연결될수록 각각의 버전이 다르기 때문에 지원과 업데이트를 관리해야 할 접점이 얼마나 많은지가 핵심이다. 그러나 얼마나 잘 관리할 수 있느냐는 절대적으로 중요하다”라고 그는 말했...

2011.06.09

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13