Offcanvas

��������� DBMS

벤더 기고ㅣ진화하는 ‘데이터 레이크’에 주목해야 할 시점··· 데이터 레이크 현황과 전망

데이터 레이크에 새롭게 주목해야 할 시점이다. 지금까지 기업들은 업무 프로세스를 지원하기 위해 ERP 등 시스템을 구축∙운영해 왔고, 이와 같은 레거시 시스템을 통해서 업무와 관련된 데이터가 발생해 왔다. 약 10년전 ‘빅데이터’라는 새로운 화두는 이처럼 업무를 담당하거나 운영을 지원하는 시스템에서 발생하는 데이터를 기업 의사결정에 접목하려는 목적으로 시작됐다. 이러한 목적에 있어 가장 근접한 ‘최신 기술 집약체’가 바로 ‘데이터 레이크’다. 데이터 레이크 분야에의 관심이 시장 성장으로 이어지고 있는 배경이다.    활성화 요인 데이터 레이크 시장이 뜨거워지는 주요 요인으로는 ▲ 데이터 활용 수요 증가, ▲ 데이터를 둘러싼 기술 발전, ▲ 데이터 기반 의사결정이라는 3가지 추세가 있다. ① 데이터 활용 수요 증가     데이터 레이크는 아직 가공되지 않은 데이터를 저장하기 때문에 보다 효율적으로 다양한 관점에서 분석을 진행할 수 있다. 한정된 데이터에 기반한 분석을 넘어서는 것이 가능하다. 예를 들어 스트리밍 데이터를 활용한 분석, 대규모 데이터와 다양한 언어(텍스트, 이미지 및 비디오 포함)를 활용하는 보다 세분화한 형태의 마케팅, 여러 변수를 활용하는 정확도 높은 수요 예측 등을 가능케 한다.  이렇게 데이터를 활용하면서 기업의 운영 역량(Operational Excellency) 개선 사례(business case)가 늘어나고 있다. 다양한 실증 사례가 여러 산업에서 출현하면서 데이터를 활용하여 비즈니스 프로세스를 운영하려는 필요성이 수요와 연계되어, 데이터 활용 니즈가 증가 추세에 있다. ② 데이터를 둘러싼 기술 발전         기존 관계형 DBMS와 같은 전통방식으로는 BI(Business Intelligence)기반 리포트와 대시보드, ad hoc 보고서 작성 위주라는 한계가 있음을 기업 주체들이 경험했다. 이로 인해 빠르게 급증하...

데이터 레이크 데이터 활용 관계형 DBMS IT 인프라 데이터 분석 데이터 인프라 스마트 시티 사물인터넷 클라우드

2021.12.31

데이터 레이크에 새롭게 주목해야 할 시점이다. 지금까지 기업들은 업무 프로세스를 지원하기 위해 ERP 등 시스템을 구축∙운영해 왔고, 이와 같은 레거시 시스템을 통해서 업무와 관련된 데이터가 발생해 왔다. 약 10년전 ‘빅데이터’라는 새로운 화두는 이처럼 업무를 담당하거나 운영을 지원하는 시스템에서 발생하는 데이터를 기업 의사결정에 접목하려는 목적으로 시작됐다. 이러한 목적에 있어 가장 근접한 ‘최신 기술 집약체’가 바로 ‘데이터 레이크’다. 데이터 레이크 분야에의 관심이 시장 성장으로 이어지고 있는 배경이다.    활성화 요인 데이터 레이크 시장이 뜨거워지는 주요 요인으로는 ▲ 데이터 활용 수요 증가, ▲ 데이터를 둘러싼 기술 발전, ▲ 데이터 기반 의사결정이라는 3가지 추세가 있다. ① 데이터 활용 수요 증가     데이터 레이크는 아직 가공되지 않은 데이터를 저장하기 때문에 보다 효율적으로 다양한 관점에서 분석을 진행할 수 있다. 한정된 데이터에 기반한 분석을 넘어서는 것이 가능하다. 예를 들어 스트리밍 데이터를 활용한 분석, 대규모 데이터와 다양한 언어(텍스트, 이미지 및 비디오 포함)를 활용하는 보다 세분화한 형태의 마케팅, 여러 변수를 활용하는 정확도 높은 수요 예측 등을 가능케 한다.  이렇게 데이터를 활용하면서 기업의 운영 역량(Operational Excellency) 개선 사례(business case)가 늘어나고 있다. 다양한 실증 사례가 여러 산업에서 출현하면서 데이터를 활용하여 비즈니스 프로세스를 운영하려는 필요성이 수요와 연계되어, 데이터 활용 니즈가 증가 추세에 있다. ② 데이터를 둘러싼 기술 발전         기존 관계형 DBMS와 같은 전통방식으로는 BI(Business Intelligence)기반 리포트와 대시보드, ad hoc 보고서 작성 위주라는 한계가 있음을 기업 주체들이 경험했다. 이로 인해 빠르게 급증하...

2021.12.31

'농장에서 매장까지 블록체인으로' 월마트 식품 안전 부사장 일문일답

월마트의 식품 안전 부사장인 프랭크 이야나스는 예전에는 블록체인에 의구심을 품었지만, 지금은 농장부터 식품 진열대까지 식품을 안전하고 투명하게 추적할 수 있으며 변경이 불가능한 레코드를 만드는 완벽한 도구가 블록체인이라는 점에 동의한다. 월마트는 가장 발전된 소매업체 중 하나다. 이 회사는 농장에서 매장까지 단 몇 초 만에 식품을 추적할 수 있는 투명하면서 변경이 불가능한 레저를 활용하는 프로젝트에 100여 공급업체를 동참시키기 위해 IBM의 블록체인 기반 공급망 추적 시스템을 도입했다. 구체적으로, 월마트는 최근 모든 녹색 잎채소 공급업체에 2019년 9월 말까지 블록체인 추적 시스템에 데이터를 제공할 것을 요청했다. 월마트의 식품 안전 담당 부사장인 프랭크 이야나스(왼쪽 사진)는 블록체인 기술을 조사, (스스로 표현하기를) ‘종교적인 회심(Religious conversion)’을 갖게 되기까지 블록체인 기술을 의심했었다. 그러나 기술 그 자체를 위해 블록체인을 전개하는 것은 실수라고 강조한다. 그는 <컴퓨터월드>와 가진 인터뷰에서 ‘월마트의 분산형 레저 식품 추적 시스템 도입’에 대한 이야기를 했다. 다음은 이야나스와의 일문일답이다. 컴퓨터월드 : 지난해 2개 시범 프로젝트를 완료했다. 이후 어떤 일이 있었는가? 프랭크 이야나스(이하 이야나스) : 올해 초에 ‘얇게 썬 망고’를 가지고 개념 증명을 했다. 또 중국에서는 돼지고기를 가지고, 또 수입 동물성 단백질을 가지고 개념 증명을 했다. 이후 총 10개 회사에 연락, 관심이 있는지, 또 우리와 함께 테스트 및 단계적 확장을 추진할지 물었다. 그러다 (정확한 날짜는 잊었지만)어느 날, 시범 프로젝트가 생산화 단계 프로젝트로 전환되었다. 이들 10개 회사와 함께 현재 최대 25개 식품 SKU, 또는 제품에 블록체인을 활용했다. 프로덕션 단계이다. 이렇게 블록체인을 활용, 공급업체로부터...

데이터베이스 세균 농장 식품 질병 추적 월마트 관계형 DBMS 공급망 페덱스 SCM 유통 식품 안전

2018.10.04

월마트의 식품 안전 부사장인 프랭크 이야나스는 예전에는 블록체인에 의구심을 품었지만, 지금은 농장부터 식품 진열대까지 식품을 안전하고 투명하게 추적할 수 있으며 변경이 불가능한 레코드를 만드는 완벽한 도구가 블록체인이라는 점에 동의한다. 월마트는 가장 발전된 소매업체 중 하나다. 이 회사는 농장에서 매장까지 단 몇 초 만에 식품을 추적할 수 있는 투명하면서 변경이 불가능한 레저를 활용하는 프로젝트에 100여 공급업체를 동참시키기 위해 IBM의 블록체인 기반 공급망 추적 시스템을 도입했다. 구체적으로, 월마트는 최근 모든 녹색 잎채소 공급업체에 2019년 9월 말까지 블록체인 추적 시스템에 데이터를 제공할 것을 요청했다. 월마트의 식품 안전 담당 부사장인 프랭크 이야나스(왼쪽 사진)는 블록체인 기술을 조사, (스스로 표현하기를) ‘종교적인 회심(Religious conversion)’을 갖게 되기까지 블록체인 기술을 의심했었다. 그러나 기술 그 자체를 위해 블록체인을 전개하는 것은 실수라고 강조한다. 그는 <컴퓨터월드>와 가진 인터뷰에서 ‘월마트의 분산형 레저 식품 추적 시스템 도입’에 대한 이야기를 했다. 다음은 이야나스와의 일문일답이다. 컴퓨터월드 : 지난해 2개 시범 프로젝트를 완료했다. 이후 어떤 일이 있었는가? 프랭크 이야나스(이하 이야나스) : 올해 초에 ‘얇게 썬 망고’를 가지고 개념 증명을 했다. 또 중국에서는 돼지고기를 가지고, 또 수입 동물성 단백질을 가지고 개념 증명을 했다. 이후 총 10개 회사에 연락, 관심이 있는지, 또 우리와 함께 테스트 및 단계적 확장을 추진할지 물었다. 그러다 (정확한 날짜는 잊었지만)어느 날, 시범 프로젝트가 생산화 단계 프로젝트로 전환되었다. 이들 10개 회사와 함께 현재 최대 25개 식품 SKU, 또는 제품에 블록체인을 활용했다. 프로덕션 단계이다. 이렇게 블록체인을 활용, 공급업체로부터...

2018.10.04

“하둡과 통합된다고? 정말?”··· BI업체에 따져볼 질문들

빅 데이터가 뜨면서 빅 데이터의 핵심 기술 중 하나인 하둡에 대해 BI업체들이 경쟁하듯 지원 제품을 내놓고 있다. 포레스터 애널리스트는 이들 중에서 정말 하둡과 통합되는지를 따져보려면 BI업체체들에 몇 가지 질문을 던져보라고 조언했다. BI업체가 하둡과 완벽하게 통합되는 제품이라고 소개하면, 기업들은 BI업체들에게 꼼꼼하게 따져봐야 할 질문들이 많다고 포레스터의 한 애널리스트가 주장하고 있다. 포레스터의 애널리스트 보리스 에벨슨은 회사 블로그에서 “정확히 빅 데이터 지원이 무엇을 의미하는지 설명하지 않은 채 하둡이 이슈가 되니까 BI업체들이 빅 데이터를 지원한다고 발표하고 있다”라고 꼬집었다. 에벨슨은 IT관리자가 하둡 통합에 대한 BI업체들의 주장을 그대로 받아들이기 전에 이들 업체들에 구체적인 설명을 요구해야 한다고 주장했다. "하둡은 그리 단순한 기술이 아니다. 데이터 접근, 데이터 통합, DBMS, 시스템 관리, 보고, 분석, 데이터 탐색 등과 같은 하둡 생태계 내에서 특정 틈새 분야에 각각 대응하는 다양한 프로젝트의 집합체다”라고 그는 밝혔다. 기업들은 이러한 특성을 인식하고 하둡과 BI를 통합했다는 주장을 평가할 때 어떤 질문을 해야 할 지를 알아야 한다고 에벨슨은 말했다. 에벨슨은 컴퓨터월드와의 이메일에서 "기업이 정당한 이유로 하둡과 빅 데이터를 사용하고 분석을 수행하는 BI툴을 사용하고자 한다면, 통합의 수준이 중요하다"라고 덧붙였다. 지난 2년 동안 점점 더 많은 기업들이 오픈소스와 웹에서 대규모 비정형 데이터를 저장하고 구성할 수 있는 하둡 분산 파일 시스템(HDFS)의 상용 버전을 사용하기 시작했다. CRM, ERP, 총계정 원장 시스템에서 트랜잭션 데이터뿐 아니라 트위터 등 소셜 미디어와 마이크로 블로그와 기계 센서, 웹에서 새로운 많은 데이터를 취합하기 시작했다. 새로운 대규모 비정형 데이터는 하둡 시스템에서 분석됐는데, 이는 하둡 시스템이...

통합 포레스터 하둡 RDBMS 관계형 DBMS 확인 검증

2012.09.26

빅 데이터가 뜨면서 빅 데이터의 핵심 기술 중 하나인 하둡에 대해 BI업체들이 경쟁하듯 지원 제품을 내놓고 있다. 포레스터 애널리스트는 이들 중에서 정말 하둡과 통합되는지를 따져보려면 BI업체체들에 몇 가지 질문을 던져보라고 조언했다. BI업체가 하둡과 완벽하게 통합되는 제품이라고 소개하면, 기업들은 BI업체들에게 꼼꼼하게 따져봐야 할 질문들이 많다고 포레스터의 한 애널리스트가 주장하고 있다. 포레스터의 애널리스트 보리스 에벨슨은 회사 블로그에서 “정확히 빅 데이터 지원이 무엇을 의미하는지 설명하지 않은 채 하둡이 이슈가 되니까 BI업체들이 빅 데이터를 지원한다고 발표하고 있다”라고 꼬집었다. 에벨슨은 IT관리자가 하둡 통합에 대한 BI업체들의 주장을 그대로 받아들이기 전에 이들 업체들에 구체적인 설명을 요구해야 한다고 주장했다. "하둡은 그리 단순한 기술이 아니다. 데이터 접근, 데이터 통합, DBMS, 시스템 관리, 보고, 분석, 데이터 탐색 등과 같은 하둡 생태계 내에서 특정 틈새 분야에 각각 대응하는 다양한 프로젝트의 집합체다”라고 그는 밝혔다. 기업들은 이러한 특성을 인식하고 하둡과 BI를 통합했다는 주장을 평가할 때 어떤 질문을 해야 할 지를 알아야 한다고 에벨슨은 말했다. 에벨슨은 컴퓨터월드와의 이메일에서 "기업이 정당한 이유로 하둡과 빅 데이터를 사용하고 분석을 수행하는 BI툴을 사용하고자 한다면, 통합의 수준이 중요하다"라고 덧붙였다. 지난 2년 동안 점점 더 많은 기업들이 오픈소스와 웹에서 대규모 비정형 데이터를 저장하고 구성할 수 있는 하둡 분산 파일 시스템(HDFS)의 상용 버전을 사용하기 시작했다. CRM, ERP, 총계정 원장 시스템에서 트랜잭션 데이터뿐 아니라 트위터 등 소셜 미디어와 마이크로 블로그와 기계 센서, 웹에서 새로운 많은 데이터를 취합하기 시작했다. 새로운 대규모 비정형 데이터는 하둡 시스템에서 분석됐는데, 이는 하둡 시스템이...

2012.09.26

하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환

귀사에도 하둡이 잘 맞을 것 같다고 생각되면 데이터 프레임워크로 구성된 오픈소스 소프트웨어를 다운로드 받아서 비교적 쉽게 시험해볼 수 있다. 지금껏 연재기사를 통해 하둡을 관리하기 위해 갖춰야 하는 것들, 그리고 하둡을 사용하는데 따른 이익과 문제점들을 알아보았다. 그리고 여기 마지막 회에서는 기존의 RDBMS(관계형 데이터베이스)에서 하둡으로 옮겨가는데 따른 비용과 관계된 기술들을 살펴보고, 기업들이 현재 어떻게 하둡을 설치하는지를 보고, 하둡 데이터를 다른 어떤 RDBMS보다 훨씬 빠르고 저렴하게 분석하는데 사용할만한 툴들을 알아볼 것이다. ->하둡으로 가는 길 | 제1부 기술과 훈련 ->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용 새롭게 부상하는 기술들, 특히 오픈소스의 기술들이 으레 그러하듯, 하둡 역시 원하는 IT 업체들이 직접 시험해보게 함으로써 그에 따른 이익을 누리고 있다. 이제 하둡은 기술 미디어와 컨퍼런스 등에서 더 많이 주목받았으며, 이에 따라 최고 경영진들이 하둡의 열풍에 덩달아 뛰어들어 하둡이 기업 비용을 얼마나 감축시킬지 직접 보고 싶어 한다. 이러한 하둡의 도입에는 흔히 아래 현장에서부터 혹은 경영진으로부터 시작되는 두 방식이 있으며 이 둘을 지금부터 자세히 들여다보자. 아래에서 위로: IT부서가 주도 그림자 같은 IT는 기업에게 있어서 하나의 축복이거나 혹은 골칫덩어리다. 하지만 종종 실험적인 구성 혹은 샌드박스(sandbox) 구성이 결국에는 기업에게 엄청난 이익을 안겨 주곤 했다. 한 예로 리눅스는 21세기 초에 그러한 그림자 IT에 의해 성장한 수혜자다. 아파치 소프트웨어재단(Apache Software Foundation)의 아파치 하둡 부사장 아룬 머시에 따르면 이제 하둡 차례다. 머시는 “아래에서 위로 확산해갈 경우, 보통 한두 명의 엔니지어들이 하둡을 다운로드 받아서 하나의 노드 혹은 4~5노드로 구성된 조그만 클러스터에 하둡을...

오픈소스 하둡 RDBMS 관계형 DBMS 빅 데이터

2012.01.18

귀사에도 하둡이 잘 맞을 것 같다고 생각되면 데이터 프레임워크로 구성된 오픈소스 소프트웨어를 다운로드 받아서 비교적 쉽게 시험해볼 수 있다. 지금껏 연재기사를 통해 하둡을 관리하기 위해 갖춰야 하는 것들, 그리고 하둡을 사용하는데 따른 이익과 문제점들을 알아보았다. 그리고 여기 마지막 회에서는 기존의 RDBMS(관계형 데이터베이스)에서 하둡으로 옮겨가는데 따른 비용과 관계된 기술들을 살펴보고, 기업들이 현재 어떻게 하둡을 설치하는지를 보고, 하둡 데이터를 다른 어떤 RDBMS보다 훨씬 빠르고 저렴하게 분석하는데 사용할만한 툴들을 알아볼 것이다. ->하둡으로 가는 길 | 제1부 기술과 훈련 ->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용 새롭게 부상하는 기술들, 특히 오픈소스의 기술들이 으레 그러하듯, 하둡 역시 원하는 IT 업체들이 직접 시험해보게 함으로써 그에 따른 이익을 누리고 있다. 이제 하둡은 기술 미디어와 컨퍼런스 등에서 더 많이 주목받았으며, 이에 따라 최고 경영진들이 하둡의 열풍에 덩달아 뛰어들어 하둡이 기업 비용을 얼마나 감축시킬지 직접 보고 싶어 한다. 이러한 하둡의 도입에는 흔히 아래 현장에서부터 혹은 경영진으로부터 시작되는 두 방식이 있으며 이 둘을 지금부터 자세히 들여다보자. 아래에서 위로: IT부서가 주도 그림자 같은 IT는 기업에게 있어서 하나의 축복이거나 혹은 골칫덩어리다. 하지만 종종 실험적인 구성 혹은 샌드박스(sandbox) 구성이 결국에는 기업에게 엄청난 이익을 안겨 주곤 했다. 한 예로 리눅스는 21세기 초에 그러한 그림자 IT에 의해 성장한 수혜자다. 아파치 소프트웨어재단(Apache Software Foundation)의 아파치 하둡 부사장 아룬 머시에 따르면 이제 하둡 차례다. 머시는 “아래에서 위로 확산해갈 경우, 보통 한두 명의 엔니지어들이 하둡을 다운로드 받아서 하나의 노드 혹은 4~5노드로 구성된 조그만 클러스터에 하둡을...

2012.01.18

하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용

하둡의 오픈소스라는 특성은 예산이 빠듯한 기업들에게 매력적인 요인으로 작용할 것이다. 많은 사람들은 오픈소스 데이터 프레임워크인 하둡을 아주 방대한 양의 데이터 관리와 관련시켜 생각한다. 여기에는 물론 나름대로 합당한 이유들이 있다:  하둡 스토리지는 누구라도 막대한 양의 데이터를 떠올릴만한 페이스북과 야후가 사용하고 있다. 하둡으로 가는 길 | 제 1부에서도 설명했듯 하둡의 얼리 어답터이자 엄청난 기여자 야후는 이미 5만 개의 노드로 구성된 하둡 네트워크를 설치했으며, 페이스북은 1만 개가 넘는 노드로 구성된 하둡 시스템을 갖췄다. 자 그렇다면 빅 데이터의 ‘빅’은 마련된 것이다. ->하둡으로 가는 길 | 제1부 기술과 훈련 ->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환 그러나 아파치소프트웨어재단(ASF)의 아파치 하둡 부사장이자 호트웍스의 아키텍트인 아룬 머시는 하둡과 기업 내 하둡의 사용에 대해 이견을 제기했다. 머시는 하둡의 활용이 빅 데이터를 훨씬 넘어선다고 주장하는 사람이다. 하둡의 가장 강력한 능력 중 하나는 바로 확장성이며, 야후와 페이스북은 하둡이 어떻게 확장될 수 있는지를 보여주는 훌륭한 예들이다. 그러나 하둡이 다른 방향으로 어떻게 스케일링(scaling)할 수 있으며 어떻게 모든 규모의 기업들에게 의사결정에 필요한 분석 데이터를 제공할 수 있을지에 대해서는 별다른 의견이 없다. 모든 데이터가 동등하게 생성된다 머시의 설명에 따르면 이전의 데이터 스토리지에는 비용이 많이 들었다. 5년 전만 해도 대기업과 중소기업(SMB)들은 폭발적으로 증가하는 데이터 셋(data set)들을 계속해서 기록하고 스스로 관리해야 했다: 이메일, 검색결과, 판매 데이터, 재고 데이터, 고객 데이터, 웹의 클릭 경로 등 이 모든 정보들과 그 외의 더 많은 데이터들이 쏟아져 들어왔고 이를 관계형 데이터베이스 관리시스템(RDBMS)에서 관리하겠다는 것은 막...

오라클 비용 비교 하둡 RDBMS 관계형 DBMS 빅 데이터

2012.01.12

하둡의 오픈소스라는 특성은 예산이 빠듯한 기업들에게 매력적인 요인으로 작용할 것이다. 많은 사람들은 오픈소스 데이터 프레임워크인 하둡을 아주 방대한 양의 데이터 관리와 관련시켜 생각한다. 여기에는 물론 나름대로 합당한 이유들이 있다:  하둡 스토리지는 누구라도 막대한 양의 데이터를 떠올릴만한 페이스북과 야후가 사용하고 있다. 하둡으로 가는 길 | 제 1부에서도 설명했듯 하둡의 얼리 어답터이자 엄청난 기여자 야후는 이미 5만 개의 노드로 구성된 하둡 네트워크를 설치했으며, 페이스북은 1만 개가 넘는 노드로 구성된 하둡 시스템을 갖췄다. 자 그렇다면 빅 데이터의 ‘빅’은 마련된 것이다. ->하둡으로 가는 길 | 제1부 기술과 훈련 ->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환 그러나 아파치소프트웨어재단(ASF)의 아파치 하둡 부사장이자 호트웍스의 아키텍트인 아룬 머시는 하둡과 기업 내 하둡의 사용에 대해 이견을 제기했다. 머시는 하둡의 활용이 빅 데이터를 훨씬 넘어선다고 주장하는 사람이다. 하둡의 가장 강력한 능력 중 하나는 바로 확장성이며, 야후와 페이스북은 하둡이 어떻게 확장될 수 있는지를 보여주는 훌륭한 예들이다. 그러나 하둡이 다른 방향으로 어떻게 스케일링(scaling)할 수 있으며 어떻게 모든 규모의 기업들에게 의사결정에 필요한 분석 데이터를 제공할 수 있을지에 대해서는 별다른 의견이 없다. 모든 데이터가 동등하게 생성된다 머시의 설명에 따르면 이전의 데이터 스토리지에는 비용이 많이 들었다. 5년 전만 해도 대기업과 중소기업(SMB)들은 폭발적으로 증가하는 데이터 셋(data set)들을 계속해서 기록하고 스스로 관리해야 했다: 이메일, 검색결과, 판매 데이터, 재고 데이터, 고객 데이터, 웹의 클릭 경로 등 이 모든 정보들과 그 외의 더 많은 데이터들이 쏟아져 들어왔고 이를 관계형 데이터베이스 관리시스템(RDBMS)에서 관리하겠다는 것은 막...

2012.01.12

하둡으로 가는 길 | 제1부 기술과 훈련

빅 데이터는 클라우드 컴퓨팅만큼이나 널리 확산되고 있는 개념이다. 그러나 빅 데이터의 역량과 한계에 관해서는 사람들이 잘못 알고 있는 부분들이 많다. 특히 빅 데이터와 관련해 사람들은 다음의 질문들에 대한 내용들을 제대로 이해하지 못하고 있다. ->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용 ->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환 -어떻게 기존의 데이터베이스들이 사실상 비관계형(non-relational)인 데이터 저장 엔진들과 함께 사용될 수 있는가? -관계형 DBMS(RDBMS)에서 분산시스템으로 데이터를 옮기려면 무엇이 필요한가? -IT직원들이 더 큰 관심을 보일만한 질문인, 조직 내에서 가장 잘 활용하려면 이러한 빅 데이터 시스템들을 어떻게 배워야 가장 잘 배울 수 있나? 현재로서는 비관계형 DBMS(NDBMS)의 가장 인기 있는 예로 아파치 하둡(Apache Hadoop)을 들 수 있다. 분산형 데이터 프레임워크인 하둡은 빅 데이터와 소위 NoSQL 데이터베이스의 전형으로 여겨진다. 그러나 위의 설명들이 하둡의 실제 모습이나 그것의 작동 원리를 설명해주지는 않는다. -하둡은 진정 무엇이며 기업들과 IT직원들은 어떻게 그것을 활용할 수 있나? -어떤 기업들이 하둡을 이용해야 하며 그것을 도입할만한 자원들은 어디서 구할 수 있나? 이러한 질문들에 대한 대답은 ‘하둡으로 가는 길’이라는 3부작 연재 기사를 통해 자세히 다룰 예정이다. 제1부에서는 주로 하둡이 어떻게 만들어지는지를 살펴볼 것이다. 하둡이 대체로 어떻게 작동하는지를 이해해야 DB관리자들과 데이터 분석가들이 하둡 프레임워크를 이용해 일하는데 구체적으로 어떠한 능력들을 필요로 하는지를 더 정확하게 파악할 수 있을 것이다. 또한 하둡의 생태계에 속해 있는 사람들을 알게 됨으로써 하둡 교육에 필요한 훌륭한 자원들을 찾아낼 수 있을 것이다. ->인터뷰 ...

페이스북 야후 DBMS 하둡 관계형 DBMS 빅 데이터

2012.01.11

빅 데이터는 클라우드 컴퓨팅만큼이나 널리 확산되고 있는 개념이다. 그러나 빅 데이터의 역량과 한계에 관해서는 사람들이 잘못 알고 있는 부분들이 많다. 특히 빅 데이터와 관련해 사람들은 다음의 질문들에 대한 내용들을 제대로 이해하지 못하고 있다. ->하둡으로 가는 길 | 제2부 하둡 대 RDBMS 비용 ->하둡으로 가는 길 | 제3부 RDBMS에서 하둡으로 전환 -어떻게 기존의 데이터베이스들이 사실상 비관계형(non-relational)인 데이터 저장 엔진들과 함께 사용될 수 있는가? -관계형 DBMS(RDBMS)에서 분산시스템으로 데이터를 옮기려면 무엇이 필요한가? -IT직원들이 더 큰 관심을 보일만한 질문인, 조직 내에서 가장 잘 활용하려면 이러한 빅 데이터 시스템들을 어떻게 배워야 가장 잘 배울 수 있나? 현재로서는 비관계형 DBMS(NDBMS)의 가장 인기 있는 예로 아파치 하둡(Apache Hadoop)을 들 수 있다. 분산형 데이터 프레임워크인 하둡은 빅 데이터와 소위 NoSQL 데이터베이스의 전형으로 여겨진다. 그러나 위의 설명들이 하둡의 실제 모습이나 그것의 작동 원리를 설명해주지는 않는다. -하둡은 진정 무엇이며 기업들과 IT직원들은 어떻게 그것을 활용할 수 있나? -어떤 기업들이 하둡을 이용해야 하며 그것을 도입할만한 자원들은 어디서 구할 수 있나? 이러한 질문들에 대한 대답은 ‘하둡으로 가는 길’이라는 3부작 연재 기사를 통해 자세히 다룰 예정이다. 제1부에서는 주로 하둡이 어떻게 만들어지는지를 살펴볼 것이다. 하둡이 대체로 어떻게 작동하는지를 이해해야 DB관리자들과 데이터 분석가들이 하둡 프레임워크를 이용해 일하는데 구체적으로 어떠한 능력들을 필요로 하는지를 더 정확하게 파악할 수 있을 것이다. 또한 하둡의 생태계에 속해 있는 사람들을 알게 됨으로써 하둡 교육에 필요한 훌륭한 자원들을 찾아낼 수 있을 것이다. ->인터뷰 ...

2012.01.11

조사 | “떠오르는 하둡, 아직 RDMBS 밀어낼 만큼은 아니다”

기업이 정형 및 비정형 데이터가 급격하게 늘어남에 따라 이를 관리하고자 오픈 소스 아파치 소프트웨어인 ‘하둡(Hadoop)’의 도입이 늘어나는 것으로 조사됐다. 벤타나 리서치(Ventana Research)의 최신 보고서는 하둡이 대세인 것은 분명하나 전통적인 RDBMS 플랫폼을 대체하기는 것은 아니라고 밝혔다. 이 보고서에 따르면, 기업들은 하둡과 RDBMS를 함께 사용하는 것으로 나타났다. 하둡은 기업이 페타바이트급 데이터를 관리하고 처리하도록 설계됐다. 하둡의 강점은 매우 큰 데이터 세트를 더 빠른 프로세싱을 위한 상용 하드웨어의 클러스터로 전달하는 더 작은 데이터 블록으로 나누는 것이다.   페이스북, 아마존, e베이, 야후 등 얼리 어답터들은 전통적인 RDBMS로는 쉽게 관리할 수 없는 페타바이트급 비정형 데이터를 분석하고 저장하는 데 하둡을 사용하는 것으로 조사됐다. 160개 이상의 기업들을 대상으로 조사한 벤타나의 보고서는 점점 더 많은 기업들이 같은 이유로 하둡을 함께 사용하기 시작했음을 보여준다. 조사에 응한 기업의 절반 이상은 대규모 정형 및 비정형 데이터를 분석함으로써 비즈니스 통찰력을 수집하기 위해 하둡을 사용하기 시작했다고 답했다.   “대부분의 기업들은 기존 기술을 대체하기 보다는 새로운 기능을 더해 하둡을 이용하고 있다”라고 벤타나 보고서의 저자 데이비드 메닝커는 말했다. 벤타나에 따르면, 하둡을 이용하는 기업들 대다수가 소셜 미디어 사이트의 로그나 이벤트 데이터, 검색 엔진 데이터, 텍스트 및 동영상 데이터와 같은 거대한 규모의 비정형의 기계로 정리된 데이터를 분석하고 취합하는 데 하둡을 주로 사용하는 것으로 나타났다. “하둡이 전통적인 RDBMS의 능력을 능가하고자 하지만, 아직은 트랜잭션 데이터, 고객 데이터, 전화 기록 데이터와 같은 정형 데이터를 분석하는데 많이 쓰일 것 같지 않다”라고 메닝거는 말했다...

빅데이터 대용량 데이터 분석 하둡 Hadoop RDBMS 관계형 DBMS Big Data

2011.08.01

기업이 정형 및 비정형 데이터가 급격하게 늘어남에 따라 이를 관리하고자 오픈 소스 아파치 소프트웨어인 ‘하둡(Hadoop)’의 도입이 늘어나는 것으로 조사됐다. 벤타나 리서치(Ventana Research)의 최신 보고서는 하둡이 대세인 것은 분명하나 전통적인 RDBMS 플랫폼을 대체하기는 것은 아니라고 밝혔다. 이 보고서에 따르면, 기업들은 하둡과 RDBMS를 함께 사용하는 것으로 나타났다. 하둡은 기업이 페타바이트급 데이터를 관리하고 처리하도록 설계됐다. 하둡의 강점은 매우 큰 데이터 세트를 더 빠른 프로세싱을 위한 상용 하드웨어의 클러스터로 전달하는 더 작은 데이터 블록으로 나누는 것이다.   페이스북, 아마존, e베이, 야후 등 얼리 어답터들은 전통적인 RDBMS로는 쉽게 관리할 수 없는 페타바이트급 비정형 데이터를 분석하고 저장하는 데 하둡을 사용하는 것으로 조사됐다. 160개 이상의 기업들을 대상으로 조사한 벤타나의 보고서는 점점 더 많은 기업들이 같은 이유로 하둡을 함께 사용하기 시작했음을 보여준다. 조사에 응한 기업의 절반 이상은 대규모 정형 및 비정형 데이터를 분석함으로써 비즈니스 통찰력을 수집하기 위해 하둡을 사용하기 시작했다고 답했다.   “대부분의 기업들은 기존 기술을 대체하기 보다는 새로운 기능을 더해 하둡을 이용하고 있다”라고 벤타나 보고서의 저자 데이비드 메닝커는 말했다. 벤타나에 따르면, 하둡을 이용하는 기업들 대다수가 소셜 미디어 사이트의 로그나 이벤트 데이터, 검색 엔진 데이터, 텍스트 및 동영상 데이터와 같은 거대한 규모의 비정형의 기계로 정리된 데이터를 분석하고 취합하는 데 하둡을 주로 사용하는 것으로 나타났다. “하둡이 전통적인 RDBMS의 능력을 능가하고자 하지만, 아직은 트랜잭션 데이터, 고객 데이터, 전화 기록 데이터와 같은 정형 데이터를 분석하는데 많이 쓰일 것 같지 않다”라고 메닝거는 말했다...

2011.08.01

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.5