데이터 웨어하우스와 달리 데이터 호수에는 기반 데이터베이스가 없다. 대신 데이터 호수는 일반 파일 시스템을 사용한다. 데이터베이스에서는 데이터를 쓰기 전에 데이터와 열을 선택해야 한다. 데이터를 데이터베이스에 삽입하기 전에 다소 시간이 소요될 수 있지만, 그 대신 쿼리를 수행할 경우 그 속도는 읽으면서 데이터를 처리해야 하는 데이터 호수에 비해 훨씬 더 빠르다.
스테인은 “데이터 호수에서는 원하는 방식으로 자유롭게 데이터를 저장소에 집어넣을 수 있다. 덕분에 유연한 스키마로 데이터를 쓰고 나중에 쿼리할 수 있지만 속도는 훨씬 더 느리다”면서 “이러한 서버에서 원활하게 처리하지 못하는 한 가지가 바로 메타데이터 관리다. 무엇이 어느 폴더로 들어가는지, 언제 시한이 만료되는지와 같은 것들이다. 그와 같은 서비스를 수행할 경우에는 직접 만들어야 한다”고 말했다.
엔터프라이즈급 데이터 호수 소프트웨어
기존 하드웨어와 무료 오픈소스 소프트웨어를 사용하여 구현할 수 있다는 점은 오랜 기간 동안 데이터 호수에서 일종의 양날의 칼과 같이 작용했다. 장점은 기존 하드웨어와 무료 오픈소스 소프트웨어를 사용한다는 점이다. 단점은 대부분의 사람들이 원하는 전통적인, 성숙한 데이터 웨어하우스 업체가 제공하는 상업적으로 지원되는 소프트웨어가 없다는 점이다.
그러나 이제는 다르다. 테라데이터, 오라클과 같은 전통적인 데이터 웨어하우스 솔루션 업체도 호튼웍스, 클라우데라와 같은 전문 빅데이터 솔루션 업체와 마찬가지로 상용 데이터 호수 제품을 제공한다.
아마존, 마이크로소프트, 구글, IBM 모두 기본적인 클라우드 스토리지 서비스와 함께 다양한 데이터 호수 툴을 제공하므로 온프레미스는 물론 클라우드에 데이터 호수를 구축할 수도 있다.
그 외에 다음과 같은 상용 데이터 호수 제품이 있다.
- 아파치 나이파이(Apache NiFi) : 아파치 라이선스 하의 오픈 소스 툴로, 데이터 호수와 분석에서 데이터 라우팅 및 변환에 사용된다. 상용화된 제품으로는 호튼웍스의 데이터플로우(DataFlow)가 있다.
- 케임브리지 시맨틱스(Cambridge Semantics): 최신 버전의 안조 스마트(Anzo Smart) 데이터 호수 제품은 흡수와 읽기 시에 데이터에 시맨틱 계층을 추가하므로 필요에 따라 준비 및 분석을 수행할 수 있다. 또한 데이터 분석을 시각적으로 표시하기 위한 그래프 모델도 있다.
- 히타치 밴타라(Hitachi Vantara) : 히타치 밴타라는 “데이터 호수”라는 용어를 처음 사용하기 시작한 펜타호(Pentaho)를 소유했다. 데이터 호수와 관련된 유명세 외에 펜타호는 데이터 흡수 툴로 유명하며 하둡, 스파크, 카프카, NoSQL과의 통합으로 보안, 거버넌스, 통합 및 데이터 변환을 제공한다.
- 트리팩타(Trifacta): 이 회사의 랭글러(Wrangler) 소프트웨어는 AI와 머신러닝 알고리즘을 사용해서 데이터 처리, 그리고 분석가 또는 비즈니스 사용자와의 상호작용을 자동화 및 간소화한다. 특정 데이터 집합과 여러 워크플로우에 걸쳐 데이터 변환 단계의 계통을 시각적으로 추적해 표현한다.
- 잴로니(Zaloni): 잴로니는 잴로니 데이터 플랫폼이라는 엔터프라이즈 데이터 호수 플랫폼을 제공한다. 이 플랫폼은 클라우드 및 구내 구축 지원, 관리 플랫폼, 데이터 카탈로그, 데이터 거버넌스를 위한 구역, 그리고 처음부터 끝까지 모든 처리 과정을 포괄하는 셀프 서비스 데이터 준비 툴을 포함한다.
데이터 호수를 피해야 하는 경우
데이터 호수는 만능이 아니다. 기업에 따라서는 불필요할 수도 있고 오히려 역효과를 내는 경우도 있다. 히스키는 예를 들어 실시간 작업에는 데이터 호수가 맞지 않는다면서 “실시간 최신 정보를 다룬다면 데이터 호수는 적합하지 않다. 데이터 호수는 과거에 기록된 데이터를 다루는 기술이다. 실시간 작업에는 빠른 트랜잭션 시스템이 필요하다”고 말했다.
윌헬미는 일부 산업에서는 비구조적 특성으로 인해 데이터 호수를 허용하지 않는다면서 “무작위 비트와 파일에 대한 강력한 데이터 거버넌스가 없고, 데이터 호수에 어떤 거버넌스 프로세스가 있는지 아무도 이해하지 못한다. 전제 조건은 견고한 데이터 거버넌스 포지션이다. 조직은 데이터 호수에서 흡수와 정리, 전달에 이르기까지의 데이터 프로세스를 통제하려면 성숙도 측면에서 중간 또는 고급 수준에 있어야 한다”고 말했다.
한편 엔터프라이즈 애플리케이션 컨설팅(Enterprise Applications Consulting)의 수석 애널리스트 조슈아 그린바움은 데이터 호수 자체를 좋은 아이디어라고 생각하지 않는다. 그린바움은 “대부분의 경우 데이터 호수는 IT의 게으름을 나타내는 징후이며, 전략적 사고와는 무관하다. 이 게으름은 ‘데이터를 한 곳에 모아두고 나중에 생각하자’는 태도’”라고 지적했다.
그린바움은 해결하고자 하는 문제를 모르는 상태에서 나중에 무언가를 짓기 위해 최대한 많은 벽돌을 모드는 것과 같다면서 “그러나 계획이 없으면 그저 벽돌 무더기일 뿐이다. 나중에 가서 벽돌이 아닌 목재가 필요하게 되면 어떻게 되는가? 애초에 설계부터 시작했다면 무엇이 필요한지 알았을 것”이라고 주장했다.
데이터 호수에 대한 그린바움의 냉소적 시각은 이전 데이터 웨어하우스에서의 경험에 기인한다. 그린바움은 “전에 봤던 영화를 또 보는 것과 같다. 배우는 다르지만 전개 양상은 동일하고 결말도 동일하다. 전략적으로 하지 않으면 데이터 웨어하우스에서와 마찬가지로 데이터 호수에도 많은 돈을 낭비하게 될 것”이라고 덧붙였다.
목적 없는 데이터 호수는 값비싼 “만일을 위해” 접근 방식이다. 그러나 전략적으로 하면 장기간에 걸쳐 분석하고 다양한 방식으로 처리하고자 하는 정보(예를 들어 고객 패턴)를 저장하는 탁월한 방법이다. 전통적인 데이터 웨어하우스와 같이 한 가지 용도로만 사용 가능하도록 데이터를 처리해 저장하지 않기 때문이다. editor@itworld.co.kr
Surfshark
VPN (가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인 정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.