다목적 인메모리 데이터 처리 프레임워크인 아파치 스파크(Spark) 2.2 버전이 마침내 공개됐다. 이번 버전의 가장 큰 변화는 '구조화된 스트리밍(Structured Streaming)' 기능이다. 이를 이용하면 스파크의 배치 기반 데...
2017.07.14
다목적 인메모리 데이터 처리 프레임워크인 아파치 스파크(Spark) 2.2 버전이 마침내 공개됐다. 이번 버전의 가장 큰 변화는 '구조화된 스트리밍(Structured Streaming)' 기능이다. 이를 이용하면 스파크의 배치 기반 데...
2017.07.14
호스팅 형태의 스파크(Spark) 환경을 서비스하는 데이터브릭스(Databricks)가 '데이터 엔지니어링용 데이터브릭스(Databricks for Data Engineering)'를 발표했다. 데이터 엔지니어가 실제 비즈니스용 데이터 ...
2017.04.14
호스팅 형태의 스파크(Spark) 환경을 서비스하는 데이터브릭스(Databricks)가 '데이터 엔지니어링용 데이터브릭스(Databricks for Data Engineering)'를 발표했다. 데이터 엔지니어가 실제 비즈니스용 데이터 ...
2017.04.14
한국테라데이타가 아파치 하둡(Apache Hadoop), 아파치 스파크(Apache Spark), 아파치 나이파이(Apache NiFi)와 같은 최신 오픈소스를 기반으로 하는 데이터 레이크(Data Lake) 관리 소프트웨어 플랫폼 ‘카일로...
2017.03.13
한국테라데이타가 아파치 하둡(Apache Hadoop), 아파치 스파크(Apache Spark), 아파치 나이파이(Apache NiFi)와 같은 최신 오픈소스를 기반으로 하는 데이터 레이크(Data Lake) 관리 소프트웨어 플랫폼 ‘카일로...
2017.03.13
오픈소스 생산성 소프트웨어인 아파치 오픈오피스 프로젝트 종료에 대한 논란이 확산하고 있다. 이 소프트웨어는 한때 마이크로소프트의 데스크톱 지배에 대항하는 핵심 오픈소스였다. 그러나 현재는 코드 내 주요 보안 이슈에 대응하는 데도 어려움을...
2016.09.06
오픈소스 생산성 소프트웨어인 아파치 오픈오피스 프로젝트 종료에 대한 논란이 확산하고 있다. 이 소프트웨어는 한때 마이크로소프트의 데스크톱 지배에 대항하는 핵심 오픈소스였다. 그러나 현재는 코드 내 주요 보안 이슈에 대응하는 데도 어려움을...
2016.09.06
기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보 고객사 활용 사례를 범주별로 분류해 살펴본다. ...
2016.07.08
아파치 소프트웨어 재단(Apache Software Foundation, 이하 ASF)이 최근 28쪽 분량의 연례 보고서를 발표했다. 한 마디로 요약하면, '놀랍다'다. 1995년 몇몇 개발자가 지원하는 단순한 HTTP 서버로 시작...
2016.06.10
아파치 소프트웨어 재단(Apache Software Foundation, 이하 ASF)이 최근 28쪽 분량의 연례 보고서를 발표했다. 한 마디로 요약하면, '놀랍다'다. 1995년 몇몇 개발자가 지원하는 단순한 HTTP 서버로 시작...
2016.06.10
아파치 소프트웨어 파운데이션(ASF)이 단일 신뢰 상하관계와 중앙화된 인증 없이 더 안전한 인터넷을 구현하는 새로운 프로젝트를 시작했다. 프로젝트가 성공하면 복잡한 암호도 필요 없게 될 것으로 보인다. 이미지 출처 : Getty Images ...
2016.05.16
기술은 끊임 없이 발전하며 IT종사자는 새로운 기술 수요 변화에 발맞춰 가야 한다. 최근 다이스닷컴(Dice.com)은 2015년 4월 1일부터 2016년 4월 1일까지의 사이트 구인 게시글을 대상으로 특정 기술력의 연간 수요 증가치를 조사해 발표했다...
2016.04.27
아파치 스파크(Apache Spark)와 아파치 스톰(Apach Storm)의 스트리밍 데이터 처리 성능을 놓고 벌이는 빅데이터 전문가들의 논쟁을 정리하자면, 대부분 "그래, 스톰이 빠르고 확장성도 좋은 것은 알겠어. 그런데 사용이 너무 어려...
2016.04.19
아파치 스파크(Apache Spark)와 아파치 스톰(Apach Storm)의 스트리밍 데이터 처리 성능을 놓고 벌이는 빅데이터 전문가들의 논쟁을 정리하자면, 대부분 "그래, 스톰이 빠르고 확장성도 좋은 것은 알겠어. 그런데 사용이 너무 어려...
2016.04.19
데이터스택스가 다양한 데이터 모델을 위해 키 값부터 태뷸러, 제이슨(JSON), 그래프까지 운영 데이터베이스 지원을 강화하고 있으며, 자사 제품군에 데이터스택스 엔터프라이즈 그래프를 추가했다. 아파치 카산드라와 아파치 팅커팝의 오픈소스재단...
2016.04.18
ODPi(Open Data Platform Initiative) 런타임 명세서와 테스트 툴이 드디어 나왔다. 하둡 기반 애플리케이션 개발이 편리해지고, 부속 앱을 다양한 하둡 배포판에서 손쉽게 구동할 수 있게 됐다. 출처 : T...
아파치 하둡 아파치 소프트웨어 재단 ODPi 오픈 데이터 플랫폼 이니셔티브
2016.03.30
ODPi(Open Data Platform Initiative) 런타임 명세서와 테스트 툴이 드디어 나왔다. 하둡 기반 애플리케이션 개발이 편리해지고, 부속 앱을 다양한 하둡 배포판에서 손쉽게 구동할 수 있게 됐다. 출처 : T...
2016.03.30
맵알테크놀러지스가 아파치 드릴(Apache Drill) 1.2 버전을 출시했다. 고객 및 파트너들은 아파치 드릴 1.2 버전을 지원하는 맵알 배포판을 통해 드릴을 좀더 신속하게 활용하고, 자사의 모든 하둡 데이터 및 소스로부터 비즈니스 통찰력을 ...
2015.12.18
하둡과 스파크에 이어 빅데이터의 세번째 삼두마차로 카프카가 주목받고 있다. 최근 IBM이 2개의 블루믹스 서비스를 출시했는데 여기에도 카프카가 사용됐다. 아파치 카프카는 다양한 유형의 데이터를 실시간으로 수집하는데 쓰일 수 있다. 이미...
2015.11.03
피보탈이 하둡 기반 HAWQ 고급 SQL 분석 기술과 MADlib 기계 학습(머신 러닝) 기술을 아파치 소프트웨어 재단(이하 ASF)에 제공한다고 밝혔다. 피보탈이 ASF에 아파치 하둡을 지원하는 분석 데이터베이스를 제공하게 됨에 따라 기업들은 ...
2015.10.05
피보탈이 하둡 기반 HAWQ 고급 SQL 분석 기술과 MADlib 기계 학습(머신 러닝) 기술을 아파치 소프트웨어 재단(이하 ASF)에 제공한다고 밝혔다. 피보탈이 ASF에 아파치 하둡을 지원하는 분석 데이터베이스를 제공하게 됨에 따라 기업들은 ...
2015.10.05
가히 오픈소스 전성시대다. 이에 따라 다양한 오픈소스 소프트웨어 재단들이 잇달아 등장하고 있다. 최근에도 OCI(Open Contain Initiative)와 CNCF(Cloud Native Container Foundation) 두 곳이 발족했다. ...
2015.09.17
리눅스 재단은 9월 28일에 오픈소스 빅데이터 커뮤니티의 협업을 위한 ‘아파치: 빅데이터(Apache: Big Data)’를 개최한다고 밝혔다. 아파치: 빅데이터는 넘쳐나는 데이터를 포착, 평가 및 저장하기 위한 기술의 진보를 이...
2015.05.29
리눅스 재단은 9월 28일에 오픈소스 빅데이터 커뮤니티의 협업을 위한 ‘아파치: 빅데이터(Apache: Big Data)’를 개최한다고 밝혔다. 아파치: 빅데이터는 넘쳐나는 데이터를 포착, 평가 및 저장하기 위한 기술의 진보를 이...
2015.05.29
신념의 전쟁은 잦아들었지만 그 대신 지배권, 코드 ‘소작농’, ‘유사 오픈소스(fauxpen source)’, 그리고 초보자 배척 등의 새로운 갈등이 불거지고 있다. 오픈소스 초창기에는 일종의 신념 ...
2015.04.10
신념의 전쟁은 잦아들었지만 그 대신 지배권, 코드 ‘소작농’, ‘유사 오픈소스(fauxpen source)’, 그리고 초보자 배척 등의 새로운 갈등이 불거지고 있다. 오픈소스 초창기에는 일종의 신념 ...
2015.04.10
아파치 스파크(Apache Spark)는 하둡 기반의 고급 실시간 분석이 용이하도록 도와주면서 빅데이터의 차세대 '빅씽(Big Thing)'으로 가장 빨리 자리를 굳히고 있다. 지난 몇 년간 하둡이 빅데이터 처리의 가장 지배적인 패...
2015.03.20