기술이다. 기술이 미래를 만든다. 그러나 생각만 앞선 경우가 많다. 상상하거나 주장했던 이야기가 실현되지 못하고 지지부진한 경우가 비일비재하다. 아마 좋은 기술이겠지만 2017년 중반 현재 기대 수준에 이르지는 못한 기술들을 모아봤다. 1...
2017.07.11
기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보 고객사 활용 사례를 범주별로 분류해 살펴본다. ...
2016.07.08
종종 하둡과 아파치 스파크가 빅데이터 영역에서 경쟁관계 있는 것처럼 보이기도 했지만 최근 들어 이 둘이 서로 조화를 이룬다는 생각이 점점 더 확산되고 있다. 하둡과 아파치 스파크 둘 다 빅데이터 프레임워크다. 이미지 출처 : IDGNS ...
빅데이터 데이터 과학자 맵리듀스 하둡 HDFS 아파치 스파크 빅데이터 프레임워크
2015.12.15
종종 하둡과 아파치 스파크가 빅데이터 영역에서 경쟁관계 있는 것처럼 보이기도 했지만 최근 들어 이 둘이 서로 조화를 이룬다는 생각이 점점 더 확산되고 있다. 하둡과 아파치 스파크 둘 다 빅데이터 프레임워크다. 이미지 출처 : IDGNS ...
2015.12.15
맵리듀스(MapReduce)가 점차 힘을 잃는 추세에 지난해 클라우데라(Cloudera), IBM과 같은 주요기업들의 전폭적인 투자까지 더해지며 빅데이터 프로세싱 플랫폼인 아파치 스파크(Spark)가 본궤도에 오르기 시작했다. 10줄 미만의 코드...
2015.11.17
아파치 소프트웨어 재단이 6,000노드 클러스터를 구동할 수 있는 하둡 0.23 배포판을 연내 발표할 계획이라고 지난 1일 밝혔다. 버전 2 또는 3으로 불리게 될 하둡 0.23 릴리즈의 핵심 목표는 현재의 4,000노드 클러스터에서 대폭 개선된...
2012.03.05
아파치 소프트웨어 재단이 6,000노드 클러스터를 구동할 수 있는 하둡 0.23 배포판을 연내 발표할 계획이라고 지난 1일 밝혔다. 버전 2 또는 3으로 불리게 될 하둡 0.23 릴리즈의 핵심 목표는 현재의 4,000노드 클러스터에서 대폭 개선된...
2012.03.05