아파치 스파크(Apache Spark)는 매우 큰 데이터 집합을 대상으로 빠르게 처리 작업을 수행하는 한편, 단독으로 또는 다른 분산 컴퓨팅 툴과 조율해 여러 컴퓨터로 데이터 처리 작업을 분산할 수 있는 데이터 처리 프레임워크다. 거대한 데이터 스토... ...
사이버 물리 시스템과 클라우드 컴퓨팅의 관계 지난 서른여섯 번째 글에서 빅데이터를 포함하여 최근 주요 IT 기술 트렌드로 떠오르고 있는 5G, 클라우드 컴퓨팅, 인공지능, IoT, 엣지 컴퓨팅이 발전해 나가는 공통의 지향점으로서 “사이버 물리 시스템(... ...
2019.10.25
테라데이타의 데이터 분석 플랫폼 밴티지가 2020년부터는 구글 클라우드에서 구동될 예정이다.   내년부터 구글 클라우드 플랫폼에서 테라데이타 밴티지 클라우드 분석 플랫폼을 제공하도록 구글과 테라데이타가 손잡았다.  밴티지는 퍼블... ...
2019.07.24
현재 오픈 소스 사용자의 총애를 받는 것은 단연 쿠버네티스지만 앞서 나왔던 하둡의 인기도 그에 못지않았다. 그러나 사용하기가 무척 어려웠기 때문에 결국 성장의 동력을 잃었다. 쿠버네티스는 여전히 발전 중이지만 캐피털 원의 버나드 골든의 지적처럼 “운영... ...
오픈소스 소프트웨어는 느리긴 하지만 기업 영역에 확실히 침투했고 많은 대형 IT 조직들이 리눅스, 하둡, 쿠버네티스, 텐서플로 등에 의존하는 수준까지 기술에 익숙해졌다.   2019년 4월에 공개된 레드햇의 기업 오픈소스 실태 조사에 ... ...
빅데이터는 여전히 유망하다. 그러나 클라우데라(Cloudera), 호톤웍스(Hortonworks), 맵알(MapR) 같은 하둡 회사가 휘청거리면서 다소 빛이 바랜 조짐이 나타나고 있다. 한 때 막대한 현금을 조달할 수 있는 선망 받는 데이터 회사들이었... ...
4차 산업혁명 시대에 데이터 과학 및 분석 역할은 조직이 경쟁우위를 확보하고자 데이터를 사용할 때 중추적인 역할을 한다.    데이터 전문가의 평균 급여가 호주 달러 기준 6자리 숫자로 상승했으며 광범위한 취업 시장에서 최저 임금... ...
451 리서치가 데이터 관리 전문가를 대상으로 한 조사에 따르면, 데이터양이 늘어나면서 보안이 가장 큰 골칫거리가 됐다.    기업들은 점점 더 많은 양의 데이터를 수집하고 분석해 서비스와 의사 결정을 개선하고 있다. 그러나 새로... ...
클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병해 탄생한 새로운 회사는 클라우데라 브랜드로 활동하게 된다. 새 합병 회사는 고객들을 새로운 통합 클라우데라 데이터 플랫폼으로 이전하도록 하는 데 목표를 두고 있다. 이와 동시에 하이... ...
성안당이 ‘하둡’ 관리자의 필독서인 <빅데이터 전문가의 하둡 관리>을 발간했다고 1일 밝혔다.  빅데이터 시대에 속도와 신뢰성이 답보되면서 비용도 저렴해 효율적인 솔루션으로 각광받는 하둡은 2003년, 2... ...
클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우... ...
토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다. 링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) ... ...
하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는... ...
최근 마이크로소프트의 깃허브 인수는 개발자 커뮤니티를 통해 파문을 일으키고 있다. 이번 인수가 개발자 커뮤니티 사이트의 미래와, 더 나아가 오픈소스 소프트웨어의 미래에 어떤 의미가 있을지 의문을 불러일으키고 있다. 깃허브의 수익 모델이 흔... ...
LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이... ...
  1. '하둡을 제압한 빅데이터 플랫폼'··· 아파치 스파크란?

  2. 2020.03.23
  3. 아파치 스파크(Apache Spark)는 매우 큰 데이터 집합을 대상으로 빠르게 처리 작업을 수행하는 한편, 단독으로 또는 다른 분산 컴퓨팅 툴과 조율해 여러 컴퓨터로 데이터 처리 작업을 분산할 수 있는 데이터 처리 프레임워크다. 거대한 데이터 스토...

  4. 김진철의 How-to-Big Data | 빅데이터의 미래 (3)

  5. 2020.01.28
  6. 사이버 물리 시스템과 클라우드 컴퓨팅의 관계 지난 서른여섯 번째 글에서 빅데이터를 포함하여 최근 주요 IT 기술 트렌드로 떠오르고 있는 5G, 클라우드 컴퓨팅, 인공지능, IoT, 엣지 컴퓨팅이 발전해 나가는 공통의 지향점으로서 “사이버 물리 시스템(...

  7. 테라데이타 밴티지, 2020년부터 구글 클라우드에서 구동

  8. 2019.10.25
  9. 테라데이타의 데이터 분석 플랫폼 밴티지가 2020년부터는 구글 클라우드에서 구동될 예정이다.   내년부터 구글 클라우드 플랫폼에서 테라데이타 밴티지 클라우드 분석 플랫폼을 제공하도록 구글과 테라데이타가 손잡았다.  밴티지는 퍼블...

  10. 칼럼 | '복잡성의 지옥' 쿠버네티스도 하둡처럼 사라질까

  11. 2019.07.24
  12. 현재 오픈 소스 사용자의 총애를 받는 것은 단연 쿠버네티스지만 앞서 나왔던 하둡의 인기도 그에 못지않았다. 그러나 사용하기가 무척 어려웠기 때문에 결국 성장의 동력을 잃었다. 쿠버네티스는 여전히 발전 중이지만 캐피털 원의 버나드 골든의 지적처럼 “운영...

  13. 기업이 오픈소스를 좋아하는 10가지 이유

  14. 2019.07.09
  15. 오픈소스 소프트웨어는 느리긴 하지만 기업 영역에 확실히 침투했고 많은 대형 IT 조직들이 리눅스, 하둡, 쿠버네티스, 텐서플로 등에 의존하는 수준까지 기술에 익숙해졌다.   2019년 4월에 공개된 레드햇의 기업 오픈소스 실태 조사에 ...

  16. 칼럼 | 하둡, 위기에 직면하다

  17. 2019.06.12
  18. 빅데이터는 여전히 유망하다. 그러나 클라우데라(Cloudera), 호톤웍스(Hortonworks), 맵알(MapR) 같은 하둡 회사가 휘청거리면서 다소 빛이 바랜 조짐이 나타나고 있다. 한 때 막대한 현금을 조달할 수 있는 선망 받는 데이터 회사들이었...

  19. 데이터 전문가 수요 고공행진··· 호주서 연봉 6자릿수 돌파

  20. 2019.05.07
  21. 4차 산업혁명 시대에 데이터 과학 및 분석 역할은 조직이 경쟁우위를 확보하고자 데이터를 사용할 때 중추적인 역할을 한다.    데이터 전문가의 평균 급여가 호주 달러 기준 6자리 숫자로 상승했으며 광범위한 취업 시장에서 최저 임금...

  22. 최고의 데이터 관리 숙제는 '보안' <451 리서치>

  23. 2019.02.08
  24. 451 리서치가 데이터 관리 전문가를 대상으로 한 조사에 따르면, 데이터양이 늘어나면서 보안이 가장 큰 골칫거리가 됐다.    기업들은 점점 더 많은 양의 데이터를 수집하고 분석해 서비스와 의사 결정을 개선하고 있다. 그러나 새로...

  25. 새로운 클라우데라 CEO에게 듣는 '클라우드와 오픈소스 전략'

  26. 2019.01.15
  27. 클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 합병해 탄생한 새로운 회사는 클라우데라 브랜드로 활동하게 된다. 새 합병 회사는 고객들을 새로운 통합 클라우데라 데이터 플랫폼으로 이전하도록 하는 데 목표를 두고 있다. 이와 동시에 하이...

  28. 신간 ∣ 빅데이터 전문가의 하둡 관리

  29. 2018.11.05
  30. 성안당이 ‘하둡’ 관리자의 필독서인 <빅데이터 전문가의 하둡 관리>을 발간했다고 1일 밝혔다.  빅데이터 시대에 속도와 신뢰성이 답보되면서 비용도 저렴해 효율적인 솔루션으로 각광받는 하둡은 2003년, 2...

  31. 클라우데라-호튼웍스 합병이 빅데이터 업계에 의미하는 바는?

  32. 2018.10.10
  33. 클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우...

  34. "하둡 상에서 텐서플로우 구동"··· 링크드인, 토니 프로젝트 오픈소스화 발표

  35. 2018.09.14
  36. 토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다. 링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) ...

  37. '하둡' 아성에 도전하는 빅데이터 슈퍼루키 3선

  38. 2018.07.20
  39. 하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는...

  40. 깃허브 인수로 본 오픈소스의 미래

  41. 2018.07.16
  42. 최근 마이크로소프트의 깃허브 인수는 개발자 커뮤니티를 통해 파문을 일으키고 있다. 이번 인수가 개발자 커뮤니티 사이트의 미래와, 더 나아가 오픈소스 소프트웨어의 미래에 어떤 의미가 있을지 의문을 불러일으키고 있다. 깃허브의 수익 모델이 흔...

  43. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (4)

  44. 2018.06.27
  45. LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이...

X