성안당이 ‘하둡’ 관리자의 필독서인 <빅데이터 전문가의 하둡 관리>을 발간했다고 1일 밝혔다. 빅데이터 시대에 속도와 신뢰성이 답보되면서 비용도 저렴해 효율적인 솔루션으로 각광받는 하둡은 2003년, 2...
2018.11.05
성안당이 ‘하둡’ 관리자의 필독서인 <빅데이터 전문가의 하둡 관리>을 발간했다고 1일 밝혔다. 빅데이터 시대에 속도와 신뢰성이 답보되면서 비용도 저렴해 효율적인 솔루션으로 각광받는 하둡은 2003년, 2...
2018.11.05
클라우데라-호튼웍스 합병은 엔터프라이즈급 오픈소스 데이터 솔루션으로 계속해서 수익을 수익 창출하고자 분투하는 빅데이터 업계를 놀라게 했다. 또한 이번 합병을 두고 ‘피할 수 없는 선택’이라는 시각도 일부 있다. 클라우...
2018.10.10
토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다. 링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) ...
2018.09.14
토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다. 링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) ...
2018.09.14
하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는...
2018.07.20
하둡(Hadoop)은 분산 파일 시스템, 맵리듀스 프로그래밍 프레임워크, 대규모 상용 하드웨어 클러스터 상의 거대한 데이터 세트를 처리하는 다양한 툴 집합을 앞세워 10년이 넘는 기간 동안 빅데이터의 대명사로 군림해왔다. 그러나 세상에 영원히 각광받는...
2018.07.20
최근 마이크로소프트의 깃허브 인수는 개발자 커뮤니티를 통해 파문을 일으키고 있다. 이번 인수가 개발자 커뮤니티 사이트의 미래와, 더 나아가 오픈소스 소프트웨어의 미래에 어떤 의미가 있을지 의문을 불러일으키고 있다. 깃허브의 수익 모델이 흔...
2018.07.16
LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이...
2018.06.27
LHC 실험의 데이터 그리드 요구 사항 LHC 컴퓨팅 그리드(LHC Computing Grid)를 구축하면서 해결해야 했던 중요한 문제 중 하나는 LHC 데이터 분석 작업을 기관별로 분담한 분석 대상 이벤트에 맞게 각 기관의 그리드 컴퓨팅 자원으로 ...
2018.05.23
독일의 자동차 제조사 아우디가 생산 설비에서부터 차량 내부에 이르는 각종 데이터를 수집하기 위해 일련의 오픈소스 빅데이터 기술을 채택하고 있다. 지난주 베를린에서 열린 데이터웍스 서밋에서 아우디의 빅데이터 아키텍트 마티아스 그러니츠와 카슨...
2018.04.27
F#은 강한 형식의 함수 우선 프로그래밍 언어로, 복잡한 문제를 단순한 코드로 해결할 수 있게 해준다. ML을 기반으로 .NET 프레임워크 상에 구축된 F#은 우수한 상호운용성, 이식성, 런타임 속도, 그리고 “5C”인 간결함(c...
2018.04.27
프로그래밍에 익숙하지 않다면 스크래치(Scratch)나 HTML과 같은 언어를 배우는 것부터 시작할 수 있다. 그러나 일단 기본 지식을 익히면 배울 수 있는 다양한 언어가 있다. 깃허브의 프로그램 관리자인 조 내시에 따르면, 개발자가 선택할 수 있는 ...
2018.04.25
지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 ...
2018.04.24
첫 직장을 찾든 이직을 고려하든 IT분야에서 구직 활동 중이라면 IT급여는 아마도 중요한 관심사 중 하나일 것이다. 미국의 취업정보 회사인 다이스(Dice)는 2018년 기술 연봉 보고서에서 정보 기술 연봉 데이터를 모든 방법으로 분리했다. ...
2018.04.02
LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(hig...
2018.03.23
기업 빅데이터의 미래는 퍼블릭 클라우드에 있다. 빅데이터의 가치를 제대로 얻기 위해 필요한 통합 플랫폼이 퍼블릭 클라우드로 인해 탄생하고 있다. 오늘날 빅데이터 애널리틱스 시장은 불과 몇 년 전 업계의 모습과도 사뭇 다르다. 그러나 앞으로 1...
2018.03.12
기업 빅데이터의 미래는 퍼블릭 클라우드에 있다. 빅데이터의 가치를 제대로 얻기 위해 필요한 통합 플랫폼이 퍼블릭 클라우드로 인해 탄생하고 있다. 오늘날 빅데이터 애널리틱스 시장은 불과 몇 년 전 업계의 모습과도 사뭇 다르다. 그러나 앞으로 1...
2018.03.12
CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, ...
CIO root MOLAP ROLAP PALO 넘파이 파이둡 파이스파크 엑스큐브 BSS 싸이파이 CERN 김진철 빅데이터 하둡 스플렁크 파이썬 데브옵스 R OSS 스파크 큐레이션 마이크로소프트 엑셀
2018.02.26
CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, ...
2018.02.26
CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟...
2018.01.29
구글 클라우드의 가장 큰 강점은 ‘구글처럼’ 되고 싶어하는 기업의 기대를 충족할 수 있다는 것이다. 디지털 시대의 신생기업들이 구글 클라우드 위에서 구글 같은 혁신으로 승승장구하고 있다. 디지털 변혁의 의지가 있는, ‘...
CIO 텐서플로 쿠버네티스 구글 클라우드 플랫폼 스냅 구글 클라우드 머신러닝 데이터플로우 데이터프록 퍼브/서브 Pub/Sub 에어버스 마이크로소프트 애저 퍼블릭 클라우드 가트너 AWS 하둡 필립스 스포티파이 인공지능 하이브 빅쿼리 아마존 웹 서비스 구글처럼
2017.12.26
구글 클라우드의 가장 큰 강점은 ‘구글처럼’ 되고 싶어하는 기업의 기대를 충족할 수 있다는 것이다. 디지털 시대의 신생기업들이 구글 클라우드 위에서 구글 같은 혁신으로 승승장구하고 있다. 디지털 변혁의 의지가 있는, ‘...
2017.12.26
지난 2015년 포레스터는 기업의 하둡 도입이 필수가 되고, 데이터에서 가치를 끌어내고자 하는 모든 기업은 최소한 하둡을 고려해야 한다고 예측한 바 있다. 하둡이란 무엇인가? 오픈소스 아파치 소프트웨어 재단은 하둡을 ‘분산 컴퓨팅 ...
2017.12.21