지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 ...

2018.04.24

시스코가 스파크(Spark)와 웹엑스(WebEx) 등 2가지로 판매해 오던 협업 제품군을 단일 플랫폼으로 통합한다. 이번 조치는 예견됐던 것이다. 두 제품은 매우 비슷했기 때문이다. 시장과 영업 채널 측면에서도 혼선이 있었다. 이번 통합으로 이런 혼란...

2018.04.23

LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(hig...

2018.03.23

CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, ...

2018.02.26

CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟...

2018.01.29

완벽한 IT 일자리 찾기란 쉬운 일이 아니다. 하지만 수요가 많은 특정 기술을 보유했다면 취업이 원활하게 진행될 수 있다. 2018년에 기업이 많이 찾을 기술력을 알아보자. 까다로운 고용 시장에서 새로운 일자리 찾기란 절대 쉬운 일이 아니지만, ...

2017.12.21

현업이 업무에 인공지능 접목을 점점 더 많이 요구하는 가운데 대규모 데이터 세트에서 시스템을 학습하는 머신러닝은 여러 가지 이점을 제공하는 것으로 알려졌다. 이는 금융에서 사기 예방을 위한 예측 모델 구축을 의미할 수 있다. 예를 들어 소매기업은 고객...

2017.12.05

아파치 스파크(Apache Spark)는 2009년 버클리대학교의 AMPLab에서 소소하게 시작된 이후, 발전을 거듭해 세계에서 가장 중요한 빅데이터 분산 처리 프레임워크 가운데 하나로 부상했다. Credit: Getty Images Bank...

2017.11.16

알렉사와 시리, 구글 어시스턴트 같은 가상 비서가  정보를 빠르게 찾아 정리하는 데 한몫을 하게 되면서 관련 기술이 빠르게 확산하고 있다. 특히 기업 환경에 활발하게 접목되고 있는데, 스마트 어시스턴트 챗봇까지 합류해 다양한 기업용 ...

2017.11.06

클라우드 컴퓨팅의 서막 – CERN은 왜 클라우드 컴퓨팅이 필요했나? LHC 실험과 인공지능 기술에 대한 내용을 더 다루기 전에, 독자들의 이해를 더 쉽게 돕기 위해 클라우드 컴퓨팅과 LHC 실험과의 관계를 살펴보고 지나가려 한다. 오늘은...

2017.09.25

어떤 협업 툴(collaboration suite)를 선택해야 할지, 생각만 해도 골치가 아픈가? 그럴 만하다. 실제로 쉬운 선택이 아니다. 컨스텔레이션 리서치(Constellation Research)의 부대표이자 수석 애널리스트...

2017.07.24

아마존이 퍼블릭 클라우드 전체 매출의 큰 부분을 차지하고 있는 가운데 오라클은 하이브리드 클라우드 전략을 강화하고 있다. 이 전략은 클라우드 가격 모델과 기술은 활용하면서 데이터와 애플리케이션은 자체 방화벽 뒤에 배치하고 싶어 하는 기업들을 겨냥한 것...

2017.07.21

홍콩 금융가에서 IT전문가 채용이 활발하다. 이들은 IT가 점점 더 복잡해지는 금융 규제를 준수하면서 비즈니스를 개선할 것으로 기대하고 있다. 채용전문회사 헤이스(Hays)에 따르면, 홍콩금융관리국(Hong Kong Monetary Authori...

2017.07.18

다목적 인메모리 데이터 처리 프레임워크인 아파치 스파크(Spark) 2.2 버전이 마침내 공개됐다. 이번 버전의 가장 큰 변화는 '구조화된 스트리밍(Structured Streaming)' 기능이다. 이를 이용하면 스파크의 배치 기반 데...

2017.07.14

머신러닝에서 인공지능의 인텔리전스처럼 가장 큰 관심을 유도하는 하위 기술은 딥러닝(Deep Learning)이다. 딥러닝의 틀인 딥(심층) 신경망은 자동 언어 번역에서 이미지 식별까지 복잡한 패턴을 인식하는 시스템의 기반이다. 딥러닝은 비...

2017.06.09

오늘날 스팍(SPARC) 프로세서의 멸종을 막아내는 존재가 있다면 바로 후지쯔다. 이 기업은 이 아키텍처를 지속적으로 개발하고 고안하며 수명을 연장시키고 있다. 후지쯔가 최근 새로운 CPU 아키텍처의 스팍 칩을 사용하는 두 개의 유닉스 서버 (M12-...

2017.04.05

딥러닝(Deep learning)에는 많은 요소가 있으며 단순하지도 않다. 인공 신경망의 기본 사항을 마스터한 데이터 과학자라 할지라도 회선, 순환, 생성을 비롯한 모든 다계층 딥러닝 알고리듬의 복잡한 내용을 다 따라잡으려면 꽤 많은 시간...

2017.03.02

* SK텔레콤에서 데이터 과학자로 재직중인 김진철 박사의 칼럼 '김진철의 How-to-Big Data'를 1월부터 연재합니다. 빅데이터 – 실재인가, 허상인가? 전 세계적 IT 트렌드로 조명받게 된 빅데이터가 우리나라에...

2017.01.23