데이터 과학팀 리더의 리더십 (5) – 머리와 가슴을 조화시켜라 (집중할 수 있는 환경 만들기) 지난 스물아홉번째, 서른번째 글에서 데이터 과학팀을 이끄는 리더가 자주 범하는 실수인 리더 자신이 걸림돌이 되는 리더십의 문제점, 팀의 문제 해결 역량과 ...

2019.07.23

지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 ...

2018.04.24

첫 직장을 찾든 이직을 고려하든 IT분야에서 구직 활동 중이라면 IT급여는 아마도 중요한 관심사 중 하나일 것이다. 미국의 취업정보 회사인 다이스(Dice)는 2018년 기술 연봉 보고서에서 정보 기술 연봉 데이터를 모든 방법으로 분리했다. ...

2018.04.02

CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟...

2018.01.29

스팸 필터링, 안면 인식, 추천 엔진 등, 방대한 분량의 데이터 셋을 상대로 예측 분석이나 패턴 인식을 하고자 한다면 머신러닝만한 방법이 없다. 무료 오픈소스 소프트웨어가 많아지면서 단일 기기 및 여러 대의 기기에, 널리 쓰이는 프로그래밍 언어로 확장...

2017.10.11

클라우드 컴퓨팅의 서막 – CERN은 왜 클라우드 컴퓨팅이 필요했나? LHC 실험과 인공지능 기술에 대한 내용을 더 다루기 전에, 독자들의 이해를 더 쉽게 돕기 위해 클라우드 컴퓨팅과 LHC 실험과의 관계를 살펴보고 지나가려 한다. 오늘은...

2017.09.25

기업 내 스토리지 용량 수요가 늘어나고 비즈니스 요구 사항이 진화하면서 숙련된 스토리지 전문가 수요가 증가하고 있다. 특히 기업은 하드웨어 기반 스토리지에서 클라우드 스토리지로 이전해본 경험이 있는 사람을 찾고 있으며, 그 결과 이들의 급여도 올라가는...

2017.06.05

* 본 기고문은 벤더가 작성한 것으로 네트워크 월드 편집진의 수정을 거쳤지만 일부 벤더의 시각이 남아 있을 수 있다. 빅데이터 기술은 이미 기업 환경에 다양한 변화를 가져왔다. 기업들은 기존 거래 기록에서 소셜 미디어 등 다른 소스들까지, 다양한...

2016.12.26

빅데이터라는 모험이 시작된 지 꽤 됐다. 그러다 보니, 이제 더 이상 새롭지 않은 것들도 있다. 더 나아가 방해가 될 수도 있는 기술도 있다.  Image Credit: Getty Images Bank 향후 수년 동안 기술들의 ...

2016.10.20

종종 하둡과 아파치 스파크가 빅데이터 영역에서 경쟁관계 있는 것처럼 보이기도 했지만 최근 들어 이 둘이 서로 조화를 이룬다는 생각이 점점 더 확산되고 있다. 하둡과 아파치 스파크 둘 다 빅데이터 프레임워크다. 이미지 출처 : IDGNS ...

2015.12.15

이미지 출처 : Thinkstock 컴스코어(comScore)는 빅데이터 분야에서 신출내기 회사는 아니다. 이 디지털 분석 회사는 1999년 온라인에서 무슨 일이 일어나는지에 대해 인텔리전스를 제공하려는 목표를 가지고 설립됐다. 초...

2015.07.01

아파치 스파크(Apache Spark)는 하둡 기반의 고급 실시간 분석이 용이하도록 도와주면서 빅데이터의 차세대 '빅씽(Big Thing)'으로 가장 빨리 자리를 굳히고 있다. 지난 몇 년간 하둡이 빅데이터 처리의 가장 지배적인 패...

2015.03.20

하둡은 그 어느 때보다 더 많은 인기를 누리고 있지만, 맵리듀스에 대한 수요는 감소하는 것으로 보인다. 누구나 더 빠른 대답을 원한다. SQL 쿼리의 대답 역시 이런 경우가 많다. 올해 최고 오픈소스 소프트웨어 시상인 보시(Bossies)의 빅 데이터...

2014.10.02

맵알의 최신 하둡 배포판에는 YARNN과 함께 하둡 2.2 지원 기능이 들어 있다. 게다가 최신 하둡 아키텍처로 안전하게 업그레이드하면서 맵리듀스 1.x 스케줄러와도 호환된다. 맵알 테크놀로지(MapR Technologies)가 자사의...

2014.02.19

미국에서 빅 데이터 언어, 데이터베이스, 기술을 마스터한 IT전문가의 연봉이 가장 높은 것으로 조사됐다. 지난해 IT전문가들의 급여가 약 3% 상승한 가운데 빅 데이터 관련 언어, 데이터베이스, 기술에 대한 전문성을 갖춘 IT전문가들이 가장 연...

2014.02.10

최근에 공개된 아파치 하둡(Apache Hadoop) 코드에는 새로운 작업 관리 툴이 포함돼 있다. 하둡 프로젝트 지지자들은 이 툴의 등장으로 인해 빅 데이터 애플리케이션을 더욱 쉽게 개발할 수 있을 것으로 기대하고 있다. 야후와 구글 등의...

2013.06.05

하둡과 맵리듀스(MapReduce)는 오랫동안 빅 데이터의 중심이었지만, 일부 기업들은 이제 거대하고 지속적으로 성장해가는 데이터세트에서 비즈니스 가치를 뽑아내는 새롭고 더 빠른 방법을 찾고 있다.    많은 대형 조직...

2012.11.02

기업들이 대용량 데이터 분석 업무에 하둡(Hadoop)을 활용하는 방안을 계속해서 검토하고 있는 가운데 하둡 소프트웨어 업체들이 기업용 제품의 신뢰성과 사용성을 높일 수 있는 신제품을 잇달아 출시하고 있다. 클라우데라(Cloudera)와 ...

2012.10.25