최근 마이크로소프트의 깃허브 인수는 개발자 커뮤니티를 통해 파문을 일으키고 있다. 이번 인수가 개발자 커뮤니티 사이트의 미래와, 더 나아가 오픈소스 소프트웨어의 미래에 어떤 의미가 있을지 의문을 불러일으키고 있다. 깃허브의 수익 모델이 흔들리고 있고, 안정 ...
LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이터 가시화와 큐레이 ...
LHC 실험의 데이터 그리드 요구 사항 LHC 컴퓨팅 그리드(LHC Computing Grid)를 구축하면서 해결해야 했던 중요한 문제 중 하나는 LHC 데이터 분석 작업을 기관별로 분담한 분석 대상 이벤트에 맞게 각 기관의 그리드 컴퓨팅 자원으로 스케줄링하는 문제와 ...
독일의 자동차 제조사 아우디가 생산 설비에서부터 차량 내부에 이르는 각종 데이터를 수집하기 위해 일련의 오픈소스 빅데이터 기술을 채택하고 있다. 지난주 베를린에서 열린 데이터웍스 서밋에서 아우디의 빅데이터 아키텍트 마티아스 그러니츠와 카슨 허베는 각종 소스 ...
F#은 강한 형식의 함수 우선 프로그래밍 언어로, 복잡한 문제를 단순한 코드로 해결할 수 있게 해준다. ML을 기반으로 .NET 프레임워크 상에 구축된 F#은 우수한 상호운용성, 이식성, 런타임 속도, 그리고 “5C”인 간결함(conciseness ...
프로그래밍에 익숙하지 않다면 스크래치(Scratch)나 HTML과 같은 언어를 배우는 것부터 시작할 수 있다. 그러나 일단 기본 지식을 익히면 배울 수 있는 다양한 언어가 있다. 깃허브의 프로그램 관리자인 조 내시에 따르면, 개발자가 선택할 수 있는 언어가 많으며 언어 ...
지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 통해 얻은 데이터가 ...
첫 직장을 찾든 이직을 고려하든 IT분야에서 구직 활동 중이라면 IT급여는 아마도 중요한 관심사 중 하나일 것이다. 미국의 취업정보 회사인 다이스(Dice)는 2018년 기술 연봉 보고서에서 정보 기술 연봉 데이터를 모든 방법으로 분리했다. 여기서 현재 미국 ...
LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(high-level tr ...
기업 빅데이터의 미래는 퍼블릭 클라우드에 있다. 빅데이터의 가치를 제대로 얻기 위해 필요한 통합 플랫폼이 퍼블릭 클라우드로 인해 탄생하고 있다. 오늘날 빅데이터 애널리틱스 시장은 불과 몇 년 전 업계의 모습과도 사뭇 다르다. 그러나 앞으로 10년 동안 더욱 급 ...
CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, LCG와 같이 전 ...
CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟아져 나오는 많은 ...
구글 클라우드의 가장 큰 강점은 ‘구글처럼’ 되고 싶어하는 기업의 기대를 충족할 수 있다는 것이다. 디지털 시대의 신생기업들이 구글 클라우드 위에서 구글 같은 혁신으로 승승장구하고 있다. 디지털 변혁의 의지가 있는, ‘구글이 되고픈 기업 ...
지난 2015년 포레스터는 기업의 하둡 도입이 필수가 되고, 데이터에서 가치를 끌어내고자 하는 모든 기업은 최소한 하둡을 고려해야 한다고 예측한 바 있다. 하둡이란 무엇인가? 오픈소스 아파치 소프트웨어 재단은 하둡을 ‘분산 컴퓨팅 플랫폼’ ...
링크드인 프로필을 조사한 결과 데이터 과학 분야에서 파이썬, R, SQL 기술이 중요하게 나타났다. 하지만 국가와 분야에 따라 이상적인 기술은 다른 것으로 파악됐다. 파이썬, R 또는 SQL과 석사 학위 이상의 전문 지식을 보유한 데이터 과학자가 취업에 성 ...
  1. 깃허브 인수로 본 오픈소스의 미래

  2. 2018.07.16
  3. 최근 마이크로소프트의 깃허브 인수는 개발자 커뮤니티를 통해 파문을 일으키고 있다. 이번 인수가 개발자 커뮤니티 사이트의 미래와, 더 나아가 오픈소스 소프트웨어의 미래에 어떤 의미가 있을지 의문을 불러일으키고 있다. 깃허브의 수익 모델이 흔들리고 있고, 안정적인 리더십이 결여되었다는 점을 지적하며 마이크로소프트에 인수되는 것이 미래를 위해 필요한 조치라는 견해가 있는가 하면, 이 인수로 깃허브에 경쟁업체가 호스팅하는 독점 코드를 MS가 엿볼 ...

  4. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (4)

  5. 2018.06.27
  6. LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이터 가시화와 큐레이션이 무엇이고 어떤 차이가 있는지 같이 생각해보자. 데이터 가시화란 말 그대로 데이터의 특성과 구조를 사람이 편리하게 관찰할 수 있도록 기호화된 데이터들을 재조직하고 가공해서 새롭게 표현한...

  7. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (3)

  8. 2018.05.23
  9. LHC 실험의 데이터 그리드 요구 사항 LHC 컴퓨팅 그리드(LHC Computing Grid)를 구축하면서 해결해야 했던 중요한 문제 중 하나는 LHC 데이터 분석 작업을 기관별로 분담한 분석 대상 이벤트에 맞게 각 기관의 그리드 컴퓨팅 자원으로 스케줄링하는 문제와 함께, 컴퓨팅 노드에 스케줄링되어 실행되는 분석 작업들이 분석할 데이터에 어떻게 접근하고 사용하느냐는 것이었다. 어느 그리드 사이트에서도 데이터 접근이 가능하게끔 데이터를 저장, 관리하기...

  10. 아우디의 오픈소스 빅데이터 파운데이션 활용법

  11. 2018.04.27
  12. 독일의 자동차 제조사 아우디가 생산 설비에서부터 차량 내부에 이르는 각종 데이터를 수집하기 위해 일련의 오픈소스 빅데이터 기술을 채택하고 있다. 지난주 베를린에서 열린 데이터웍스 서밋에서 아우디의 빅데이터 아키텍트 마티아스 그러니츠와 카슨 허베는 각종 소스로부터 데이터를 저장하는 데이터 백엔드를 구축한 방법과 그 과정에서 얻은 교훈을 발표했다. 아우디는 2015년부터 하둡 분산형 파일 시스템(HDFS)에 파일을 저장해왔다. 하둡을 애용...

  13. F#을 사용해야 하는 14가지 분명한 이유

  14. 2018.04.27
  15. F#은 강한 형식의 함수 우선 프로그래밍 언어로, 복잡한 문제를 단순한 코드로 해결할 수 있게 해준다. ML을 기반으로 .NET 프레임워크 상에 구축된 F#은 우수한 상호운용성, 이식성, 런타임 속도, 그리고 “5C”인 간결함(conciseness), 편리함(convenience), 정확함(correctness), 동시성(concurrency), 완전성(completeness)을 제공한다. F#은 초기에는 마이크로소프트 리...

  16. '지금도, 앞으로도 인기' 프로그래밍 언어 10선

  17. 2018.04.25
  18. 프로그래밍에 익숙하지 않다면 스크래치(Scratch)나 HTML과 같은 언어를 배우는 것부터 시작할 수 있다. 그러나 일단 기본 지식을 익히면 배울 수 있는 다양한 언어가 있다. 깃허브의 프로그램 관리자인 조 내시에 따르면, 개발자가 선택할 수 있는 언어가 많으며 언어마다 고유한 목적이 있다. 자바스크립트, PHP, C #과 같은 프로그래밍 언어가 인기 있는 데는 다 이유가 있다. 이 언어들은 해당 분야에서 최고며 고용주 사이에서 수요도 높다. 하...

  19. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (2)

  20. 2018.04.24
  21. 지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 통해 얻은 데이터가 어느 정도로 유의미하고 믿을 만한 것인지, 실험을 수행했을 때 세웠던 가설과 이론적인 연구를 통해 예측했던 결과가 어느 정도로 실험 결과를 잘 설명하는지 확인하기 위해서는 데이터를 정밀하...

  22. '임금 인상 주춤하지만 대체로 만족' 美 IT연봉 현황

  23. 2018.04.02
  24. 첫 직장을 찾든 이직을 고려하든 IT분야에서 구직 활동 중이라면 IT급여는 아마도 중요한 관심사 중 하나일 것이다. 미국의 취업정보 회사인 다이스(Dice)는 2018년 기술 연봉 보고서에서 정보 기술 연봉 데이터를 모든 방법으로 분리했다. 여기서 현재 미국 내 가장 인상적인 기술 분야, 지역, 산업을 정리했다. 평균 IT급여 추세 IT급여는 2008년 경기 침체기에 1~2년 동안 정체된 바 있다. 그러다 2012년부터 ...

  25. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (1)

  26. 2018.03.23
  27. LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(high-level trigger)에서 수행되는 이벤트 데이터 파편(fragment)들을 검출기 센서의 위치에 맞게 배치, 병합하고, 물리학자들이 물리학적인 분석이 가능하도록 기초적인 메타데이터를 추가하는 자동화...

  28. 빅데이터 애널리틱스 10년 전망 · · · 변화 견인차는 '클라우드'

  29. 2018.03.12
  30. 기업 빅데이터의 미래는 퍼블릭 클라우드에 있다. 빅데이터의 가치를 제대로 얻기 위해 필요한 통합 플랫폼이 퍼블릭 클라우드로 인해 탄생하고 있다. 오늘날 빅데이터 애널리틱스 시장은 불과 몇 년 전 업계의 모습과도 사뭇 다르다. 그러나 앞으로 10년 동안 더욱 급격한 변화와 혁신, 파괴가 나타날 전망이다. 실리콘앵글 미디어 애널리스트 그룹 위키본(Wikibon)이 최근 시장 조사 연간 업데이트를 발표했다. 이에 따르면, 2017년...

  31. 김진철의 How-to-Big Data | 빅데이터와 클라우드 기술 (6)

  32. 2018.02.26
  33. CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, LCG와 같이 전 지구에 걸쳐 모니터링할 시스템이 흩어져 있어 모니터링할 시스템의 정보를 모아 수집하기가 어려운 경우, XDAQ이 운영되는 CMS 온라인 데이터 수집 시스템과 같이 그 시스템의 요구사항 수준...

  34. 김진철의 How-to-Big Data | 빅데이터와 클라우드 기술 (5)

  35. 2018.01.29
  36. CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟아져 나오는 많은 데이터 중에서 물리학적으로 의미 있는 이벤트 데이터만 선별하는 데 필요한 빠른 데이터 처리를 위해 FPGA를 써서 연산을 가속한다고 소개하였다. 오늘 소개할 고수준 트리거(high-leve...

  37. 칼럼 | 구글 클라우드의 비밀병기 '구글처럼'

  38. 2017.12.26
  39. 구글 클라우드의 가장 큰 강점은 ‘구글처럼’ 되고 싶어하는 기업의 기대를 충족할 수 있다는 것이다. 디지털 시대의 신생기업들이 구글 클라우드 위에서 구글 같은 혁신으로 승승장구하고 있다. 디지털 변혁의 의지가 있는, ‘구글이 되고픈 기업’에게 그 길을 안내할 유일한 대안은 구글밖에 없다.  2017년은 구글 클라우드 플랫폼(Google Cloud Platform)에게 괜찮은 한 해였...

  40. 익스피디아, 호텔스닷컴, 테슬라 공통점은 '하둡'··· 12가지 사례

  41. 2017.12.21
  42. 지난 2015년 포레스터는 기업의 하둡 도입이 필수가 되고, 데이터에서 가치를 끌어내고자 하는 모든 기업은 최소한 하둡을 고려해야 한다고 예측한 바 있다. 하둡이란 무엇인가? 오픈소스 아파치 소프트웨어 재단은 하둡을 ‘분산 컴퓨팅 플랫폼’ 또는 ‘간단한 프로그래밍 모델을 사용해 여러 대의 컴퓨터에서 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크’라고 설명하고 있다. 재단에 따르면, 고가...

  43. 파이썬·R·SQL 잘 알고 석사 학위 있으면 데이터 과학자로 '인기'

  44. 2017.12.13
  45. 링크드인 프로필을 조사한 결과 데이터 과학 분야에서 파이썬, R, SQL 기술이 중요하게 나타났다. 하지만 국가와 분야에 따라 이상적인 기술은 다른 것으로 파악됐다. 파이썬, R 또는 SQL과 석사 학위 이상의 전문 지식을 보유한 데이터 과학자가 취업에 성공할 가능성이 높은 것으로 조사됐다. 교육 경력 웹 사이트인 365 데이터 사이언스(365 Data Science)는 링크드인에 가입한 1,001명의 데이터 과학자 프로필에서 수집한 ...

X