데이터 과학자는 사람이 아니라 한 팀인가? – 데이터 과학자 역량 범위의 논란 2016년쯤에 필자가 빅데이터에 관해 읽었던 한 매체의 글에서 데이터 과학자는 한 사람이 아니라 팀을 의미한다는 요지의 주장을 펴는 글을 읽은 적이 있다. 그 글... ...
지금까지 필자의 기고문은 각 회 전반부는 CERN과 LHC 실험의 현황과 실제 사례를 소개하고, 글의 후반부에 이 사례가 빅데이터 비즈니스에 주는 시사점을 논의하는 방식이었다. 필자가 약속한 빅데이터 조직과 시스템, 데이터 과학자 인력 채용과 운용에 ... ...
LHC 실험을 수행하는 물리학자들과 연구자들의 특성 지금까지 LHC 실험을 위한 만든 LHC 가속기와 네 개의 검출기, 그리고 데이터 가공 및 분석을 위한 LHC 데이터 처리 시스템과 WLCG 그리드 컴퓨팅 기술을 소개하면서 빅데이터 기술의 모든 요소... ...
CERN은 왜 오픈소스 컨퍼런스 관리 소프트웨어를 만들었나? – CERN의 Indico 앞서 자세히 소개한 그리드와 클라우드 컴퓨팅 기술, 그리고 팀 버너스 리의 월드 와이드 웹과 같이 현대 인터넷을 만든 다양한 정보 기술들이 탄생한 CER... ...
LHC 실험을 위한 협력 체계의 구조 LHC는 지구에서 가장 큰 기계일 뿐만 아니라, 건설 및 운영 비용에서도 NASA의 스페이스 셔틀 프로젝트, 허블 망원경과 같은 우주 과학 실험과 현재 프랑스 카다라슈에 건설 중인 ITER 핵융합 실험로와 함께... ...
LHC 실험과 뉴로모픽 엔지니어링 LHC 실험과 같은 거대과학 실험 장치는 건설에만 10~20년이 걸리고, 대량 생산을 위한 물건이나 장치를 만드는 일이 아닌 세계에서 하나뿐인 실험 장치를 만드는 일이다 보니 큰 비용이 들고 그에 따르는 위험 부담... ...
LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항 – 해석가능성 LHC 가속기는 질량의 근본을 설명하는 힉스 보존의 존재를 2013년도에 최종적으로 확인하여 목표로 했던 가장 중요한 미션은 완수하였으나, 힉스 보존 존재를 확... ...
LHC 컴퓨팅 그리드의 워크플로우 관리 기술 LHC 실험 장치와 LHC 컴퓨팅 그리드 기술의 상당수는 LHC 데이터 분석 과정을 자동화하기 위한 기술들이라고 앞서 말한 바 있다. 이번 글에서는 LHC 빅데이터 기술 중에서 가장 진보된 자동화 기술의... ...
LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이... ...
LHC 실험의 데이터 그리드 요구 사항 LHC 컴퓨팅 그리드(LHC Computing Grid)를 구축하면서 해결해야 했던 중요한 문제 중 하나는 LHC 데이터 분석 작업을 기관별로 분담한 분석 대상 이벤트에 맞게 각 기관의 그리드 컴퓨팅 자원으로 ... ...
지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 ... ...
LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(hig... ...
CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, ... ...
CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟... ...
CMS Level-1 트리거(Trigger)와 FGPA, GPU 기술 LHC Computing Grid에서 이종(heterogeneous) 자원 관리 문제를 해결하기 위해 처음으로 가상머신을 이용한 자원 가상화 기법을 도입하여 작업 성공률을 획기적... ...
  1. 김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (5)

  2. 2019.02.26
  3. 데이터 과학자는 사람이 아니라 한 팀인가? – 데이터 과학자 역량 범위의 논란 2016년쯤에 필자가 빅데이터에 관해 읽었던 한 매체의 글에서 데이터 과학자는 한 사람이 아니라 팀을 의미한다는 요지의 주장을 펴는 글을 읽은 적이 있다. 그 글...

  4. 김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (4)

  5. 2019.01.28
  6. 지금까지 필자의 기고문은 각 회 전반부는 CERN과 LHC 실험의 현황과 실제 사례를 소개하고, 글의 후반부에 이 사례가 빅데이터 비즈니스에 주는 시사점을 논의하는 방식이었다. 필자가 약속한 빅데이터 조직과 시스템, 데이터 과학자 인력 채용과 운용에 ...

  7. 김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (3)

  8. 2018.12.28
  9. LHC 실험을 수행하는 물리학자들과 연구자들의 특성 지금까지 LHC 실험을 위한 만든 LHC 가속기와 네 개의 검출기, 그리고 데이터 가공 및 분석을 위한 LHC 데이터 처리 시스템과 WLCG 그리드 컴퓨팅 기술을 소개하면서 빅데이터 기술의 모든 요소...

  10. 김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (2)

  11. 2018.11.27
  12. CERN은 왜 오픈소스 컨퍼런스 관리 소프트웨어를 만들었나? – CERN의 Indico 앞서 자세히 소개한 그리드와 클라우드 컴퓨팅 기술, 그리고 팀 버너스 리의 월드 와이드 웹과 같이 현대 인터넷을 만든 다양한 정보 기술들이 탄생한 CER...

  13. 김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

  14. 2018.10.26
  15. LHC 실험을 위한 협력 체계의 구조 LHC는 지구에서 가장 큰 기계일 뿐만 아니라, 건설 및 운영 비용에서도 NASA의 스페이스 셔틀 프로젝트, 허블 망원경과 같은 우주 과학 실험과 현재 프랑스 카다라슈에 건설 중인 ITER 핵융합 실험로와 함께...

  16. 김진철의 How-to-Big Data | 빅데이터와 인공지능 (4)

  17. 2018.09.27
  18. LHC 실험과 뉴로모픽 엔지니어링 LHC 실험과 같은 거대과학 실험 장치는 건설에만 10~20년이 걸리고, 대량 생산을 위한 물건이나 장치를 만드는 일이 아닌 세계에서 하나뿐인 실험 장치를 만드는 일이다 보니 큰 비용이 들고 그에 따르는 위험 부담...

  19. 김진철의 How-to-Big Data | 빅데이터와 인공지능 (3)

  20. 2018.08.27
  21. LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항 – 해석가능성 LHC 가속기는 질량의 근본을 설명하는 힉스 보존의 존재를 2013년도에 최종적으로 확인하여 목표로 했던 가장 중요한 미션은 완수하였으나, 힉스 보존 존재를 확...

  22. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (5)

  23. 2018.07.23
  24. LHC 컴퓨팅 그리드의 워크플로우 관리 기술 LHC 실험 장치와 LHC 컴퓨팅 그리드 기술의 상당수는 LHC 데이터 분석 과정을 자동화하기 위한 기술들이라고 앞서 말한 바 있다. 이번 글에서는 LHC 빅데이터 기술 중에서 가장 진보된 자동화 기술의...

  25. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (4)

  26. 2018.06.27
  27. LHC 실험 데이터 분석에서의 데이터 가시화 – 이벤트 및 모니터링 데이터 LHC 실험에서 사용되는 데이터 가시화 방법을 같이 살펴보면서 빅데이터를 활용할 때 데이터 가시화와 큐레이션이 왜 중요한지 같이 생각해보자. 먼저, 데이...

  28. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (3)

  29. 2018.05.23
  30. LHC 실험의 데이터 그리드 요구 사항 LHC 컴퓨팅 그리드(LHC Computing Grid)를 구축하면서 해결해야 했던 중요한 문제 중 하나는 LHC 데이터 분석 작업을 기관별로 분담한 분석 대상 이벤트에 맞게 각 기관의 그리드 컴퓨팅 자원으로 ...

  31. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (2)

  32. 2018.04.24
  33. 지난 칼럼에 이어 이번에는 빅데이터 주요 기술 조건 가운데 빅데이터 분석 플랫폼의 요건에 대해 알아보자. LHC 실험의 공식 데이터 분석 플랫폼 - ROOT LHC 실험을 비롯한 과학실험은 항상 데이터 분석 과정이 필수다. 특히, 실험을 ...

  34. 김진철의 How-to-Big Data | 빅데이터 주요 기술의 조건 (1)

  35. 2018.03.23
  36. LCG 데이터 병렬 처리 프레임워크 - PROOF 본 연재의 여섯 번째 글에서 잠시 소개했던 LHC 이벤트 데이터를 분석 과정을 잠시 되새겨 보기로 하자. LHC 이벤트 데이터 분석 과정은 먼저 검출기의 Level-1 트리거와 고수준 트리거(hig...

  37. 김진철의 How-to-Big Data | 빅데이터와 클라우드 기술 (6)

  38. 2018.02.26
  39. CMS 온라인 데이터 수집 시스템의 모니터링 문제 흔히 모니터링하면 어떤 시스템의 상태를 관찰하고 운영하기 위해 필수적으로 만들어야 하는 기능이기도 하면서, 왠지 첨단 기술이 들어가지 않는 허드렛일이라는 생각을 많이 하게 되는 것 같다. 하지만, ...

  40. 김진철의 How-to-Big Data | 빅데이터와 클라우드 기술 (5)

  41. 2018.01.29
  42. CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어 지난 열두번째 글에서 소개한 Level-1 트리거는 CMS를 비롯한 LHC 검출기에서 원시 데이터 처리를 위해 데이터 스트림이 가장 먼저 만나는 시스템이다. 초당 1TB 이상 검출기 센서에서 쏟...

  43. 김진철의 How-to-Big Data | 빅데이터와 클라우드 기술 (4)

  44. 2017.12.27
  45. CMS Level-1 트리거(Trigger)와 FGPA, GPU 기술 LHC Computing Grid에서 이종(heterogeneous) 자원 관리 문제를 해결하기 위해 처음으로 가상머신을 이용한 자원 가상화 기법을 도입하여 작업 성공률을 획기적...

X