2018.10.26

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

김진철 | CIO KR

LHC 실험을 위한 협력 체계의 구조
LHC는 지구에서 가장 큰 기계일 뿐만 아니라, 건설 및 운영 비용에서도 NASA의 스페이스 셔틀 프로젝트, 허블 망원경과 같은 우주 과학 실험과 현재 프랑스 카다라슈에 건설 중인 ITER 핵융합 실험로와 함께 많은 건설, 운영 비용이 들어간 프로젝트이다. 이렇게 거대한 프로젝트의 결과로 지어진 LHC 가속기와 4개의 검출기를 이용해 입자물리학 실험은 단순한 협업으로는 불가능에 가깝다. 20년이 넘는 긴 건설 기간과 인류 역사상 하나밖에 없는, 처음으로 설계해서 건설하는 거대 실험 장치이고, 모든 실험 조건이 지금까지 만들어본 적이 없는 극한의 실험 조건이라는 측면에서 프로젝트의 위험 수준이 이 세상 어떤 프로젝트보다도 높은 프로젝트였다.

빅데이터를 만들어 내는 LHC 가속기와 검출기부터 빅데이터를 가공하는 Level-1 트리거와 고수준 트리거(high-level trigger), 그리고 데이터를 분석하는 LHC 컴퓨팅 그리드까지 빅데이터 모든 영역의 시스템을 연구개발해야 했던 LHC 프로젝트는 만들어야 했던 기술 영역의 범위도 넓고 그 수준도 복잡한 어려운 과제였다. 이렇게 어렵고 복잡한 시스템을 만들기 위해 LHC 연구자들이 어떤 조직과 체계를 가지고 협력하여 일했는지 살펴보고 그 교훈과 빅데이터 비즈니스 조직과의 차이점을 생각해보는 것은 빅데이터 비즈니스를 운영하는 조직과 기업들에게도 의미 있는 일이다.



우선 그림 1과 2는 LHC의 4개의 실험 중에서 가장 많은 비용이 투입되고 가장 많은 연구자들이 참여하고 있는 ATLAS와 CMS 실험의 조직 체계를 그림으로 보여주고 있다. 이 조직 체계를 살펴보면서 빅데이터 비즈니스를 수행하기 위한 조직 설계에 대한 아이디어를 같이 살펴보도록 하자.

첫번째로, 이 조직도를 보면 LHC 프로젝트 전반에서 나타나는 조직 패턴이 하나 보이는데, 바로 장치를 건설하고 운영하는데 필요한 자원을 계획, 조달하는 자원 관리 위원회(Resource Review Board; RRB)가, 실험의 전반적인 의사 결정을 내리고 대변하는 대변인(Spokesperson)과 운영위원회(ATLAS Plenary Meeting) 직속으로, LHC 과학 및 기술 연구 협력을 위한 조직인 공동 연구 협력 위원회(Collaboration Board, Technical Coordination, Physics Coordination)와 동등한 지위로 운영된다는 점이다.

필자가 CMS 실험과 각종 회의에 참석하면서 느낀 것은 LHC 실험 공동 연구단과 CERN이 기술적인 의사 결정과 LHC 실험을 수행하는 데 필요한 자원과 예산에 관한 의사 결정을 하는데 항상 적절한 균형을 맞추려고 노력한다는 점이다.

예산과 인력에 섬세하게 신경을 쓰고 오랜 기간에 걸쳐 계획을 세우고 점검하는 것은 사실 국제 공동 연구 프로젝트에서 그렇게 유별난 일도 아니다. UN 산하 국제기구를 포함한 많은 국제기구와 여러 나라의 국제 협력 조직과 이해관계자 간의 협력을 통해 진행되는 다자 국제 협력 프로젝트의 경우 프로젝트를 수행하는데 필요한 예산과 인력, 물자를 확보하기 위해 참여하는 이해관계자들을 설득하고 합의하는데 걸리는 시간이 꽤 많이 필요한 경우가 많다. 이런 문제로 국제 협력 프로젝트는 필요한 예산, 인력과 물자를 확보하는데 유난히 많은 노력을 기울이는 것이 사실이다.



LHC 실험의 빅데이터 인프라를 구축하고 실험을 수행하는 기술 조직인 공동 연구 협력 위원회(Collaboration Board)가 위와 같이 자원을 점검하고 관리하는 자원 관리 위원회(Resource Review Board; RRB)와 동등한 수준의 권한과 영향력으로 프로젝트 운영을 담당하는 것은 앞서 설명한 것같이 국제 공동 협력 프로젝트에서 자원 조달 및 확보가 어렵고, 실험 장치와 분석 인프라의 운영과 이를 활용한 성과가 이를 운영하는 예산, 인력, 조달되는 자원에 의존하기 때문이다.

통상적으로 예산이나 재무를 담당하는 부서가 조직 내에서 더 많은 정치적인 영향력을 갖는 경우가 많고, CERN과 LHC 국제 공동 실험 프로젝트의 경우에도 자금을 대는 각 국가의 자금 조달 기관(funding agency)들이 많은 영향력을 가지고 있는 것은 사실이다. 이러한 참여 및 지원 조직 간의 영향력의 차이로 인한 문제를 최소화하기 위해 실제 프로젝트 운영을 위한 조직은 기술 협력 담당관(Technical Coordinator, Physics Coordinator)과 기술, 공동 연구 협력 위원회(CB 또는 TB, PB)와 자원 관리 위원회(RRB)가 동등한 자격과 지위로 운영이 되게끔 조직이 설계된 것을 볼 수 있고, 이 의미를 우리는 깊게 생각해볼 필요가 있다.



이것은 LHC 프로젝트 성공을 위해 자원의 투입과 관리가 중요하지만, 또한 자원의 투입과 관리가 입자물리학 지식과 통찰의 추구라는 프로젝트의 근본적인 목적에 맞지 않는다면 아무런 의미가 없음을 고려한 LHC 실험 연구자들의 생각을 보여주는 것이다. LHC 국제 협력 프로젝트의 운영 이슈는 단순한 회계, 예산의 논리로 해결될 수 없다는 생각이 조직 설계에 반영된 것이다.
 


LHC 실험에서 수행하고 탐색해야 하는 수많은 물리학적 질문들과 가설, 이를 확인하기 위한 다양한 이론들과 실험 방법들은 지금까지 수십 년을 입자물리학 현상을 연구해온 수많은 물리학자와 과학자가 없었더라면 알아내는 것이 불가능했을 것이다. 빅데이터 분석을 위한 LHC 컴퓨팅 그리드가 오늘날과 같이 구축되어 동작하기 위해서는 LHC 컴퓨팅 그리드의 요구 사항을 분석하고 개발하며, 구축하고, 운영하는 수많은 LHC 컴퓨팅 그리드 연구자와 엔지니어들이 없었으면 불가능했을 것이다.

위와 같이 LHC 실험을 통해 힉스 입자를 발견하느냐 못하느냐의 문제는 투입되는 예산과 자원의 한계 내에서 타협할 문제가 아니라 반드시 달성해야 하는 과학적인 목표이다. 이에 필요한 자원과 예산이 수지타산을 맞추기 위해 이 정도만 투입해서 적당히 일하자는 식으로 의사 결정이 이루어져서는 결코 LHC 실험의 목적을 달성하지 못한다는 뜻이다.

 


2018.10.26

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

김진철 | CIO KR

LHC 실험을 위한 협력 체계의 구조
LHC는 지구에서 가장 큰 기계일 뿐만 아니라, 건설 및 운영 비용에서도 NASA의 스페이스 셔틀 프로젝트, 허블 망원경과 같은 우주 과학 실험과 현재 프랑스 카다라슈에 건설 중인 ITER 핵융합 실험로와 함께 많은 건설, 운영 비용이 들어간 프로젝트이다. 이렇게 거대한 프로젝트의 결과로 지어진 LHC 가속기와 4개의 검출기를 이용해 입자물리학 실험은 단순한 협업으로는 불가능에 가깝다. 20년이 넘는 긴 건설 기간과 인류 역사상 하나밖에 없는, 처음으로 설계해서 건설하는 거대 실험 장치이고, 모든 실험 조건이 지금까지 만들어본 적이 없는 극한의 실험 조건이라는 측면에서 프로젝트의 위험 수준이 이 세상 어떤 프로젝트보다도 높은 프로젝트였다.

빅데이터를 만들어 내는 LHC 가속기와 검출기부터 빅데이터를 가공하는 Level-1 트리거와 고수준 트리거(high-level trigger), 그리고 데이터를 분석하는 LHC 컴퓨팅 그리드까지 빅데이터 모든 영역의 시스템을 연구개발해야 했던 LHC 프로젝트는 만들어야 했던 기술 영역의 범위도 넓고 그 수준도 복잡한 어려운 과제였다. 이렇게 어렵고 복잡한 시스템을 만들기 위해 LHC 연구자들이 어떤 조직과 체계를 가지고 협력하여 일했는지 살펴보고 그 교훈과 빅데이터 비즈니스 조직과의 차이점을 생각해보는 것은 빅데이터 비즈니스를 운영하는 조직과 기업들에게도 의미 있는 일이다.



우선 그림 1과 2는 LHC의 4개의 실험 중에서 가장 많은 비용이 투입되고 가장 많은 연구자들이 참여하고 있는 ATLAS와 CMS 실험의 조직 체계를 그림으로 보여주고 있다. 이 조직 체계를 살펴보면서 빅데이터 비즈니스를 수행하기 위한 조직 설계에 대한 아이디어를 같이 살펴보도록 하자.

첫번째로, 이 조직도를 보면 LHC 프로젝트 전반에서 나타나는 조직 패턴이 하나 보이는데, 바로 장치를 건설하고 운영하는데 필요한 자원을 계획, 조달하는 자원 관리 위원회(Resource Review Board; RRB)가, 실험의 전반적인 의사 결정을 내리고 대변하는 대변인(Spokesperson)과 운영위원회(ATLAS Plenary Meeting) 직속으로, LHC 과학 및 기술 연구 협력을 위한 조직인 공동 연구 협력 위원회(Collaboration Board, Technical Coordination, Physics Coordination)와 동등한 지위로 운영된다는 점이다.

필자가 CMS 실험과 각종 회의에 참석하면서 느낀 것은 LHC 실험 공동 연구단과 CERN이 기술적인 의사 결정과 LHC 실험을 수행하는 데 필요한 자원과 예산에 관한 의사 결정을 하는데 항상 적절한 균형을 맞추려고 노력한다는 점이다.

예산과 인력에 섬세하게 신경을 쓰고 오랜 기간에 걸쳐 계획을 세우고 점검하는 것은 사실 국제 공동 연구 프로젝트에서 그렇게 유별난 일도 아니다. UN 산하 국제기구를 포함한 많은 국제기구와 여러 나라의 국제 협력 조직과 이해관계자 간의 협력을 통해 진행되는 다자 국제 협력 프로젝트의 경우 프로젝트를 수행하는데 필요한 예산과 인력, 물자를 확보하기 위해 참여하는 이해관계자들을 설득하고 합의하는데 걸리는 시간이 꽤 많이 필요한 경우가 많다. 이런 문제로 국제 협력 프로젝트는 필요한 예산, 인력과 물자를 확보하는데 유난히 많은 노력을 기울이는 것이 사실이다.



LHC 실험의 빅데이터 인프라를 구축하고 실험을 수행하는 기술 조직인 공동 연구 협력 위원회(Collaboration Board)가 위와 같이 자원을 점검하고 관리하는 자원 관리 위원회(Resource Review Board; RRB)와 동등한 수준의 권한과 영향력으로 프로젝트 운영을 담당하는 것은 앞서 설명한 것같이 국제 공동 협력 프로젝트에서 자원 조달 및 확보가 어렵고, 실험 장치와 분석 인프라의 운영과 이를 활용한 성과가 이를 운영하는 예산, 인력, 조달되는 자원에 의존하기 때문이다.

통상적으로 예산이나 재무를 담당하는 부서가 조직 내에서 더 많은 정치적인 영향력을 갖는 경우가 많고, CERN과 LHC 국제 공동 실험 프로젝트의 경우에도 자금을 대는 각 국가의 자금 조달 기관(funding agency)들이 많은 영향력을 가지고 있는 것은 사실이다. 이러한 참여 및 지원 조직 간의 영향력의 차이로 인한 문제를 최소화하기 위해 실제 프로젝트 운영을 위한 조직은 기술 협력 담당관(Technical Coordinator, Physics Coordinator)과 기술, 공동 연구 협력 위원회(CB 또는 TB, PB)와 자원 관리 위원회(RRB)가 동등한 자격과 지위로 운영이 되게끔 조직이 설계된 것을 볼 수 있고, 이 의미를 우리는 깊게 생각해볼 필요가 있다.



이것은 LHC 프로젝트 성공을 위해 자원의 투입과 관리가 중요하지만, 또한 자원의 투입과 관리가 입자물리학 지식과 통찰의 추구라는 프로젝트의 근본적인 목적에 맞지 않는다면 아무런 의미가 없음을 고려한 LHC 실험 연구자들의 생각을 보여주는 것이다. LHC 국제 협력 프로젝트의 운영 이슈는 단순한 회계, 예산의 논리로 해결될 수 없다는 생각이 조직 설계에 반영된 것이다.
 


LHC 실험에서 수행하고 탐색해야 하는 수많은 물리학적 질문들과 가설, 이를 확인하기 위한 다양한 이론들과 실험 방법들은 지금까지 수십 년을 입자물리학 현상을 연구해온 수많은 물리학자와 과학자가 없었더라면 알아내는 것이 불가능했을 것이다. 빅데이터 분석을 위한 LHC 컴퓨팅 그리드가 오늘날과 같이 구축되어 동작하기 위해서는 LHC 컴퓨팅 그리드의 요구 사항을 분석하고 개발하며, 구축하고, 운영하는 수많은 LHC 컴퓨팅 그리드 연구자와 엔지니어들이 없었으면 불가능했을 것이다.

위와 같이 LHC 실험을 통해 힉스 입자를 발견하느냐 못하느냐의 문제는 투입되는 예산과 자원의 한계 내에서 타협할 문제가 아니라 반드시 달성해야 하는 과학적인 목표이다. 이에 필요한 자원과 예산이 수지타산을 맞추기 위해 이 정도만 투입해서 적당히 일하자는 식으로 의사 결정이 이루어져서는 결코 LHC 실험의 목적을 달성하지 못한다는 뜻이다.

 


X