Offcanvas

CIO / How To / HR / 리더십|조직관리 / 빅데이터 | 애널리틱스 / 이직|채용 / 훈련|교육

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

2018.10.26 김진철  |  CIO KR


정해진 예산과 시간에 달성할 수 있는 과학적인 목표와 비전을 엄밀한 학문적인 연구와 기술적인 타당성 검토로 설정하고 만들어낸 과학자들과 엔지니어들의 헌신적인 노력과 전문성이 있었기에 힉스 입자 발견은 가능했던 것이다. 과학적인, 기술적인 의사 결정이 우리가 가진 예산, 자원이 유한한 점을 고려하지 않고 이루어지고 과학적인 발견과 기술적인 진보에만 집착했더라면, LHC 실험 계획이 착수된 지 21년 만에, LHC 가속기가 가동된 지 5년 만에 힉스 입자를 발견하는 성과를 내기는 쉽지 않았을 것이다. 과학, 기술에 관련된 엄밀한 계획과 프로젝트 의사 결정은 과학, 기술에 정통한 입자물리학자들과 수많은 기술 전문가와 엔지니어들이 있었기 때문에 가능했던 것이다.

또한, 프로젝트를 현실로 만들기 위해 과학자들과 엔지니어들의 기술적인 입장만을 고려한다고 해서 프로젝트가 현실로 이루어지지는 않았을 것이다. 어쩌면 지나치게 많은 예산과 자원이 투입된다고 해서 각국 정부가 아예 실험 계획 자체를 백지로 만들었을지도 모르는 일이다.

LHC 실험이 우주의 근원에 대한 궁극적인 물리학적 지식을 추구하고 인류 존재의 기원에 대한 답을 찾기 위한 명분을 가지고 진행하는 전 지구적으로 중요한 프로젝트라고 하여도, 이 프로젝트를 현실로 만들어 목적을 달성하기 위해서는 결국 이를 위한 예산과 자원, 프로젝트를 수행할 사람이 충분히 있어야만 가능한 일이다. LHC를 건설, 운영하기 위해 추정된 예산, 인력을 온전하게 참여국의 정부들이 부담하지 않았더라면 결코 LHC가 현재와 같이 운영되어 힉스 보존을 발견하는 성과에 이르지 못했을 것이다.

LHC 프로젝트는 그 건설과 실험 수행에 추정된 예산과 물자, 인력이 제때 들어가지 못했다면 LHC 실험을 통해 달성할 수 있는 과학적 성과의 범위와 내용도 크게 달라졌을 것이다. LHC 빅데이터 인프라의 구축과 분석을 위해 추정된 예산, 물자, 인력이 온전하게 투입되지 못했다면 힉스 입자의 발견이 2012년보다 훨씬 더 늦어졌을지도 모른다. 만약 LHC 컴퓨팅 그리드의 인프라가 계획보다 1/10수준으로만 구축될 수 있었다고 가정해보면, 힉스 입자 발견을 위해 LHC 빅데이터를 가공하고 분석하는데 걸렸던 2008년 LHC 완공부터 2012년 발견까지의 4년이 아니라 40년 이상이 걸렸을 수도 있다. 어쩌면 현실적인 이유로 LHC 실험이 유지, 운영되지 못해서 결국 힉스 입자를 발견하지 못하고 LHC 실험 장치와 빅데이터 분석 인프라를 폐쇄했을지도 모른다.

위와 같은 이유로 유지하지 못한 LHC 실험 때문에, 실재로 존재하는 힉스 입자를 알아보지 못하고 힉스 입자는 존재하지 않으며 입자물리학의 표준 모델은 잘못된 것이어서 수정해야 한다고 물리학자들이 주장해서 힉스 입자 존재 예측과 이를 예견한 표준 모형이 틀렸다는 잘못된 결론에 이르렀을 수도 있다. 만약 그랬다면 인류의 과학 발전이 한동안 정체되고 길을 잃었을지도 모르는 일이다.

LHC 실험과 LHC 실험에서 생산된 빅데이터를 수집, 분석하는 일도 결국은 인류가 현재 동원할 수 있는 물리적, 재정적 자원과 시간, 현실적인 한계 내에서만 가능한 일이다. 아무리 고상하고 명분 있는 질문과 지식을 추구한다고 하더라도, 이 질문의 답과 지식을 얻기 위해 노력하는 것도 우리 사람들이고, 이 유한한 에너지와 능력을 갖춘 사람들이 일하기 위해서는 시간과 예산, 자원이 필요하다.

LHC 실험을 수행했던 연구자들과 과학 행정가들은 이 사실을 잊지 않았다. LHC 실험에 자금과 자원, 인력을 조달하기 위해 노력했던 수많은 과학기술 행정가와 정책 입안자들, 그리고 전 지구적인 프로젝트 관리를 체계적이고 정밀하게 수행한 수많은 프로젝트 관리자들과 CERN 국제기구, 각 국가의 국립 연구소 행정가들, 그리고 프로젝트를 움직인 수많은 스태프들이 있었기에 LHC 실험이 성공적으로 운영될 수 있었다.

두번째로, LHC 실험 조직에서 기술 및 물리학 협력 위원회(Collaboration Board, Technical Committee, Physics Committee)와 자원 검토 위원회(Resource Review Board)는 정기적으로 회의를 하여 프로젝트 자원과 LHC 실험 진행 및 계획에 대해 같이 검토하여 의사 결정을 한다는 것이다.

매 분기 및 반기별로 CERN에서는 LHC 실험에 참여하는 국가들의 LHC실험 대표와 주요 과학기술 리더, 그리고 정부 자금 조달 기관의 행정관과 의사 결정자가 참여해서 LHC 실험의 현재 자원 상황을 검토하고 앞으로의 자원 확보 계획과 이에 따른 LHC 실험 계획 진행 현황을 검토하고 앞으로의 실험 수행을 위해 긴밀하게 협력한다.

많은 경우 정부의 연구 프로그램 담당 행정관이나 프로그램 관리자가 학술회의에서 정부의 과학기술 연구 프로그램에 대해 일방적으로 설명하는 경우가 많고, 특별하게 과학기술자들과 만나서 정부의 연구개발 예산 수립에 대해 긴밀하게 논의하는 경우는 많지 않다. 그렇지만, LHC 실험에서는 이렇게 과학기술 행정가들, 자금 조달 관련 업무를 맡은 정부 관료 및 담당 공무원들, LHC 실험을 실제로 수행하는 과학기술자들과의 협업과 회의를 정례화해서 진행하고 있다.

이렇게 자금 조달 및 자원 관리를 담당하는 정부 담당자들과 LHC 과학자들 간의 정례 회의와 이를 통한 긴밀한 의사소통과 협의는 LHC 실험 계획을 현실적으로 다듬고 성공 가능성을 높이는 데 크게 기여하고 있다. 이렇게 과학기술자들과 자원을 조달하고 관리하는 기관 간의 긴밀한 협조를 유도하게끔 한 조직 설계는 LHC 실험의 성공을 크게 뒷받침하고 있다.

질량의 근본을 이루는 물리학적 법칙과 근거가 무엇인지, 우주의 근원 입자를 다스리는 물리학적 원리와 지식이 우리에게 주는 의미가 무엇인지 탐구하는 과학기술자들이 LHC 실험의 명분과 뼈대를 만들고 지구에서 가장 큰 빅데이터 시스템인 LHC 컴퓨팅 그리드 시스템을 구현했다면, 수많은 과학 행정가들과 정책 입안자들, 스태프들의 노력으로 살이 붙여지고 비로소 현실이 되었다. 이들이 특히 누군가가 더 중요하고 덜 중요한 것이 아니다. 이들 모두가 없었다면 LHC 실험은 결코 현실이 되지 않았을 것이고, 힉스 입자는 발견되지 못했을 것이다. 이렇게 다양한 사람들이 모여 힉스 입자 발견 및 표준 모델의 검증이라는 공동의 목표를 위해 서로 긴밀하게 협력할 수 있도록 LHC 실험 조직이 설계되고 운영되지 않았다면 LHC 가속기, LHC 컴퓨팅 그리드 시스템의 건설과 힉스 입자 발견은 불가능했을 것이다.

빅데이터 비즈니스를 위한 조직의 조건 (1) – 자원과 기술을 동등하게 지원하는 조직
필자가 컨설팅을 하거나 실제 조직에서 일해보면서 빅데이터 프로젝트를 수행해보거나 수행되는 타 빅데이터 프로젝트를 가만히 관찰해보면 일반 기업에서의 빅데이터 프로젝트는 다양한 스펙트럼으로 나타나고, 이에 따라 실패의 양상이 다양하게 나타난다. 그런데, 한가지 공통으로 비슷하게 발견되는 부분이 있는데 실패의 원인은 대부분의 경우 기술의 문제라기보다는 조직과 시스템의 문제인 경우가 많다. 이번 기고문부터는 빅데이터 비즈니스를 가능하게 하는 조직과 시스템을 어떻게 갖추어야 할 것인가, 그리고 일반 기업의 시스템에서 빅데이터 비즈니스를 하려고 할 때 겪을 수 있는 문제가 어떤 것이 있는지 같이 살펴보면서 그 해결책을 생각해보고자 한다.

IT나 첨단 기술 기반의 새싹기업(스타트업)이나 회사가 아닌 일반 기업이 빅데이터 비즈니스나 프로젝트를 수행하는 경우, 필자의 경험과 지식에 비추어 보면 아래의 경우가 참 많은 것을 알게 된다.

첫번째로, 빅데이터가 왜 필요한지, 왜 빅데이터 기술이 필요한지 목적이 분명하지 않은 상태에서 신사업 기획을 위해 빅데이터라는 말을 쓰고 하둡과 같은 빅데이터 기술을 미디어나 일부 기업의 성공 사례에 비추어 일단 도입하고 갖추어보자는 식으로 진행하는 프로젝트가 상당히 많았다.

구글과 같이 인터넷 검색 및 인터넷 기술과 함께 새롭게 발전한 기술 기반 신사업을 하지 않는 일반 기업에서 실제 빅데이터가 절실하게 필요한 경우가 대부분의 경우 많지 않고, 빅데이터 기술과 인프라를 반드시 활용해야만 유지되는 비즈니스 모델을 설계하는 것 자체가 또한 쉽지 않은 일이다. 많은 기업의 경우 사업이나 전략 기획, 또는 연구개발 기획을 하시는 분들이 빅데이터 비즈니스에 대한 구체적인 감각을 얻기가 쉽지 않아 실제 기업의 비즈니스에 도움이 될 만큼 구체적인 프로젝트로 기획되기가 쉽지 않은 문제가 많았다.

두번째로, 위와 같이 사업, 전략, 연구개발 기획을 하는 분들이 노력해서 어느 정도 실현 가능한 구체적인 빅데이터 비즈니스 아이템을 발견했다고 하더라도, 일반 미디어에서 최근 많이 언급된 것 같이, 자동화가 아닌 분석에 초점을 맞춰 빅데이터를 활용하다 보니 그 효과가 경영진의 기대만큼 빠른 시간에 크게 나타나지 않아 일찌감치 사업을 접는 경우도 보았다. 필자는 빅데이터 활용을 분석보다는 자동화에 초점을 맞추어서 시작하는 것이 좋다고 이전 여덟 번째 기고를 비롯해 여러 번 강조한 바 있다.

세번째로, 빅데이터 비즈니스를 위해 외부에서 전문가들과 새로운 구성원들을 다수 영입하고 새롭게 조직을 만들어 야심 차게 프로젝트를 시작하지만, 외부에서 영입된 리더와 전문가들이 기술 전문가들로만 구성된 경우가 많아 기술적인 면이 지나치게 강조되어서 빅데이터 비즈니스나 프로젝트가 기획되고 추진되면서 좌초되는 경우이다.

세번째 경우는 생각보다 자주 나타나는데, 빅데이터 비즈니스를 지나치게 기술적인 측면에서 접근해서 생기는 문제이기도 하고, 빅데이터 비즈니스가 유지, 성장하는데 필요한 시스템에 대해서 사전에 깊게 고민하지 않아 생기는 문제이기도 하다.

세번째 경우에 기업들은 우선 빅데이터 기술 전문가들을 많이 영입하게 된다. 이때 빅데이터 프로젝트가 구체적으로 디자인이 되지 않은 상태에서 프로젝트 기획을 위해서 외부 기술 전문가들을 많이 영입하기도 하고, 이미 어느 정도 내부 승인이 난 프로젝트에서 실제로 일할 인력을 뽑기 위해서 외부 기술 전문가들을 영입하기도 한다.

이들 외부 기술 전문가들은 조직의 주목과 많은 기대를 받으면서 빅데이터 프로젝트를 시작하게 된다. 이들의 자부심은 한껏 고취되고, 자신들의 전문성을 맘껏 발휘해 멋지게 성과를 내겠다는 생각으로 자신들에게 가장 전문성이 있는 기술에 대한 요구 사항을 중심으로 빅데이터 비즈니스 및 프로젝트 기획과 실행을 진행하기 시작한다.

전사에서 기대를 받는 이들 빅데이터 전문가 조직에게 기대와 호감을 가지고 협업을 하는 부서도 있지만, 이미 조직에서 어느 정도 자리를 잡고 인정을 받는 부서에서는 왠지 달갑지만은 않다. 협업이 특정 부분에서는 원활하게 이루어지기도 하지만, 경쟁과 알력도 나타나기 시작한다.

기업의 업의 본질에 맞는 구체적인 빅데이터 활용 방안을 만들어 내기 위해서는 기업의 현재 업에서 빅데이터 기반 비즈니스의 효용을 구체적으로 분석, 도출할 수 있는 도메인 전문가, 비즈니스 실행 부서와의 협업이 필요할 수밖에 없는데, 빅데이터를 기반으로 한 신사업 때문에 자신의 업무나 일이 영향을 받으리라 생각하여 협업이 원활하게 진행되지 않는다. 이렇게 되면서 빅데이터 프로젝트를 진행하는 부서는 빅데이터 프로젝트를 조직의 비즈니스와의 연계성을 갖춘 프로젝트로 발전시키지 못하고 점점 기술적인 차별화를 중심으로 프로젝트를 진행하게 된다.

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.