김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

비즈니스 조직과의 협업과 연계성이 긴밀하게 유지되지 않으면서 비즈니스 실행 부서로부터의 지원과 지지가 약해지면, 빅데이터 프로젝트 조직이 기술 개발과 프로젝트 진행에 필요한 예산과 장비, 인력에 대한 지원이 얻기가 점차 힘들어진다. 이렇게 되면서 특히나 속도와 단기 성과를 중요하게 생각하는 우리나라 많은 기업에서 빅데이터 프로젝트가 기업의 비즈니스에 큰 기여를 만들지 못하고 프로젝트 구성원들이 자신의 커리어를 위해 새로운 자리로 떠나면서 좌초하게 된다.

필자가 정말 자주 본 빅데이터 프로젝트 진행 과정이다. 빅데이터 기반의 신사업을 하고 싶어 하는 기업과 조직이 매번 필자에게 자문을 구하는 내용을 보면 위와 같은 과정을 피할 수 없겠다는 생각이 많이 들게 된다. 이런 현상은 빅데이터라는 트렌드 키워드에 초점을 맞추고, 빅데이터 비즈니스의 본질에 대해서 깊게 생각하지 않고 일부 기술 전문가나 벤더의 솔루션 판매에 초점을 맞춰 빅데이터 전략과 사례에 의사 결정이 편중되면서 일어난다.

빅데이터라는 트렌드가 사회 전반에서 중요하게 부각되어 서로 경쟁적으로 이 트렌드 용어를 앞세워서 활용하려고는 하나, 이 빅데이터 트렌드가 무얼 의미하는 것인지, 비즈니스로 이어지는 수익 모델이 무엇인지, 그리고 빅데이터 트렌드가 기업의 업과 관련해 주는 의미와 시사점이 무엇인지 분명하지 않은 상태에서 사업 부서가 성과를 내려고 하다 보니 생기는 문제이기도 하다. 이에 더해, 빅데이터 비즈니스도 비즈니스이기 때문에, 비즈니스 조직으로서의 체계를 잘 갖추지 않으면 성장하기 어렵다는 사실을 많이들 잊고 지나치게 빅데이터 기술에 초점을 맞춘 프로젝트로 흘러가 버리기 때문에 생기는 일이다.

필자가 이전 글들에서 여러 번 강조한 것처럼 빅데이터 인프라와 시스템을 구축하는 데에는 일반 기업들의 기준으로 보았을 때는 적지 않은 투자가 들어간다. 그렇다 보니, 빅데이터가 기업의 비즈니스에 실질적인 기여와 성과를 낸다는 것이 가시적으로 보이기까지 빅데이터 시스템과 비즈니스가 지속 가능하게 유지되려면 이 빅데이터 시스템과 프로젝트를 안정적으로 운영할 수 있게 하는 예산, 인력, 장비 등의 자원 투입이 원활하게 이루어져야 한다. 대부분의 많은 기업들이 빅데이터 비즈니스를 신사업 프로젝트로서 많이 시작하게 되는데, 이렇게 되었을 때 경영 자원의 투입에 대한 의사 결정을 하는 전략 기획 부서, 재무 부서, 인사 부서와의 협업이 프로젝트에 중요하게 영향력을 미치게 된다.

이 글을 읽으시는 독자분들께서는 신사업 프로젝트, 기업 내에서의 프로젝트는 당연히 자원 투입과 관리가 중요한 거 아니냐고 생각하실지 모르겠다. 맞다. 어느 프로젝트에서건 프로젝트 수행을 위한 자원 관리는 프로젝트 관리의 기본이다. 그런데, 필자가 하고 싶은 얘기의 핵심은 이렇게 어느 신사업 프로젝트이건 간에 자원 관리가 프로젝트 관리의 기본임에도 빅데이터 기반 신사업 비즈니스에 대해서는 기본적인 자원 관리에 대한 상식이 잘 지켜지지 않는다는 것이다.

앞서 LHC의 프로젝트 관리 조직에 대한 사례를 소개하면서도 언급하였지만, 프로젝트 자원 산정과 일정을 추정하고 계획하기 위해 입자물리학 전문가들, 가속기 및 검출기, IT 및 정보 시스템, 컴퓨팅 기술 전문가들이 기술적으로 엄밀한 연구와 검토 과정을 거쳐 실현 가능한 목표 설정을 하였고, 이를 기반으로 프로젝트 자원 투입에 대한 의사 결정과 관리가 이들 기술 전문가들과의 긴밀한 협업에 의해서 진행되었던 것을 다시 떠올려보자.

이렇게 프로젝트 자원 투입에 대한 의사 결정은 기술과 비즈니스에 대한 엄밀한 분석과 구체적인 목표 설정으로 현실적으로 이루어져야 하고, 다시 기술 전문가들의 빅데이터 비즈니스 시스템 구축과 빅데이터 기술 적용은 이런 자원 투입과 지원, 전략 기획 부서와의 원활한 협업을 통해 비즈니스와의 연계성이 긴밀하게 유지되어야 빅데이터 신사업 프로젝트가 성공할 수 있다.

그럼 이제 일반 기업이 빅데이터 신사업 프로젝트를 성공시키기 위해 어떻게 조직을 구성하고 운영하는 것이 좋을지, 필자의 경험을 바탕으로 외람되지만 몇 가지 조언을 독자 여러분께 드리고자 한다.

첫번째로, 빅데이터 비즈니스와 시스템의 효용을 기업의 구성원들이 빠르게 체감하여 공감대가 확산될 수 있도록 비즈니스 모델은 구체적이고 작게 시작하여 빠르게 비즈니스 모델을 검증한다는 마음가짐으로 스타트업과 같은 작은 조직으로 빅데이터 프로젝트를 시작하는 것이 좋다.

빅데이터 사업이 신사업으로서 독립적인 조직을 갖추어 시작한다고 하더라도, 기업의 성과에 도움이 되기 위해서는 전사적인 도움과 협업이 필요하다. 지나치게 빅데이터 시스템의 업무 범위나 신사업의 비즈니스 모델을 크게 잡고 시작하면 들어가는 자원이 많아지게 되어 전사적인 공감대나 협조를 쉽게 이끌어내기가 쉽지 않다.

특히, 대기업의 경우 빅데이터 비즈니스의 비교 대상이나 경쟁 상대를 구글, 넷플릭스, 아마존, 페이스북과 같은 플랫폼 기업들을 잡는 경우가 많은데, 이들 기업이 자신들의 플랫폼 비즈니스 모델을 정착시키기 위해 10년 이상의 긴 시간이 필요했다는 것은 잘 생각하지 않는다. 우리나라 대기업의 특성상 신사업의 규모도 신사업이라고 하기에는 투입 자원이나 사업 규모가 큰 사업을 시작하려는 경우가 많은데, 일의 규모가 크고 거창하다고 해서 기업에 많은 매출을 가져다주는 빅 비즈니스가 된다는 법은 없다. 기업에 자원 투입대비 수익을 많이 가져다주는 신사업이 좋은 사업이지, 대기업이라고 해서 꼭 비즈니스를 크게 시작해야 하는 것은 아니다.

사회 정서 및 법규상 대기업 참여가 제한된 업종이 있지만, 그렇다고 해서 비즈니스를 작게 시작해서 비즈니스 모델을 검증하면서 점차 성장시키는 비즈니스 개발의 원칙이 대기업이라고 해서 유별나게 다른 것이 아니다. 기업의 업에 맞는 비즈니스 모델을 잘 고민하고, 작게 시작하고, 빠르게 검증하자.

두번째로, 빅데이터 비즈니스와 시스템의 구축과 운영에 필요한 자원(예산, 인력, 장비 등)이 조직 간의 알력이나 주도권 다툼으로 적절하게 공급되지 못 하는 일이 없도록 전사적인 협력 체제와 협의체를 구성하자. 그리고, 이런 전사 협의체에서 반드시 빅데이터 비즈니스와 시스템에 필요한 자원에 대한 경영진의 책임감 있는 의사 결정과 지원이 보장되도록 시스템을 구성하자.

필자가 빅데이터 신사업 추진을 위해 전사적인 협력 체제와 경영진 수준에서의 의사 결정과 지원을 강조하는 것은 LHC 및 LCG실험을 참여하면서 얻었던 통찰 때문이기도 하지만, 이후 근무했던 기업과 조직, 그리고 다양한 고객의 상황을 지켜본 필자의 경험에 따른 것이기도 하다.

대부분 기업의 경우, 아무래도 기술 조직보다는 재무 조직이 정치적으로 우위에 있거나 힘이 있는 경우가 많아서, 신사업 추진에서의 기술적인 요구 사항과 필요성에 대한 고려보다는 회사 경영상 당장의 필요에 의해 재무 부서의 의견에 더 힘이 실리는 경우가 많다. 이는 회사라는 조직의 속성상 어쩔 수 없기는 하나, 빅데이터 비즈니스와 같이 신사업을 추진할 때에는 신사업 조직의 발목을 잡게 되는 일이기도 하다.

빅데이터 비즈니스가 실제 수익을 내는 비즈니스로 운영되기 위해 가장 중요한 것 중의 하나가 비즈니스 모델을 떠받치는 중요한 한 축인 빅데이터 비즈니스 정보 시스템과 인프라인데, 이들 빅데이터 비즈니스 정보 시스템과 인프라를 설계, 구축하고 운영하는 일에서는 기술적인 요구 사항과 전문성이 많이 필요하다. 기술적인 전문성을 가지고 검토해야 할 일이 일방적으로 재무적인 관점에서만 검토되어 기술적으로 꼭 해야 할 일을 하지 못해 빅데이터 비즈니스가 제대로 지원되지 못하면 결국은 투자한 자원을 제대로 회수하지 못하고 빅데이터 비즈니스가 실패하게 될 것이다.

빅데이터 비즈니스도 결국 비즈니스이기 때문에 통상적인 기업의 핵심 경영 부서인 경영 전략 기획, 재무 부서와 같이 회사 자원을 관리, 운영하는 조직의 의견이 경영진에게 중요하게 받아들여질 수밖에 없다. 그러나, 이들 기업 경영에 영향력이 큰 조직이 기술적인 요구 사항과 기술적인 전문성을 가지고 검토, 추진되어야 할 일에 대해 지나친 영향력을 행사해서 빅데이터 비즈니스의 기민성과 확장성을 떨어뜨리는 의사 결정을 경영진이 하게 된다면 빅데이터 신사업의 성공률을 낮아질 수밖에 없다.

전통적인 기업의 핵심 부서인 경영 전략 기획, 재무 부서에서 제공하는 거시적인 전략 및 재무 자원에 대한 의견과 함께 빅데이터 비즈니스의 핵심 인프라인 빅데이터 정보 시스템과 인프라에 대한 기술적인 의견도 기업의 경영진이 균형 있게 듣고 의사결정하여 빅데이터 비즈니스를 가능하게 하는 정보 시스템과 인프라에 대한 기술 조직의 의견이 폄하되거나 무시되지 않도록 조심할 것을 필자는 권고한다.

현재 빅데이터 비즈니스로 유명세를 떨치고 있는 소위 GAFA, 즉 구글, 애플, 페이스북, 아마존과 함께, 넷플릭스와 같은 플랫폼 기업들의 창업자와 CEO들이 수학 또는 컴퓨터 과학, 엔지니어링에 정통한 사람들이라는 것은 중요한 시사점을 준다. 그만큼 이 CEO들은 기술적인 의견을 깊이 있게 이해하고 의사 결정에 활용할 수 있는 사람들이며, 그만큼의 관심과 의지를 가진 사람들이라는 것이다. 또한, 구글과 페이스북 같은 회사들은 엔지니어들의 의견을 중요하게 생각하고 존중하는 회사들이다.

이런 사례를 같이 생각해보면, 빅데이터 신사업을 추진하려는 기업의 경영진들은 주요 경영 핵심 부서의 의견과 함께 기술 및 IT 부서의 의견도 귀담아듣고, 빅데이터 신사업에 필요한 자원과 지원을 위해 전사적으로 이해관계를 원만하게 조율하고 실행할 수 있는 의지와 의사 결정 체계를 갖추는 것이 중요하다.

세번째로, 빅데이터 비즈니스의 성장과 수명 주기에 따른 확장성을 고려하여 기술 전담 조직과 재무 및 전사 자원 전담 조직 간의 정기적인 회의와 업무 조율, 그리고 밀접한 협업이 체계적으로 지원될 수 있도록 하자.

CERN과 LHC 실험 조직의 존재 이유는 핵입자물리학의 지식과 통찰을 추구하고 이를 통해 유럽 국가 간 평화로운 협력 관계와 통합을 이루는 것이다. 이러한 조직의 근본적인 존재 이유에 충실하게 핵입자물리학의 최신 지식을 밝혀내고 검증하기 위해 필요한 실험 장치의 건설과 운영, 데이터 분석과 연구 인프라의 요구 사항과 필요성을 우선적으로 고려하여 이를 위한 예산과 자원 확보를 항상 고려하게 된다. CERN이라는 조직의 임무에 맞게 예산을 확보하고 적절하게 집행하는 것이 우선이지, 예산에 맞추어 일을 재단하지는 않는 것이다.

물론, CERN도 국제기구라는 조직이고 현실적인 제약과 한계가 있어 조직 운영에 대한 의사 결정을 할 때 예산의 제약에 따른 의사 결정이 없다고는 말할 수 없다. 그러나, CERN을 이끄는 사무총장도 물리학자들이며, CERN 운영에 중요한 의사 결정을 하는 대부분의 의사 결정자들이 영향력 있는 과학자들이거나 과학 행정가들이기 때문에 CERN의 미션에 대한 깊은 이해와 공감을 가지고 있다. 이렇기 때문에 적어도 원칙적인 큰 틀에서는 CERN의 미션에 맞는 자원 확보와 투입에 대한 의사 결정이 이루어진다는 말이다. 즉, 예산에 맞추어 실험 계획 자체가 휘둘리지는 않는다.

대개의 기업의 경우 비즈니스 환경과 상황에 따라 조직의 자금 조달과 자원 활용성의 변화가 심하기 때문에, 아무리 기술적인 요구 사항과 의견이 중요하다고 하더라도 이를 실현, 구현하기 위해 필요한 자금 및 자원 조달 상황을 정기적으로 점검, 고려해서 실현해 나갈 수 있는 주도면밀함과 전사적인 협의 과정이 필요하다. 정기적으로 검토된 자원 확보 상황과 전망에 맞추어 달성가능한 기술적인 요구 사항과 마일스톤에 맞게 빅데이터 비즈니스 계획이 수립되게끔 전사적인 협의가 체계적으로 이루어지는 것이 좋다.

우리나라의 많은 SI 및 IT 기업의 경우 이런 체계적인 의사 결정 과정보다는 엔지니어들의 과다한 업무량과 희생으로 기술적인 문제를 해결하려는 경향이 많다. 빅데이터를 이용해 비즈니스를 개척하려는 기업들은 이런 관행은 개선하기 위해 노력할 것을 권고한다. 이렇게 주먹구구식으로 엔지니어들에게 어떻게든 해결해내라는 식으로 막무가내로 밀어붙이는 것은 빅데이터 비즈니스를 위해 필요한 기민성과 확장성을 체계적으로 확보하는데 결코 도움이 되지 않는다.

앞에서 언급했던 구글, 페이스북과 같은 빅데이터를 활용하는 플랫폼 서비스 기업들이 회사 구성원들의 일과 삶의 균형에 신경을 쓰고, 다양한 복지 혜택을 통해 일에 집중할 수 있는 환경을 제공하려 하며, 조직에서 일어나는 중간 관리자의 리더십 문제와 같은 많은 문제를 체계적인 데이터 수집과 분석, 연구를 통해 해결책을 찾으려고 하는 것은 빅데이터 비즈니스가 엔지니어들의 일방적인 희생으로 유지될 수 없음을 알기 때문이다.

빅데이터를 활용한 플랫폼 비즈니스와 같이 기술에 대한 전문적인 지식이 필요한 분야는 단순 반복적인 노동이 아닌 고도의 지적 노동이기 때문에 단순히 직원들이 일하는 시간만 늘리고 한 사람당 업무량만 늘린다고 해서 비즈니스 문제가 해결되지 않는다. 체계적인 시스템과 데이터에 근거한 합리적이고 객관적인 의사결정이 하나하나 쌓여 이루어지는 비즈니스 체계가 빅데이터 비즈니스의 기민성과 확장성을 높여주는 근간이 되는 것이다.

위 CERN의 LHC와 LCG 실험에서도 자원에 대한 의사 결정과 조율을 체계적으로 수행하기 위해 실험을 계획하고 준비하기 시작한 1990년대 중반부터 자원과 실험을 위한 기술적인 의견을 모두 듣고 의사결정할 수 있도록 기술 협력 위원회(Collaboration Board)와 자원 검토 위원회(Resource Review Board, LCG의 경우 Computing Resource Review Board, C-RRB)를 명시하였고, 이들 기술적인 의견 조율과 자원 의견 조율을 책임감 있게 수행할 기술 위원(Technical Coordinator, Physics Coordination, Technical Coordination, LCG의 경우 Architect Forum, Grid Deployment Board)과 자원 위원(Resource Coordinator, Resource Manager)를 조직도상에 명시하고 역할과 책임을 분명하게 하였다.

그리고 CERN에서는 보통 회계 분기에 맞추어 정기적으로 자원 검토 위원회(Resource Review Board)가 열린다. 이 자원 검토 위원회에서는 현재 확보되고 운영되고 있는 예산과 인력을 포함한 자원의 상황을 점검하고, LHC 및 LCG 프로젝트의 목표를 달성하는데 자원의 부족이 이슈가 되지 않는지 자원 조달에 책임이 있는 각 회원국의 예산 조달 기관(funding agency)의 행정관들과 실험의 주요 리더들이 모여 같이 이슈 해결 방안 및 앞으로의 계획을 논의한다. 이렇게 정기적으로 자원 운영과 활용에 대한 체계적인 의사 결정을 통해서 자원 부족으로 인한 LHC 및 LCG 프로젝트의 실패 위험 요인을 사전에 체계적으로 점검하고 대응했기 때문에 20여 년에 걸친 긴 기간에 이루어진 인류 최대의 기술적인 도전이었던 LHC 가속기와 LCG 컴퓨팅 인프라의 건설과 구축이 성공적으로 마무리될 수 있었다.

빅데이터 비즈니스가 일반 기업에서 성공하기 위해서는 단순히 기술과 인프라만 도입해서 되는 것이 아니라, 조직 차원에서의 체계적인 시스템과 지원이 중요하다는 점을 필자는 다시 한번 강조하고 싶다. 빅데이터 신사업을 기획하고 실행하려는 기업들은 위에서 필자가 권고한 내용을 빅데이터 신사업을 구체적으로 시작하기 전에 꼭 마음에 두고 기획과 계획을 하길 바란다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료
[2] The ATLAS Collaboration, “ATLAS Fact Sheet,” 2011. (https://cds.cern.ch/record/1457044/files/ATLAS%20fact%20sheet.pdf)