Offcanvas

BI / CIO / How To / 로봇|자동화 / 리더십|조직관리 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 오픈소스 / 통신|네트워크

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (3)

2018.12.28 김진철  |  CIO KR


데이터과학자들을 어떻게 조직에 기여하게 할 것인가? – 데이터과학팀의 운영 원리
빅데이터 비즈니스 조직에서 가장 중요한 요소는 아마도 사람일 것이다. 빅데이터를 잘 이해하고 조직의 비즈니스 목적에 맞게 잘 활용하여 그 가치를 이끌어낼 수 있는 데이터과학자, 데이터 엔지니어, 빅데이터 비즈니스 설계자, 빅데이터를 이용해 데이터 기반 플랫폼 비즈니스 시스템을 자동화하고 개발하는 소프트웨어 엔지니어들이 제 역할을 하지 못한다면 빅데이터 비즈니스가 제대로 굴러가지 못할 것이다.

사실은 필자는 이번 데이터과학자에 대한 글을 준비하면서 데이터과학자의 특성에 대해 간단하고 짧은 글로 정리하려고 하였다. 그렇지만 필자가 지금까지 겪었던 데이터과학 조직에 관한 경험과 문제점들을 글을 쓰면서 다시 생각하고 정리하다 보니, 이번 한번으로는 글이 마무리되지 않을 것 같아 몇 번의 글로 나누어서 좀더 깊이 있게 다루기로 하였다. 

위와 같은 이유와 함께, 최근 필자에게 빅데이터 비즈니스 및 조직에 대해 직, 간접적으로 조언을 요청하셨던 많은 분들께서 빅데이터 조직 운영과 인력 관리에 대해 많은 고충 사항을 토로해 오셔서, 이분들의 고충사항에 대한 해결책도 같이 간단하게 담아 정리하면 독자분들께도 더 도움이 되리라 생각했다. 그래서, 계획에 없었지만 빅데이터 조직 및 인력의 운영에 관한 글을 몇 편 더 연재하려고 한다. 부디 빅데이터 비즈니스를 준비하고 고민하시는 많은 비즈니스 리더분들께 도움이 되기를 바란다.

먼저 빅데이터 비즈니스 조직의 운영 원리의 핵심을 얘기하지 않을 수 없다. 빅데이터 비즈니스 조직 운영 원리의 핵심은

1.    경영진의 직관보다 데이터를 기반으로 한 과학적(귀납적, 연역적), 합리적 의사결정으로의 전환
2.    명령과 체계에 따른 탑다운식 조직 운영보다 정보의 흐름에 따른 수평적이고 역동적인 조직 운영
3.    과학적 비즈니스 의사결정과 실행 과정의 자동화, 효율화를 위한 IT 기술의 적극적 활용

이라고 할 수 있다. 이런 빅데이터 비즈니스 조직 운영 원리를 실제 조직 운영으로 구현하기 위해 필요한 것이 바로 과학적 문제 해결 능력과 IT 기술 역량을 같이 갖춘 데이터과학자와 빅데이터 소프트웨어 엔지니어들인 것이다.

위와 같은 빅데이터 비즈니스 조직 운영 원리를 조직에 체화하기 위해 필요한 데이터과학자가 갖추어야 할 역량과 성품은 앞서 살펴본 LHC 물리학자들의 역량, 특성과 크게 다르지 않다. 우선 앞에서 살펴본 호기심과 탐구심, 새로운 지식에 대한 열정, 문제 해결을 위해 갖춘 전문 공학 지식과 기술, 과학적, 합리적 문제 해결 역량을 어느 정도 수준 이상으로 갖춘 데이터 과학자들이 조직에 새로이 영입되었을 때 어떻게 역량을 발휘하도록 하는 것이 바람직한지 같이 생각해보자.

첫번째로, 문제 지향적, 목적 지향적으로 일하는 데이터과학자의 특성을 지원할 수 있도록 조직 설계, 운영을 해야 한다는 것이다.

데이터과학자는 데이터 기반의 과학적 문제 해결 능력을 기업의 비즈니스 문제에 적용하는 전문가이다. 데이터과학자들은 결국 과학자들이 문제 해결을 하는 방식으로 비즈니스 문제에 접근하고 해결해 나가야 한다. 비즈니스 문제 해결에 이들 데이터과학자들의 창의성과 문제 해결 역량을 최대한으로 끌어낼 수 있도록 조직이 설계되고 운영되어야 하는데, 이를 위해 앞에서 살펴본 데이터과학자들의 특성을 고려하여 조직이 설계되고 운영되어야 한다.

먼저 앞서 살펴보았듯이 데이터과학자로 일할 수 있는 인재들은 기본적으로 호기심과 탐구에 대한 열정이 강한 편이다. 그리고, 문제 해결에 대한 강한 욕구가 있고, 자신의 과학적 문제 해결 역량과 IT 기술의 전문성을 활용해 기업과 조직의 문제 해결을 해냈을 때 자신이 조직에 기여했다고 느끼고 자부심을 갖는 사람들이다. 

문제 해결 지향적이고 목적 지향적으로 움직이는 데이터과학자들은 자신이 이미 익숙하고 전문적으로 잘 사용하는 기술만으로 문제가 해결되지 않을 경우, 자신이 맞닥뜨린 문제 해결을 위해 새로운 기술이 필요한 경우, 기존의 기술에 안주하지 않고 새로운 기술을 배워 활용하는 데에 주저함이 없다. 앞에서 살펴본 LHC 물리학자들이 자신이 대학원에서 전공할 때 배웠던 도구만 사용해서 문제를 해결하길 고집했더라면 LHC 가속기 건설 20년 동안에 엄청나게 빠르게 발전했던 다양한 IT 및 첨단 기술을 활용해서 LHC 실험의 요구 사항에 맞는 가속기와 검출기를 건설하고 만들어내지 못했을 것이다. 

이들 데이터과학자들이 최근 데이터과학을 위해 많이 언급되는 Python, R, Hadoop, Spark, TensorFlow 등의 도구를 배운다면 많은 사람이 쓰고 언론에서 언급하니까 배운다기보다는 자신의 문제 해결에 적합하고 도움이 되며, 많은 사람이 쓴다면 그만큼 배울 때 도움을 줄 사람이 많고, 좋은 도구이기 때문에 많은 사람이 쓸 것이라는 생각으로 배우길 시도하는 것이지, 유망한 기술이라고 해서 무작정 배우지는 않는 것이다. 다시 얘기하면 데이터과학자들이 데이터과학을 위한 새로운 기술을 활용하는 것은 자신의 문제 해결을 위해 도움이 되기 때문이지, 특정한 기술이 모든 문제를 해결해줄 것이라는 생각으로 트렌드에서 뜨는 기술이기 때문에 맹목적으로 기술을 활용하지는 않는다는 얘기다.

기업이 데이터과학을 위한 빅데이터 기술을 도입할 때에도, 데이터과학팀의 필요와 요구사항에 맞추어 도입하는 것이 좋다. 이따금 벤더와 IT컨설팅 회사의 권고에 따라 컨설팅을 받은 대로 빅데이터 시스템을 구축하고 데이터과학자가 이후에 영입되어서 이미 구축된 시스템으로 데이터 분석을 하라는 식으로 진행되는 경우를 가끔 보았는데, 이런 경우는 데이터과학자의 역량이 제대로 발휘되기 어려울 수 있다. 기업이 당면한 문제를 제대로 분석해서 데이터과학의 필요성과 데이터과학으로 어떻게 비즈니스 설계와 문제를 해결할지 데이터과학자들의 분석이 끝난 후에, 데이터과학자들의 자체적인 판단과 필요에 의해 데이터과학을 위한 빅데이터 시스템과 기술을 도입할 수 있도록 기업과 조직이 배려할 필요가 있다. 

이들 데이터과학자들이 팀을 이루어 일하는 경우도 철저하게 문제 지향적, 목적 지향적인 경우가 많다. 적절하게 훈련을 받은 데이터과학자들은 혼자만의 힘으로 당면한 문제를 풀 수 없는 경우, 여러 동료 데이터과학자들과 힘을 합쳐 같이 문제에 대해서 의논하고 협력해서 문제를 풀어내려고 할 것이다. 이렇게 문제 지향적, 목적 지향적으로 자발적으로 동기부여되어 일하는 데이터과학자들이 모이게 되면 자신들이 해결하고자 하는 문제를 해결하기 위해 자기조직적으로 팀이 구성되거나 협력이 일어나게 마련인데, 빅데이터를 활용하는 기업은 데이터과학자들의 이런 특성을 이해하고 뒷받침해줄 수 있도록 조직을 설계하고 운영해야 한다.

데이터과학자를 위한 전문적인 팀이나 조직이 없는 기업이 빅데이터 비즈니스를 시작하기 위해 데이터과학자나 데이터과학자로서 활용하기 위해 전문가를 영입했을 때 의사결정 과정에 데이터와 수집된 정보를 근거로 해서 점검하고 분석하는 과정에서 아마도 부서의 리더들이나 의사결정자들이 당혹스럽게 느끼는 경우가 많을 것이다. 이런 경우는 필자도 많이 경험했고, 많이 봐오기도 했다. 이런 일이 일어나는 이유는, 데이터과학자가 자신의 역할을 다하기 위해 수집된 데이터를 기반으로 의사 결정 과정을 점검, 분석하고 새로운 대안을 제시하는 과정이 기존 기업 문화에 익숙하고 그런 기업 문화 안에서 성장, 승진해서 올라온 기업의 리더나 의사결정자들이 보기에 자신의 권위에 도전하거나 꼬치꼬치 따지는 것으로 비칠 수 있기 때문이다.

아무래도 데이터과학자들은 기본적인 배경이 과학, 공학이다 보니 대인 관계를 다루는 기술 측면에서 보통 사람들과는 다소 다를 수 있다. 그렇지만, 필자와 같이 거대 과학, 엔지니어링 프로젝트를 통해 역량이 길러진 데이터과학자들은 기본적인 성품과 대인 관계, 커뮤니케이션 기술을 갖추고 있는 경우가 많다. 거대 과학 프로젝트나 엔지니어링 프로젝트도 일반 기업 못지않게 동료와의 원만한 관계와 커뮤니케이션 기술을 중요하게 생각하고 실제로도 이런 대인 관계 역량과 커뮤니케이션 역량이 프로젝트 성공에 많은 영향을 미치기 때문에, 이런 환경에서 훈련을 받은 데이터과학자들은 당연히 자연스럽게 대인관계 기술과 커뮤니케이션 기술을 갖출 수밖에 없다.

우리나라 주요 기업들이 빅데이터 기반 의사 결정 프로세스를 도입하거나, 빅데이터 기반의 신사업을 추진하기 위해 데이터과학자들을 영입하는 경우 생기는 많은 문제는 일단 기존의 조직 문화가 데이터 기반 문제 해결을 지원하기에 맞지 않는 부분이 많기 때문이다. 기존 조직 문화가 잘못되었다는 것이 아니다. 현재 각 기업이 가진 조직 문화는 현재의 성공적인 비즈니스를 일구어내는데 효과적으로 동작했기 때문에 형성이 된 것일 것이다. 다만, 빅데이터 기반 의사결정과 신사업을 추진하기 위해 맞지 않는 부분이 있다는 것이고, 빅데이터 기반 의사결정과 신사업을 정말로 심각하게 여기고 추진할 생각이라면 조직 문화를 빅데이터 비즈니스에 맞게 개선하는 과정이 필요하다는 것이다.

두번째로, 데이터과학자들의 자기조직적인 팀구성과 문제해결 노력이 기존 구성원들과의 마찰이나 충돌로 이어지지 않도록 경영진과 조직 차원에서의 중재와 지원이 필요하다.

필자가 직접 경험한 것이나, 주변의 조직에서 일어나는 일을 가만히 관찰하고 간접적으로 경험한 바로는 빅데이터가 주목을 받으면서 많은 기업과 조직에서 데이터과학자들을 채용하고 빅데이터 기반 의사 결정을 도입하려고 시도하는 과정에서 일어나는 문제들중 상당수가 불필요한 오해와 알력으로부터 생기는 것을 알 수 있었다.

우선 경영진의 주도로 데이터과학자들이 영입되고 데이터과학팀이 결성되기 시작하게 되면 임원의 관심으로 생겨난 조직과 그의 지원을 받는 조직에 대해 전사의 관심이 집중되게 된다. 이런 조직에 영입된 구성원들에 대해 또한 전사의 관심이 집중된다. 이런 전사의 집중된 관심은 긍정적인 것도 있지만 부정적인 것도 있다. 

이렇게 데이터과학자들과 데이터과학팀이 결성되고, 이들은 데이터과학의 목적에 충실하게 자기조직적으로, 문제 지향적으로 업무를 수행하게 되는데, 이런 이들의 업무 태도가 기존의 조직 구성원들에게는 상당히 공격적으로 비칠 수 있는 것 같다. 특히, 데이터과학팀 결성 초반에는 전사의 비즈니스에 도움이 되는 통찰과 지식을 생산해내기 위해 필요한 데이터와 정보를 되도록 많이 수집할 수 있도록 체계를 정비하고 만들기 마련인데, 이 과정에서 기존 조직 구성원들의 많은 저항을 받을 수 있다. 이런 저항이 데이터과학팀의 단기적인 성과와 효용을 떨어뜨릴 수 있고, 업무에 많은 방해가 될 수 있다.

이런 저항은 데이터과학자들의 자기조직적인 업무 수행을 경영진의 불필요한 간섭이나 세력 과시로 보고 저항하는 구성원 때문일 수도 있고, 문제 해결, 목적 지향적으로 일하면서 조직과 업무 경계를 넘나드는 데이터 수집을 하려는 데이터과학자들의 적극적인 업무 수행 태도를 자신의 회사 내의 입지와 역할, 영향력에 위협으로 받아들이는 구성원들과 조직의 저항 때문일 수도 있다.

기존의 구성원들과 조직 내부에서 느끼는 이런 위협의 상당 부분은 불필요한 오해인 경우가 많으며, 오히려 데이터과학자들의 문제 해결, 목적 지향적인 데이터 수집과 분석 활동이 조직의 정보 흐름과 의사소통을 좀더 투명하고 체계적으로 만들 수 있고, 기존 구성원들의 업무에 도움이 될 수 있음을 경영진과 데이터과학팀을 비롯한 데이터과학 지원 조직이 지속해서 설득하고 소통할 필요가 있다.

데이터과학 자체는 과학이 그렇듯이 가치중립적인 활동일 수 있지만, 조직의 맥락에서 데이터과학자들의 활동은 조직 내부에서 정치적으로 해석되어 불필요한 오해와 알력을 낳을 수 있음을 데이터과학자들과 데이터과학팀을 주도하는 리더, 그리고 데이터과학팀을 후원하는 경영진이 이해할 필요가 있다. 기존 조직의 협조를 얻고 오해를 만들지 않기 위해 데이터과학팀 활동 초반에는 조직 내 다른 부서와의 소통과 커뮤니케이션을 투명하고 원만하게 하는 데에 많은 노력을 기울일 필요가 있다. 이렇게 기존 조직과 쌓인 신뢰와 원만한 관계는 일반 기업에서 데이터과학을 통한 데이터 기반 의사 결정이 뿌리내리기 위해 필요한 중요한 첫 단계이므로 특별히 많은 노력을 기울이는 것이 중요하다.

데이터과학팀 구성원들이 조직 내에서 자신의 효용과 역량을 입증해 보이기 위해 다소 조급한 마음에 서둘러서 데이터 수집 및 분석 업무 체계를 구축하려고 하다가 기존 구성원들의 반발을 살 수 있다. 데이터 수집 및 분석 업무 체계를 초반에 잘 구축하는 것만큼이나 데이터과학팀의 활동과 그 결과물이 기존 구성원들의 업무 생산성 향상과 개선에 도움이 됨을 꾸준히 설득하고, 다른 경영진과 구성원들에게 중간중간 성과물을 공개하고 피드백을 받으면서 데이터 수집 및 분석 업무 체계 구축 과정에 기존 구성원들을 참여시키도록 해야 한다. 자동화된 데이터 수집 및 분석 업무 체계만큼이나 기존 구성원들과의 원만한 관계도 데이터과학팀의 중요한 인프라라는 것을 염두에 두고 업무에 임할 필요가 있다.

세번째로, 데이터과학자들이 내적인 동기에 의해 자발적으로 문제 해결에 집중할 수 있는 환경을 만들어줄 필요가 있고, 동료들과의 경쟁을 일으켜 속도를 내는 방식의 경영보다는 동료들과의 자발적인 협력과 시너지를 통해 나오는 성과들이 경영 의사 결정에 활용되어 비즈니스가 가속될 수 있도록 협력과 공유의 패러다임에 기반한 데이터과학팀 조직 운영이 되어야 한다는 것이다.

신생 기업이 아닌 기존 사업 영역이 있는 기업이나 조직이 데이터과학팀을 새로이 구성할 때 초반에 정말 조심해야 할 것 중 하나가 팀의 분위기를 조성하는 문제이다. 특히, 경영진 중 일부의 리더들이 조직 내에서 자신의 역량과 영향력을 확대하려는 시도로 빅데이터 기반 사업과 데이터 기반 의사 결정을 앞세워 의욕을 가지고 추진하는 경우 조급한 마음에 빠른 시간에 성과를 내려다 데이터과학 조직이 제 기능을 하지 못하고 해체되는 불운을 맞지 않도록 조심해야 할 필요가 있다.

소프트웨어 개발팀과 마찬가지로 데이터과학팀 또한 대표적인 지식 노동 전문 조직이다. 단순 지식 노동 수준이 아니라 전문적인 역할과 성과를 기대받는 특수 조직으로 볼 수 있다. 데이터과학팀에서 일하는 데이터과학자들의 동기 부여는 단순한 금전적인 보상이나 승진만으로는 어렵다는 사실을 염두에 둘 필요가 있다. 앞서 살펴본 LHC 실험 물리학자들도 자신의 경력을 위한 좋은 직장과 연구비, 연봉 등의 현실적인 이유로 인해서 연구에 몰두하기도 하지만 이런 것들이 그들의 역량을 온전하게 발휘하게 하지는 않는다는 것을 강조한 바 있다.

데이터과학에 적합한 인재들의 가장 큰 동기 부여는 자신이 조직과 공동체에 도움이 되는 지식과 통찰을 만들어 내었다는 자부심, 자신의 노력과 그로 인한 결과가 조직과 공동체의 진보에 도움이 되었고, 이런 일을 자신과 자신의 팀이 해내었다는 확신이다. 이런 과정들이 쌓이면서 자신의 경력이 성장하고 발전하고 있으며, 이러한 성장과 발전으로 좀더 도전적이고 큰 문제를 만나 해결할 기회를 얻을 수 있고, 이런 성장 과정의 결과로서 금전적인 보상과 승진이 따를 것이라는 기대와 믿음에서 자신의 역량을 최대로 발휘하게 되는 것이다.

데이터과학팀 구성원들 간의 경쟁을 지나치게 조장하게 되면 팀 전체의 통합과 협력이 깨지게 되어 데이터과학팀 차원의 자기조직적이고 유연한 문제 해결 역량이 크게 손상 받게 된다. 데이터과학에서 다루게 될 비즈니스 문제들은 데이터과학자 혼자서는 해결할 수 있는 문제가 거의 없음을 생각해야 하며, 데이터과학팀의 구성원들이 자기조직적인 협력을 원활하게 수행하도록 하기 위해서는 개개인의 도토리 키재기식 역량 비교와 경쟁보다는 서로의 부족한 부분을 보완하고 이를 통해 더 큰 문제를 해결하고 시너지를 이룰 수 있다는 확신을 심어주는 것이 더 중요하다.

데이터과학팀을 이끌거나 후원하는 리더가 데이터과학자들의 자기조직적인 문제 해결 노력에 큰 걸림돌이 되지는 않는지 항상 반성하고 조심할 필요가 있다. 특히 데이터과학 전문가가 데이터과학팀 리더로서 외부에서 영입이 되지 않고 내부의 리더나 임원이 데이터과학팀의 리더를 맡게 되었을 때는 여러 가지 유의해야 할 사항이 많다. 데이터과학팀을 이끌기 위해 필요한 리더십의 요건과 덕목에 대해서는 이어지는 연재에서 좀더 자세하게 살펴보도록 한다.

위와 같은 특성을 지닌 데이터과학자들, 빅데이터 전문가들을 조직이 새로이 맞았을 때 우선 조직 운영 시 염두에 두어야 할 점들을 원칙 중심으로 간단히 살펴보았다. 사실, 빅데이터 조직을 꾸리고 운영하기 위해 생각해봐야 할 문제는 위와 같은 문제만이 아니다. 이번 글을 쓰면서 생각을 정리하다 보니 필자가 정리하고 전달하고 싶은 내용이 많기도 했고, 최근 지인들의 부탁을 생각해보니 빅데이터 활용의 기술적인 문제들보다 조직과 팀 운영에 대해 고민하시는 리더분들이 많은 것 같아 기고 계획을 다소 수정해서 데이터과학팀과 조직 운영에 대해 필자가 지금까지 고민하고 생각했던 내용을 좀더 깊이 있게 다룰 필요성을 느꼈다. 앞서 잠깐 언급했듯이, 앞으로 세, 네 편의 글에 나누어 다음과 같은 문제를 같이 깊게 생각해보았으면 한다.

1.    좋은 데이터과학자를 어떻게 찾을 수 있을까? 또는 어떻게 해야 좋은 데이터과학자를 채용할 수 있을까?
2.    좋은 데이터과학팀을 만드는 방법 – 데이터과학팀의 문화와 규범
3.    좋은 데이터과학팀을 만드는 방법 – 데이터과학팀에 필요한 리더십
4.    어떻게 하면 좋은 데이터과학자를 양성할 수 있는가?
5.    일반 기업이 데이터 기반 의사 결정 문화를 어떻게 뿌리내리도록 할 수 있을까?
6.    데이터과학자들이 역량을 온전하게 발휘하고 조직에 도움이 되도록 하기 위해서는 어떻게 조직을 설계하고 운영해야 할까?

데이터과학팀과 빅데이터 비즈니스 조직의 설계와 운영에 관한 필자의 확장된 기고가 데이터 기반 의사결정을 조직에 뿌리내리고 이를 통해 조직의 성장에 기여하길 원하는 많은 리더분들의 고민에 도움이 되길 바라면서 2018년 한 해의 기고를 마치려고 한다.

본 “김진철의 How-to-Big Data”를 관심 있게 읽고 많은 격려를 해주신 독자 여러분들께 진심으로 감사의 말씀을 드립니다. 독자 여러분들의 2019년의 풍성한 성과와 조직 내에서의 승승장구를 기원 드리며, 새해 복 많이 받으시길 기원합니다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료

*김진철 박사는 1997년 한국과학기술원에서 물리학 학사, 1999년 포항공과대학교에서 인공신경망에 대한 연구로 석사 학위를, 2005년 레이저-플라즈마 가속기에 대한 연구로 박사 학위를 받았다. 2005년부터 유럽입자물리학연구소(CERN)의 LHC 데이터 그리드 구축, 개발에 참여, LHC 빅데이터 인프라를 위한 미들웨어 및 데이터 분석 기술을 연구하였다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성SDS를 거쳐 2013년부터 SK텔레콤에서 클라우드 컴퓨팅과 인공지능 기술을 연구하고 있다. 빅데이터와 인공지능 기술의 기업 활용 방안에 대해 최근 다수의 초청 강연 및 컨설팅을 수행하였다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.