Offcanvas

HR / 리더십|조직관리 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 이직|채용

여전히 ‘21세기 가장 섹시한 직업’일까? 데이터 과학자들이 '탈출'하는 이유

2022.12.07 Adam Wilson  |  IDG Connect
최신 보고서에 따르면 데이터 전문가의 무려 97%가 번아웃에 빠져 있다고 느끼며, 79%는 이 업계를 완전히 떠나는 것을 고려하고 있다. 숙련된 데이터 과학자가 크게 부족한 상황에서 이 수치는 경종을 울린다. ‘데이터 과학자의 이탈’ 이면에는 무엇이 있으며, 기업들이 어떻게 하면 이전의 ‘21세기 가장 섹시한 직업’이라는 영광을 되찾을 수 있을까? 

‘데이터 과학자’는 데이터 과학 분야의 초기 단계부터 일약 스타가 됐다. 데이터가 성공적인 비즈니스의 핵심 요소가 되고, 그 어느 때보다 (데이터의) 접근성이 높아지면서 데이터 전문가는 새로운 직함으로 CV를 업데이트했고 요구할 수 있는 연봉이 순식간에 올라갔다.

데이터베이스 전문가, 수학자, 통계학자, 물리학자들은 데이터 과학 산업으로 가장 먼저 향했다. 처음부터 코드를 작성하고, 상대적으로 제한됐던 데이터 소스에서 얻은 인사이트를 활용했다. 하지만 가장 큰 문제는 서로 다른 부서가 소유하고, 다양한 사람이 관리하며, 접근이 어려운 데이터 사일로에 저장된 데이터를 연결하는 것이었다. 

(당시에는) 이러한 새로운 스킬을 알려주는 공식적인 데이터 과학 교육이 없었기 때문에 데이터 기반 인사이트를 제공하기 위해 자신의 코딩 지식을 활용해야 했다. 업무의 자유도가 높았고, 비즈니스 가치를 창출하기 위해 기하급수적으로 높은 수준의 기술 전문성이 필요했다. 데이븐포트 교수와 파틸 교수는 2012년 10월 하버드 비즈니스 리뷰(HBR)에 “데이터 과학자는 21세기 가장 섹시한 직업(Data Scientist: The Sexxist Job of the 21st Century)’이라고 천명했다. 그야말로 데이터 과학자의 황금기였다. 
 
ⓒGetty Images Bank
 
20년이 지난 지금, 무엇이 바뀌었는가? 
물론 2022년에도 데이터 과학자 수요는 여전히 높고, 계속 증가하고 있다. 링크드인에 따르면 현재 영국에서만 4만 4,000건의 데이터 과학자 구인 공고가 있다. 데이터 기반 인사이트가 효율성 및 성과 개선을 위한 전제 조건이 됐기 때문에 데이터 과학은 계속해서 가장 수요 많은 전문직이 될 전망이다. 생성되는 데이터의 양이 기하급수적으로 증가해 2025년까지 180제타바이트(zettabytes)에 이르리라 예상된다는 점을 고려한다면 그리 놀라운 일은 아니다. 

아울러 인사이트 생성을 위해 비구조화 데이터를 활용해야 할 필요성이 그 어느 때보다 커졌다. 코로나19 사태로 인한 글로벌 공급망 중단, 서방 국가의 넷-제로 이니셔티브, 효율 기준의 재정립을 요구하는 현 에너지 위기 등에 따라 기업들은 이전보다 더욱더 자세한 질문을 하고 있다. 이러한 질문들은 인사이트를 생성하기 위해 더 높은 수준의 데이터 리터러시, 경험, 도메인 지식이 필요하다. 가트너도 데이터 리터러시가 비즈니스 가치의 중요하고 필수적인 동인이라고 강조했다.  

데이터 중심 경쟁우위에 관한 이런 요구는 한동안 증가해왔다. 지난 2019년 포레스터 리서치의 애널리스트 브랜든 퍼셀은 다음과 같이 말했다. “AI&ML의 부상은 데이터 과학자 수요가 급격하게 증가하는 요인이 될 수 있다. (중략) 브랜딩 때문이다. 많은 기업이 데이터 과학자를 현재 가장 ‘핫’한 기술인 AI 또는 머신러닝을 도입하는 열쇠로 보고 있다.”

데이터 과학 ‘대탈출’
그 어느 때보다 높은 데이터 인사이트 수요는 데이터 과학 스킬 격차, 공석의 수, 지속 불가능한 워크로드와 합쳐져, 연쇄 반응을 일으키고 있다. 기업들은 혁신적이고 효과적인 방식으로 데이터의 가치를 현실화하기 위한 데이터 인프라(예: 데이터에 능통한 인력과 고급 데이터 스킬을 갖춘 인력)가 부족한 경향이 있다. 그 결과, 기존의 데이터 작업자가 번아웃되면서 탈출을 고려하고 있는 것이다. 

지난 10년 동안 데이터 과학자 수요가 엄청나게 증가했음에도 데이터 전문가의 무려 97%는 현재 “업무에서 번아웃을 겪고 있다”라고 답했다. 데이터 과학 커리어 플랫폼(365 Data Science Ltd.)이 실시한 글로벌 설문조사에 의하면 데이터 과학자의 평균 재직 기간은 1.7년에 불과하다. 소프트웨어 개발자의 평균 재직 기간인 4.2년보다 훨씬 짧다. 번아웃의 핵심 요인으로는 ▲결함 있는 데이터 파이프라인, ▲데이터 문제를 찾고 수정하는 것, ▲비현실적인 기업 기대치, ▲수치와 비난을 받는 문화가 꼽혔다. 

알테릭스(Alteryx)의 의뢰로 IDC 인포브리프(IDC Infobrief)가 진행한 설문조사 결과도 이 결론을 뒷받침한다. 보고서는 데이터 네이티브 전문가가 레거시 스프레드시트 소프트웨어를 사용하면서 매년 전 세계적으로 10만 명의 인간 수명에 버금가는 데이터 및 애널리틱스 작업 시간이 손실되고 있다고 강조했다. 아울러 기업의 91%가 ‘데이터 및 애널리틱스의 스킬 격차’를 언급했으며, 특히 예측, 규범, 머신러닝과 관련된 스킬이 부족하다고 밝혔다. 

이러한 스킬 격차는 데이터 과학의 한 영역에만 국한되지 않는다. 숙련된 데이터 과학자 수요(그리고 이에 따른 압박)가 크게 증가하고 있을 뿐만 아니라 데이터 엔지니어, 데이터 작업자, 데이터 네이티브에게도 같은 현상이 발생하고 있다. 번아웃을 겪고 있다고 답한 데이터 전문가는 대부분 파이썬(58%)과 SQL(82%)에 능숙했으며, 56%는 석사 학위를 보유하고 있었다. 

이러한 기본적인 데이터 인재 벤치마크 그리고 데이터 네이티브부터 데이터 엔지니어, 데이터 과학자까지 전체 데이터 관련 인력에 관한 지속적인 업스킬링이 없어 숙련되지 않은 전문가의 역량이나 경험 부족이 숙련된 직원에게 곧 부담으로 전가되는 채찍 효과(whiplash effect)가 나타나고 있다. 

데이터 과학자 유지: 기본적인 스킬의 필요성  
오늘날 데이터 과학 및 애널리틱스는 상아탑 전문가와 비즈니스 인에이블러 사이의 받침점(fulcrum point)이었던 1900년대 중반 IT팀에서 봤던 것과 유사하다. 이 문제는 비즈니스 전체에서 더 높은 수준의 업스킬링을 통합하고, 사일로화된 작업 모델에서 탈피하면서 해결됐다.  

IBM은 1981년 세계 최초의 보급형 개인용 컴퓨터를 출시하면서 컴퓨팅의 민주화에 일조했다. ‘마크 1(Mark 1)’은 1944년 널리 보급됐다. 하지만 이 도구의 길이는 무려 약 15m, 높이는 약 2.4m였다. 이를 구매하기 위해 드는 비용과 경험적 진입 장벽으로 이러한 기기를 사용하는 데 필요한 배타적인 스킬이 절대적으로 필요했다. 이 마크 1 시스템이 발전하면서 즉, 접근성이 높아지고 사용자 친화적으로 되면서 생산성 이점은 확실해졌다. 이 기술의 추가적인 민주화와 더욱 광범위한 새로운 업스킬링은 분명 성공을 위한 다음 단계였다.  

돌이켜보면, 오늘날 개인용 컴퓨터를 사용해 누리고 있는 효율성과 생산성 수준은 마크 1에 관한 책임이 IT 내부에만 고립됐다면 불가능했을 것이다. IT팀이 사일로화된 접근 방식을 고수했다면 (지금 데이터 과학에서 보고 있는 것과 유사한) 번아웃, 대규모 직원 이탈, 지속 불가능한 워크로드 및 기하급수적인 수요와 관련된 문제들이 발생했을 것이다.  

스킬 격차는 기업들이 가장 잘 이해하고 있는 문제이지만 현재 데이터 과학 분야에서 가장 시급한 과제는 이러한 격차를 이해하는, ‘이해 격차’다. 다시 말해, 데이터 과학 인력의 이탈 문제를 해결하는 방법은 기업들이 데이터 과학자를 더 많이 채용하는 게 아니다. 근본적인 변화가 필요하다. 마스터 정비사가 오일을 교환하도록 하는 건 리소스를 효율적으로 사용하는 것이 아니다.  

데이터 과학 번아웃을 완화하고, 인재를 유지하기 위한 핵심 전략은 데이터 과학자가 이끌고, 도메인 전문가, 데이터 애널리스트, 데이터 엔지니어 등으로 구성되는 탄탄한 기반을 갖춘 데이터 팀을 만드는 것이다. 더 중요한 건 부서 내 데이터 네이티브 사이에서 기본적인 데이터 스킬을 활용하도록 하는 것이다. 다음 단계로 도약할 수 있을 정도로 업스킬링된 데이터 팀은 데이터에서 얻는 인사이트를 활용할 수 있다. 상당한 양의 복잡한 비정형 데이터를 비즈니스 가치를 제공하는, 관련성 있고 시의적절한 고품질 데이터의 표준화된 파이프라인으로 정제하는 것이다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.