2019.07.08

애자일 시대의 딜레마··· 직원 생산성 측정하기

Clint Boulton | CIO
IT 부서의 역할이 매출 증가와 비용 관리 사이에서 줄타기를 하는 가운데, 직원의 생산성 측정이 CIO의 최대 과제로 부상하고 있다. 기업에 특정 제품을 내놓는 가치 흐름에서 직원이 어떤 성과를 보였는지를 판단하는 일이다.
 
ⓒ Getty Images Bank

이런 과정에서 문제는 딱 한 가지다. 측정을 위한 효과적인 방법론이 부족하다는 것이다. 스마트폰을 이용해 자동차를 부르고 전등을 조절하고 비용 보고서를 작성할 수 있는 디지털 시대지만, CIO 대부분이 직원 업무 성과의 질과 생산성을 정확하게 측정하지 못한다. 그동안 많은 IT 리더가 이러한 문제를 주먹구구식 DIY로 해결해 왔지만, 최근에는 스타트업 솔루션 업체를 중심으로 이 문제를 해결할 이른바 '직원 분석' 툴이 속속 내놓고 있다.

직원 업무와 서버 업무의 차이
기존의 업무 성과 방식은 예를 들면 이렇다. IT 리더가 각 서버나 저장 장치의 가치 대비 운영 비용을 계산하는 것처럼 직원 성과 분석에 이를 적용하는 것이다. 직원이 마치 업무 요건에 따라 조정, 재구성, 재배치해야 할 서버라도 되는 것처럼 말이다.

각 직원의 비용 대비 업무 성과를 측정하는 것은 대형 닭고기 생산 업체 타이슨 푸드(Tyson Foods)의 CTO 스콧 스프래들리가 오랫동안 씨름해 온 문제다. 그는 회사 내 각 직원의 역할에 따라 서로 다른 가중치를 적용했다. 예를 들면, 데이터 과학자와 소프트웨어 엔지니어 간의 가치 비율은 다르다. 그는 “직원 개인에 대해 분류학적 가치 접근 방식을 취했다”라고 말했다.

기존의 노동력 수량화 방식에는 일종의 공식이 있었다. 즉 매켄지, 베인앤컴퍼니 등 유명 컨설팅 업체에 수백만 달러를 주고 직원 성과 평가를 의뢰했다. 전문 컨설턴트가 직원을 몇 주 또는 몇 달 동안 그림자처럼 따라다니면서 메모를 하고 평가서를 작성하고 추천을 하고 다음 프로젝트로 넘어갔다.

그러나 모든 사업 분야가 디지털 기술로 와해적 변화를 겪으면서 이러한 접근방식에 의문이 제기됐다. 이제는 단순히 순 추천 고객 지수(NPS) 목표를 달성한다거나 내부로 관심을 돌려 직원 만족도를 측정하는 것만으로는 충분하지 않게 됐다.

간단히 말하면 업무의 성격이 바뀐 것이다. 10년 전 기업은 워터폴 방식으로 소프트웨어를 만들었다. 기업이 필요로하는 제품을 18~24개월 걸려 만들었다. 그러나 지금은 1~2주 주기의 스프린트를 반복하며 소프트웨어를 만드는 '애자일' 방식이 일반적이다. 서로 고립돼 있던 IT와 현업 부서는 소프트웨어 프로그래머와 UX 디자이너가 제품 관리자와 업무 분석가와 함께 배치되는 복합 기능 팀(CFT)으로 대체됐다. 이처럼 서로 다른 업무 속도와 인원을 합치다 보면 아무리 유능한 컨설턴트라도 당혹스러울 수 있다.

따라서 지금 CIO에게 필요한 것은 운영 과정은 물론 심지어 작업 수준에서 산출물을 측정하는 새로운 툴이다. 가트너의 애널리스트 빌 스완튼은 “얼마나 많은 업무를 빠르게 해낼 수 있을 것인가에서 벗어난 색다른 경영 스타일이 필요하다”라고 말했다. 진정한 의미의 '직원 분석'인 셈이다.

DIY 분석 접근방식
그 결과 현재 직원 분석에 DIY 접근방식을 도입하는 CIO가 늘어나고 있다. 아플락(Aflac)의 CIO로 재직할 당시 줄리아 데이비스는 생산성을 측정하기 위한 기본 지표를 만들었다. 정규 직원 한 명이 매달 완수해야 할 작업이다. 이런 작업은 프린터 수리와 같은 업무 지원 요청부터 코드 변경까지 다양했다. 그는 "문제는 애플리케이션 개발 분석까지 진행했을 때 애자일 상태의 개인 성과자를 측정하는 것이었다. 우리의 '자주적' 애자일 팀은 상달식 경영 방식에 맞게 일정과 팀원을 제 궤도에 유지할 수 있었다'라고 말했다. 데이비스는 2018년 퇴사했다.

TD 애머리트레이드(TD Ameritrade)의 CIO 비제이 산카란도 비슷한 문제에 직면했었다. 그에 따르면, 이 기업은 지난 2년 동안 '고 라이브(Go Live)'라는 내부 방법론 겸 툴을 사용해 왔다. 작업 기간 동안 애자일 팀에서 생성한 업무 기능을 측정하는 툴이다. 처음에는 각 앱에 대해 만들어진 기능의 수를 측정했지만 지금은 각 엔지니어의 성과와 생산성을 측정하는 것으로 확대됐다. 이를 통해 시간이 지남에 따라 향상되고 있는지 평가하고 있다.

긍정적인 결과에 고무된 산카란 팀은 이제 ‘고 라이브’의 범위를 더 넓히고 있다. 애자일 개발 주기를 거치는 애플리케이션에 대한 다양한 대기 상태까지 측정하는 것이다. ‘고 라이브’는 앱의 구상부터 스토리 생성, 코드 완성 등 생산에 이르는 모든 과정을 자세히 점검한다. 개선의 여지를 찾아 그 이후에는 개념에서 생산까지의 과정을 최적화하는 객관적 주요 결과(OKR) 지표를 만들었다.

산카란은 “고려해야 할 운영 단계가 너무 다양하다. 예를 들면 무엇을 사용할지, 애자일 팀의 어느 곳에 최적화 가능한 자원을 배치할지, 또 어떤 투자 단계에서 할지 등이다. 이러한 기술은 이해하기 쉽게 분명히 설명돼야 하는데, 이를 위해서는 실제 과정에서 큰 문화적 변화가 필요하다"라고 말했다. 그는 TD 애머리트레이드의 전체적인 소프트웨어 및 하드웨어 사용 방식을 분석하기 위해 기술 업무 관리(TBM)도 채택했다. TBM이란 IT 관리 비용과 업무 가치를 일치시키는 방법론으로 점점 주목받고 있다.

직원 분석 솔루션 업체들
그동안 IT 부서는 이러한 분석을 실행하기 위해 스프레드시트를 사용해 왔다. 그러나 이제는 앱티오(Apptio) 같은 전문 업체의 TBM 분석 소프트웨어를 선택하는 경우가 늘어나고 있다. 앱티오는 인건비 분석이라는 골치 아픈 문제도 다루기 시작했다. 앱티오에 따르면, 기업의 기술 비용 구조에서 인건비가 차지하는 비율이 50% 정도다. 이를 산출할 수 있도록 지난해 '애자일 인사이트(Agile Insights)'를 출시했다. 가치 제공, 노동력 활용 및 품질 비용을 측정하는 SaaS 솔루션이다.

앱티오 CEO 써니 굽타는 기업이 이 툴을 활용하는  방식을 설명했다. 예를 들면, 아틀라시안(Atlassian)의 지라(Jira)와 같은 프로젝트 관리 앱에서 애자일 스프린트를 통해 생성된 코드 체크인, 스토리 포인트별 비용 등의 지표를 분석하고 이를 해당 ERP 시스템의 재무 내용과 비교하는 것이다. 그는 “이를 통해 정보를 바탕으로 한 정량적인 의사 결정을 할 수 있다"라고 말했다.

다른 스타트업 솔루션 업체도 있다. 핀 애널리틱스(Fin Analytics)는 직원의 일상 작업 완수 방식을 분석하는 소프트웨어를 개발하고 있다. 클라이너 퍼킨스(Kleiner Perkins), 액셀(Accel), CRV 등의 벤처 지원을 받는 핀 애널리틱스의 공동 창업자 샘 레신이 CIO.com과의 인터뷰에서 설명한 바에 따르면, 이 업체가 판매하는 크롬 브라우저용 플러그인은 직원의 마우스 움직임, 클릭한 웹사이트, 인터넷 사용 행동 등을 기록한다. 그 외에 각 직원이 슬랙에서 보내는 시간이나 슬라이드 덱 프레젠테이션 하나를 자세히 읽는 시간 등 애플리케이션 소비 상황도 추적한다. 녹화 및 녹음 기능을 활용해 시시각각 공정 카탈로그를 생성한다.

핀의 소프트웨어는 이 정보를 통계 대시보드로 보여준다. 관리자가 팀원을 지도하는 데 사용할 수 있는 주요 지표는 별도로 강조 표시된다. 레신에 따르면 이 툴이 대부분의 분석과 차별화되는 지점은 생산성 및 성과 향상에 공정 수준의 접근 방식을 취하는 것이다. 레신은 "대부분의 분석은 NPS와 고객 만족(CSAT) 점수와 같은 업무 결과 지표를 측정한다. 반면 우리가 하는 일이 어떻게 우리의 업무에 영향을 미치는지 이해하기 위해 공정 측정에 대해 매우 심도 있게 들어가 본 사람은 없다"라고 말했다. 레신에 따르면 이 업체의 고객사는 수십 곳이다.
 
직원 분석에 대한 우려
직원 성과에 대한 이와 같은 '정량적인' 방식은 나름의 문제가 있다. 하비 내쉬(Harvey Nash)의 최고디지털책임자 애나 프라제토는 소프트웨어 프로그래머의 능률을 판단하기 위해 기업이 지난 10년간 들였던 노력을  회상했다. 한 위젯 프로그램을 만들기 위해 1,000줄의 코드를 작성하는 프로그래머가 있는가 하면 200줄만으로 해내는 프로그래머도 있다. 그러나 200줄로 작성했다고 해도 결함이 더 많으면 능률적이라고 할 수 없다. 프라제토는 “(지난 10년의 노력에도 불구하고) 직원 성과 측정 문제는 전혀 해결되지 않았다"라고 말했다.

가트너의 애널리스트 스완튼은 서로 다른 제품을 개발하는  사람의 팀을 비교하는 것도 어려운 작업이라고 지적했다. 난이도가 상이한 점을 고려하면 한 제품에 작업 중인 UX 개발자를 다른 제품에 작업 중인 UX 개발자와 동일하게 평가할 수는 없다. AI 알고리즘 개발자도 마찬가지다. 이러한 개발자에게 “오늘 코드를 몇 줄이나 작성했나?”라고 CIO가 묻는 경우는 드물다.

또한, 스완튼에 따르면 CIO가 직원 성과를 측정하는 과정에서 마치 팀워크를 꺾는 방식으로 사람들에게 보상이나 처벌을 주는 듯한 인상을 줄 위험이 있다. 이는 애자일에 대한 사망 선고나 다름없다.

따라서 산출물 측정에 대해 스완튼이 권장하는 방식은 대부분 CIO가 오늘날 매우 집중하고 있는 대상을 상기시킨다. 즉, 각 제품이나 애자일 팀은 생성되는 가치나 성취한 업무 결과를 기준으로 평가하라는 것이다. 해당 제품이 업무 능력을 측정 가능한 정도로 개선하는가? 매출을 올리는가 아니면 비용을 절약시키는가? 스완튼은 "이들 중 어느 것이라도 해당한다면 성공이다. IT의 목표는 기업의 운영 방식을 개선하는 것이다. 그것이야말로 진정 중요한 지표다”라고 말했다.

솔루션 업체 입장인 레신 역시 공정 개선에 대해 이처럼 어깨 너머로 감시하는 듯한 방식으로 직원에게 겁을 줄까 우려하는 기업 리더가 있을 수 있다고 인정했다. 그는 "우수한 고객 서비스 제공을 더 강조한다면 회의론자를 설득하고 데이터를 중시하는 CIO의 마음에도 들 수 있을 것이다"라고 말했다. ciokr@idg.co.kr



2019.07.08

애자일 시대의 딜레마··· 직원 생산성 측정하기

Clint Boulton | CIO
IT 부서의 역할이 매출 증가와 비용 관리 사이에서 줄타기를 하는 가운데, 직원의 생산성 측정이 CIO의 최대 과제로 부상하고 있다. 기업에 특정 제품을 내놓는 가치 흐름에서 직원이 어떤 성과를 보였는지를 판단하는 일이다.
 
ⓒ Getty Images Bank

이런 과정에서 문제는 딱 한 가지다. 측정을 위한 효과적인 방법론이 부족하다는 것이다. 스마트폰을 이용해 자동차를 부르고 전등을 조절하고 비용 보고서를 작성할 수 있는 디지털 시대지만, CIO 대부분이 직원 업무 성과의 질과 생산성을 정확하게 측정하지 못한다. 그동안 많은 IT 리더가 이러한 문제를 주먹구구식 DIY로 해결해 왔지만, 최근에는 스타트업 솔루션 업체를 중심으로 이 문제를 해결할 이른바 '직원 분석' 툴이 속속 내놓고 있다.

직원 업무와 서버 업무의 차이
기존의 업무 성과 방식은 예를 들면 이렇다. IT 리더가 각 서버나 저장 장치의 가치 대비 운영 비용을 계산하는 것처럼 직원 성과 분석에 이를 적용하는 것이다. 직원이 마치 업무 요건에 따라 조정, 재구성, 재배치해야 할 서버라도 되는 것처럼 말이다.

각 직원의 비용 대비 업무 성과를 측정하는 것은 대형 닭고기 생산 업체 타이슨 푸드(Tyson Foods)의 CTO 스콧 스프래들리가 오랫동안 씨름해 온 문제다. 그는 회사 내 각 직원의 역할에 따라 서로 다른 가중치를 적용했다. 예를 들면, 데이터 과학자와 소프트웨어 엔지니어 간의 가치 비율은 다르다. 그는 “직원 개인에 대해 분류학적 가치 접근 방식을 취했다”라고 말했다.

기존의 노동력 수량화 방식에는 일종의 공식이 있었다. 즉 매켄지, 베인앤컴퍼니 등 유명 컨설팅 업체에 수백만 달러를 주고 직원 성과 평가를 의뢰했다. 전문 컨설턴트가 직원을 몇 주 또는 몇 달 동안 그림자처럼 따라다니면서 메모를 하고 평가서를 작성하고 추천을 하고 다음 프로젝트로 넘어갔다.

그러나 모든 사업 분야가 디지털 기술로 와해적 변화를 겪으면서 이러한 접근방식에 의문이 제기됐다. 이제는 단순히 순 추천 고객 지수(NPS) 목표를 달성한다거나 내부로 관심을 돌려 직원 만족도를 측정하는 것만으로는 충분하지 않게 됐다.

간단히 말하면 업무의 성격이 바뀐 것이다. 10년 전 기업은 워터폴 방식으로 소프트웨어를 만들었다. 기업이 필요로하는 제품을 18~24개월 걸려 만들었다. 그러나 지금은 1~2주 주기의 스프린트를 반복하며 소프트웨어를 만드는 '애자일' 방식이 일반적이다. 서로 고립돼 있던 IT와 현업 부서는 소프트웨어 프로그래머와 UX 디자이너가 제품 관리자와 업무 분석가와 함께 배치되는 복합 기능 팀(CFT)으로 대체됐다. 이처럼 서로 다른 업무 속도와 인원을 합치다 보면 아무리 유능한 컨설턴트라도 당혹스러울 수 있다.

따라서 지금 CIO에게 필요한 것은 운영 과정은 물론 심지어 작업 수준에서 산출물을 측정하는 새로운 툴이다. 가트너의 애널리스트 빌 스완튼은 “얼마나 많은 업무를 빠르게 해낼 수 있을 것인가에서 벗어난 색다른 경영 스타일이 필요하다”라고 말했다. 진정한 의미의 '직원 분석'인 셈이다.

DIY 분석 접근방식
그 결과 현재 직원 분석에 DIY 접근방식을 도입하는 CIO가 늘어나고 있다. 아플락(Aflac)의 CIO로 재직할 당시 줄리아 데이비스는 생산성을 측정하기 위한 기본 지표를 만들었다. 정규 직원 한 명이 매달 완수해야 할 작업이다. 이런 작업은 프린터 수리와 같은 업무 지원 요청부터 코드 변경까지 다양했다. 그는 "문제는 애플리케이션 개발 분석까지 진행했을 때 애자일 상태의 개인 성과자를 측정하는 것이었다. 우리의 '자주적' 애자일 팀은 상달식 경영 방식에 맞게 일정과 팀원을 제 궤도에 유지할 수 있었다'라고 말했다. 데이비스는 2018년 퇴사했다.

TD 애머리트레이드(TD Ameritrade)의 CIO 비제이 산카란도 비슷한 문제에 직면했었다. 그에 따르면, 이 기업은 지난 2년 동안 '고 라이브(Go Live)'라는 내부 방법론 겸 툴을 사용해 왔다. 작업 기간 동안 애자일 팀에서 생성한 업무 기능을 측정하는 툴이다. 처음에는 각 앱에 대해 만들어진 기능의 수를 측정했지만 지금은 각 엔지니어의 성과와 생산성을 측정하는 것으로 확대됐다. 이를 통해 시간이 지남에 따라 향상되고 있는지 평가하고 있다.

긍정적인 결과에 고무된 산카란 팀은 이제 ‘고 라이브’의 범위를 더 넓히고 있다. 애자일 개발 주기를 거치는 애플리케이션에 대한 다양한 대기 상태까지 측정하는 것이다. ‘고 라이브’는 앱의 구상부터 스토리 생성, 코드 완성 등 생산에 이르는 모든 과정을 자세히 점검한다. 개선의 여지를 찾아 그 이후에는 개념에서 생산까지의 과정을 최적화하는 객관적 주요 결과(OKR) 지표를 만들었다.

산카란은 “고려해야 할 운영 단계가 너무 다양하다. 예를 들면 무엇을 사용할지, 애자일 팀의 어느 곳에 최적화 가능한 자원을 배치할지, 또 어떤 투자 단계에서 할지 등이다. 이러한 기술은 이해하기 쉽게 분명히 설명돼야 하는데, 이를 위해서는 실제 과정에서 큰 문화적 변화가 필요하다"라고 말했다. 그는 TD 애머리트레이드의 전체적인 소프트웨어 및 하드웨어 사용 방식을 분석하기 위해 기술 업무 관리(TBM)도 채택했다. TBM이란 IT 관리 비용과 업무 가치를 일치시키는 방법론으로 점점 주목받고 있다.

직원 분석 솔루션 업체들
그동안 IT 부서는 이러한 분석을 실행하기 위해 스프레드시트를 사용해 왔다. 그러나 이제는 앱티오(Apptio) 같은 전문 업체의 TBM 분석 소프트웨어를 선택하는 경우가 늘어나고 있다. 앱티오는 인건비 분석이라는 골치 아픈 문제도 다루기 시작했다. 앱티오에 따르면, 기업의 기술 비용 구조에서 인건비가 차지하는 비율이 50% 정도다. 이를 산출할 수 있도록 지난해 '애자일 인사이트(Agile Insights)'를 출시했다. 가치 제공, 노동력 활용 및 품질 비용을 측정하는 SaaS 솔루션이다.

앱티오 CEO 써니 굽타는 기업이 이 툴을 활용하는  방식을 설명했다. 예를 들면, 아틀라시안(Atlassian)의 지라(Jira)와 같은 프로젝트 관리 앱에서 애자일 스프린트를 통해 생성된 코드 체크인, 스토리 포인트별 비용 등의 지표를 분석하고 이를 해당 ERP 시스템의 재무 내용과 비교하는 것이다. 그는 “이를 통해 정보를 바탕으로 한 정량적인 의사 결정을 할 수 있다"라고 말했다.

다른 스타트업 솔루션 업체도 있다. 핀 애널리틱스(Fin Analytics)는 직원의 일상 작업 완수 방식을 분석하는 소프트웨어를 개발하고 있다. 클라이너 퍼킨스(Kleiner Perkins), 액셀(Accel), CRV 등의 벤처 지원을 받는 핀 애널리틱스의 공동 창업자 샘 레신이 CIO.com과의 인터뷰에서 설명한 바에 따르면, 이 업체가 판매하는 크롬 브라우저용 플러그인은 직원의 마우스 움직임, 클릭한 웹사이트, 인터넷 사용 행동 등을 기록한다. 그 외에 각 직원이 슬랙에서 보내는 시간이나 슬라이드 덱 프레젠테이션 하나를 자세히 읽는 시간 등 애플리케이션 소비 상황도 추적한다. 녹화 및 녹음 기능을 활용해 시시각각 공정 카탈로그를 생성한다.

핀의 소프트웨어는 이 정보를 통계 대시보드로 보여준다. 관리자가 팀원을 지도하는 데 사용할 수 있는 주요 지표는 별도로 강조 표시된다. 레신에 따르면 이 툴이 대부분의 분석과 차별화되는 지점은 생산성 및 성과 향상에 공정 수준의 접근 방식을 취하는 것이다. 레신은 "대부분의 분석은 NPS와 고객 만족(CSAT) 점수와 같은 업무 결과 지표를 측정한다. 반면 우리가 하는 일이 어떻게 우리의 업무에 영향을 미치는지 이해하기 위해 공정 측정에 대해 매우 심도 있게 들어가 본 사람은 없다"라고 말했다. 레신에 따르면 이 업체의 고객사는 수십 곳이다.
 
직원 분석에 대한 우려
직원 성과에 대한 이와 같은 '정량적인' 방식은 나름의 문제가 있다. 하비 내쉬(Harvey Nash)의 최고디지털책임자 애나 프라제토는 소프트웨어 프로그래머의 능률을 판단하기 위해 기업이 지난 10년간 들였던 노력을  회상했다. 한 위젯 프로그램을 만들기 위해 1,000줄의 코드를 작성하는 프로그래머가 있는가 하면 200줄만으로 해내는 프로그래머도 있다. 그러나 200줄로 작성했다고 해도 결함이 더 많으면 능률적이라고 할 수 없다. 프라제토는 “(지난 10년의 노력에도 불구하고) 직원 성과 측정 문제는 전혀 해결되지 않았다"라고 말했다.

가트너의 애널리스트 스완튼은 서로 다른 제품을 개발하는  사람의 팀을 비교하는 것도 어려운 작업이라고 지적했다. 난이도가 상이한 점을 고려하면 한 제품에 작업 중인 UX 개발자를 다른 제품에 작업 중인 UX 개발자와 동일하게 평가할 수는 없다. AI 알고리즘 개발자도 마찬가지다. 이러한 개발자에게 “오늘 코드를 몇 줄이나 작성했나?”라고 CIO가 묻는 경우는 드물다.

또한, 스완튼에 따르면 CIO가 직원 성과를 측정하는 과정에서 마치 팀워크를 꺾는 방식으로 사람들에게 보상이나 처벌을 주는 듯한 인상을 줄 위험이 있다. 이는 애자일에 대한 사망 선고나 다름없다.

따라서 산출물 측정에 대해 스완튼이 권장하는 방식은 대부분 CIO가 오늘날 매우 집중하고 있는 대상을 상기시킨다. 즉, 각 제품이나 애자일 팀은 생성되는 가치나 성취한 업무 결과를 기준으로 평가하라는 것이다. 해당 제품이 업무 능력을 측정 가능한 정도로 개선하는가? 매출을 올리는가 아니면 비용을 절약시키는가? 스완튼은 "이들 중 어느 것이라도 해당한다면 성공이다. IT의 목표는 기업의 운영 방식을 개선하는 것이다. 그것이야말로 진정 중요한 지표다”라고 말했다.

솔루션 업체 입장인 레신 역시 공정 개선에 대해 이처럼 어깨 너머로 감시하는 듯한 방식으로 직원에게 겁을 줄까 우려하는 기업 리더가 있을 수 있다고 인정했다. 그는 "우수한 고객 서비스 제공을 더 강조한다면 회의론자를 설득하고 데이터를 중시하는 CIO의 마음에도 들 수 있을 것이다"라고 말했다. ciokr@idg.co.kr

X