칼럼 | 개발자 생산성을 제대로 측정할 수 있을까? 맥킨지의 ‘개발자 생산성 지표’

개발자의 생산성을 제대로 측정할 수 있는 지에 대한 논쟁은 수십 년간 지속돼 왔다. 맥킨지(McKinsey & Company)가 가장 효과적이라고 판단한 개발자 생산성 지표와, 그것이 중요한 이유를 소개한다. 
 

개발자의 생산성 측정은 오랫동안 비즈니스의 과제였다. 마치 성배를 찾는 과정처럼 그 방법을 찾는 데는 여러 난관이 있었다. 하지만 맥킨지는 여러 산업 분야의 기업들과 함께 작업하면서 측정 방법을 다듬어 왔다. 그 내용은 아래 지표를 통해 설명하고자 한다.

2020년 맥킨지는 440개 대기업을 대상으로 ‘개발자 속도(developer velocity)’, 즉 개발자 인재의 잠재력을 활용할 수 있는 관행을 조사했다. 결과는 놀라웠다. 상위 목록에 해당하는 기업은 하위 목록에 있는 기업보다 4~5배 빠른 매출 성장을 달성했다. 또한 성과가 높은 기업은 주주 수익률이 60%, 영업 이익이 20% 더 높았다. 고객 만족도와 직원 경험도 더 높은 것으로 나타났다.

이는 기술 기업에만 해당되는 문제가 아니다. 예를 들어 리테일에서 소프트웨어는 가장 빠르게 성장하는 직군이다. 전 세계 소프트웨어 엔지니어의 약 절반이 기술 업계 외부에서 일하고 있다. 현재 약 2,700만 명의 개발자가 있으며, 그중 440만 명이 미국에서 일하고 있다. 미국 노동통계국(BLS)은 2021년부터 2031년까지 소프트웨어 개발자 수가 25% 증가할 것으로 예상했다. 생성형 AI의 부상까지 고려하면 이는 실제보다 더 낮은 수치일 가능성이 높다.

이러한 데이터는 간단한 결론으로 이어진다. 리더는 가능한 한 최선의 방법으로 개발자 인재를 배치하고 있는지 파악해야 한다. 이는 쉽지 않은 일이다. 인풋과 아웃풋의 관계는 불분명하며, 소프트웨어 개발에는 본질적으로 협업과 창의성이 얽혀 있다. 하지만 평가는 개인뿐만 아니라 시스템, 팀의 생산성까지 모두 아울러야 한다. 배포 빈도(deployment frequency)와 같이 잘 알려진 지표는 팀을 추적하는 데 유용하지만 개인을 추적하는 데는 적합하지 않다. 개발자 생산성 측정은 복잡한 작업이지만, 성공 가능성은 충분하다고 생각한다. 

효과적인 개발자 생산성 지표
가능성이 충분하다고 생각하는 이유는, 맥킨지가 협력한 20개의 기술, 금융 및 제약 회사에서 얻은 인사이트 때문이다. 결과는 확정적이지 않으나 꽤 유망하다. 내부 조사에 따르면 이 기업들은 다음 프로세스에 따라 행동했을 때 고객 불만(20~30% 감소), 직원 경험(20% 증가), 고객 만족도(60% 증가) 등 긍정적인 결과를 냈다.

작동 방식은 이렇다. 구글과 마이크로소프트에서 각각 개발한 2가지 측정 지표 세트로 시작했다. 결과를 측정하는 DORA(DevOps Research and Assessment team)와, 중단과 같은 최적화 관련 측정값을 평가하는 데 유용한 SPACE(satisfaction, performance, activity, communication/collaboration, and efficiency)다. 이를 통해 측정한 다음 4가지 ‘기회 중심 지표’로 보완했다.

내부/외부 루프 소요 시간(Inner/outer loop time spent). 내부 루프는 코딩, 빌드, 단위 테스트 등 소프트웨어 제품 생성과 직접 관련된 활동으로 구성된다. 외부 루프는 통합, 테스트, 릴리스 및 배포 등 코드를 프로덕션에 적용하는 활동으로 구성된다. 개발자가 내부 루프에 더 많은 시간을 할애할수록 생산성이 높아진다. 최고 성과를 내는 개발자의 경우 이 비율이 70%에 달했다.

개발자 속도 지표 벤치마킹(Developer velocity index benchmarking). 회사의 관행을 동종 업계와 비교함으로써 백로그 관리, 테스트, 보안 및 규정 준수 등 개선해야 할 특정 영역을 발견할 수 있다. 개발 관행의 성숙도가 높을수록 회사 성과가 향상됐다.

기여도 분석(Contribution analysis). 이는 백로그에 대한 팀의 기여도를 평가하는 것이다. 백로그 관리를 평가하는 지라(Jira)와 같은 도구를 사용하면 최적화에 방해가 되는 추세를 파악할 수 있다. 또한 이 프로세스를 통해 작업 환경 개선, 자동화 강화 또는 개인 기술 향상과 같이 성과 저해 문제를 해결하는 기회를 발견할 수 있다. 이를테면 한 기업에서는 가장 크게 기여하고 있는 개발자가 코딩 외 활동에 너무 많은 시간을 소비한다는 사실을 발견했다. 이 기업은 개발자가 가장 잘하는 일에 집중할 수 있도록 운영 모델을 변경했다. 

인재 역량(Talent capability). 여기서 중요한 요소는 인재를 적재적소에 배치하는 것이다. 업계 표준 역량 맵(industry standard capability map)을 배포하면 특정 조직의 개별 지식, 기술, 능력을 요약한 점수를 만들 수 있다. 이를 통해 부족한 부분과 부풀려진 부분을 모두 파악할 수 있다. 예를 들어 한 기업은 경험이 부족한 개발자가 많다는 사실을 발견했다. 이후 개인화된 학습 여정을 제공하는 등의 조치를 통해 6개월 내 개발자의 30%를 한 단계 높은 전문가로 육성했다.

이러한 지표는 DORA 및 SPACE와 결합해 소프트웨어 생산성에 대한 정교한 인사이트를 생성한다. 드러나는 내용은 본질적으로 유용하다. 개발자에게 동기를 부여하는 방법, 개발자에게 적합한 도구와 전문 지식이 있는지, 시간을 어떻게 사용하고 있는지, 인력 배치 수준이 적절한지 파악하는 데 큰 도움이 될 수 있다.

불완전한 모델 개선하기
개발자 생산성을 측정하는 것이 마치 ‘신화’에 가깝다며, 근거가 없다고 여기는 이들도 있다. 하지만 맥킨지와 협업 중인 20개 기업은 이에 동의하지 않을 것이다. 

또한 소프트웨어 엔지니어링이 측정 불가능할 정도로 복잡하거나 신비롭다고는 생각되지 않는다. 오히려 그 반대다. 맥킨지는 새로운 코드 초안 작성 및 업데이트 구현 등 여러 영역에서 생성형 AI 기반 도구의 사용과 관련된 개선 사항을 추정할 수 있었다. 

위에서 설명한 시스템이 불완전하다는 점에는 의심의 여지가 없다. 실제로 이를 개선할 수 있는 비판도 기꺼이 받아들일 수 있다. 하지만 소프트웨어 개발의 중요성이 날로 커지고 인재 확보 경쟁이 더욱 치열해지는 상황에서라면 분명 시도해 볼 만하다.

* Chandra Gnanasambandam과 Martin Harrysson은 맥킨지 & 컴퍼니의 실리콘밸리 사무소의 시니어 파트너다. ciokr@idg.co.kr