2018.06.22

디지털 변혁 프로젝트 성과를 측정하는 9가지는?

Marcio Sete | CIO Australia
기술 변혁을 추진하는 기업과 기관이 직면하는 공통 과제 중 하나는 새로운 역량이 비즈니스 성과에 미치는 영향과 발전을 어떻게 평가하느냐다. 다시 말해 ‘모든 것이 향상된 것 같아!’라는 이야기보다는 데이터를 기반으로 정확히 얼마나 개선됐는지를 측정할 방법을 찾는 것이다.



센스메이킹(Sensemaking) 메커니즘은 소프트웨어 구축 성과가 향상되었는지 여부를 파악해야 하는 리더십 팀에서 매우 중요하다. 또한 변혁 프로그램에 대한 투자 역량을 높이는 촉매 역할을 한다.

아래 그림에서 왼쪽은 비즈니스에서 중요한 속도, 안정성, 예측성, 생산성, 지속 가능성, 품질, 위험, 대응성, 비용 등 9가지 특성을 나타낸다. 각각은 변혁 프로젝트 대시보드 구성에 필요한 구성 요소로 사용할 수 있는 몇 개의 지표가 있다.



이들 각각 소개하고, 실제 프로젝트에 어떻게 적용할지 알아보자.

1. 속도
고객 리드 타임

고객 주문을 받아 구축하기까지 걸리는 시간이다. 고객은 내부 및 외부 고객이며, 주문은 기능이나 사용자 스토리 같은 것들이다. 리드 타임은 고객에게 중요한 일을 처음부터 끝까지 완전하게 마치는 능력을 보여준다. 단 한 가지만 측정할 수 있다면 리드 타임을 측정해야 한다.



변화 리드 타임
코드 개발부터 생산화까지 변화 관리 프로세스가 얼마나 효과적인지 보여준다. 고성과자는 1시간 미만에 필요한 모든 것을 처리한다. 저성과자보다 440배가 빠르다. 릴리스 변경 사항에서 효과적이지 못한 프로세스(CAB 미팅을 해야 하고, 나중에 통합해야 하고, 수동 테스트를 해야 하는 등)는 트랜잭션 비용을 올리고, 배치 크기를 증가시키며, 비즈니스 대응성에 악영향을 미친다. 이는 린(Lean) 제품 개발의 기초다.



배포 빈도
소프트웨어를 생산화 단계로 배포하는 빈도다. 고성과자는 릴리스부터 중복된 배포를 없앤다. 이를 통해 매일 몇 차례 생산화 단계로 배포한다. 조사 결과에 따르면, 고성과자는 저성과자보다 46배나 자주 소프트웨어를 배포한다.

쉽게 조작할 수 있고 중요한 요소와 관련이 없을 수도 있는 지표지만, 배포 빈도는 생산화까지 얼마나 순조로운지(작은 배치, 성숙한 CI/CD 관행, 효과적인 변화 관리 등) 알려주는 대표적인 지표다.





2. 예측성
처리량 변동 계수

예측성을 갖추고 있는 소프트웨어 구축 팀은 처리량(작업량)과 리드 타임 변동성이 낮다. 아무것도 구축하지 않다가 갑자기 많은 것을 구축하고, 다시 아무것도 구축하지 못하는 것은 좋지 않다. 이런 파괴적인 변동성은 비즈니스와 IT 모두에 유해하다.



리드 타임 분포의 모양과 크기 파라미터

지식 업무의 리드 타임 분포는 정규 분포가 아닌 지수 분포다. 우리는 리드 타임의 예측성 파악에 와이블(Weibull) 모양 파라미터(정상 범위는 1-2) 및 와이블 크기 파라미터(정상 범위는 0-10)를 사용한다.


CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.



2018.06.22

디지털 변혁 프로젝트 성과를 측정하는 9가지는?

Marcio Sete | CIO Australia
기술 변혁을 추진하는 기업과 기관이 직면하는 공통 과제 중 하나는 새로운 역량이 비즈니스 성과에 미치는 영향과 발전을 어떻게 평가하느냐다. 다시 말해 ‘모든 것이 향상된 것 같아!’라는 이야기보다는 데이터를 기반으로 정확히 얼마나 개선됐는지를 측정할 방법을 찾는 것이다.



센스메이킹(Sensemaking) 메커니즘은 소프트웨어 구축 성과가 향상되었는지 여부를 파악해야 하는 리더십 팀에서 매우 중요하다. 또한 변혁 프로그램에 대한 투자 역량을 높이는 촉매 역할을 한다.

아래 그림에서 왼쪽은 비즈니스에서 중요한 속도, 안정성, 예측성, 생산성, 지속 가능성, 품질, 위험, 대응성, 비용 등 9가지 특성을 나타낸다. 각각은 변혁 프로젝트 대시보드 구성에 필요한 구성 요소로 사용할 수 있는 몇 개의 지표가 있다.



이들 각각 소개하고, 실제 프로젝트에 어떻게 적용할지 알아보자.

1. 속도
고객 리드 타임

고객 주문을 받아 구축하기까지 걸리는 시간이다. 고객은 내부 및 외부 고객이며, 주문은 기능이나 사용자 스토리 같은 것들이다. 리드 타임은 고객에게 중요한 일을 처음부터 끝까지 완전하게 마치는 능력을 보여준다. 단 한 가지만 측정할 수 있다면 리드 타임을 측정해야 한다.



변화 리드 타임
코드 개발부터 생산화까지 변화 관리 프로세스가 얼마나 효과적인지 보여준다. 고성과자는 1시간 미만에 필요한 모든 것을 처리한다. 저성과자보다 440배가 빠르다. 릴리스 변경 사항에서 효과적이지 못한 프로세스(CAB 미팅을 해야 하고, 나중에 통합해야 하고, 수동 테스트를 해야 하는 등)는 트랜잭션 비용을 올리고, 배치 크기를 증가시키며, 비즈니스 대응성에 악영향을 미친다. 이는 린(Lean) 제품 개발의 기초다.



배포 빈도
소프트웨어를 생산화 단계로 배포하는 빈도다. 고성과자는 릴리스부터 중복된 배포를 없앤다. 이를 통해 매일 몇 차례 생산화 단계로 배포한다. 조사 결과에 따르면, 고성과자는 저성과자보다 46배나 자주 소프트웨어를 배포한다.

쉽게 조작할 수 있고 중요한 요소와 관련이 없을 수도 있는 지표지만, 배포 빈도는 생산화까지 얼마나 순조로운지(작은 배치, 성숙한 CI/CD 관행, 효과적인 변화 관리 등) 알려주는 대표적인 지표다.





2. 예측성
처리량 변동 계수

예측성을 갖추고 있는 소프트웨어 구축 팀은 처리량(작업량)과 리드 타임 변동성이 낮다. 아무것도 구축하지 않다가 갑자기 많은 것을 구축하고, 다시 아무것도 구축하지 못하는 것은 좋지 않다. 이런 파괴적인 변동성은 비즈니스와 IT 모두에 유해하다.



리드 타임 분포의 모양과 크기 파라미터

지식 업무의 리드 타임 분포는 정규 분포가 아닌 지수 분포다. 우리는 리드 타임의 예측성 파악에 와이블(Weibull) 모양 파라미터(정상 범위는 1-2) 및 와이블 크기 파라미터(정상 범위는 0-10)를 사용한다.


CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.

X