2018.12.21

'업타임 99.999면 잘한걸까?'·· 제대로 된 IT 성과지표(KPI) 구축·활용법

Minda Zetlin | CIO
직무의 모든 측면이 변화했다. 이제는 성과 지표도 바뀔 때다. 여기 디지털 시대에 IT의 비즈니스 가치를 입증하는 방법을 정리했다. 

통신 네트워킹 기업 시에나(Ciena)의 CIO 크레이그 윌리엄스는 2019년 회사의 경영진이 IT팀을 어떻게 평가할지 정확히 알고 있다. 그들은 인재 관리(공석 확충까지의 소요 기간, 리더십 개발 수료 직원 수 등), 수익 참여(IT 직원당 매출), 변화 관리(새로운 소셜 미디어, 데이터, 협업 툴 도입율) 등과 같은 각종 지표를 살펴볼 것이다.

과거와 크게 달라진 지표들이다. 윌리엄스는 "과거 IT는 주로 업타임(Uptime)과 SLA(Service Level Agreement) 충족 등을 기준으로 평가됐다”라고 말했다. 지금 지금껏 IT는 99.999% 가용성을 목표로 삼고 해결된 티켓의 수에 대한 목표를 가지곤 했다. 

윌리엄스는 지금도 이런 지표를 유지하고 있지만 "핵심 요구는 이제 가치, 비즈니스 지원, 수익 기여 이익 쪽으로 바뀌었다"라고 말했다.

2017년 900명의 IT 리더를 대상으로 통합 통신 기업 퓨즈(Fuze)가 실시한 설문조사에서 3/4 이상이 IT가 비즈니스 성공을 유도하고 IT의 혁신 능력이 비즈니스에 필수적이라고 생각한다고 답했다. 

하지만 응답자 대부분은 비즈니스 책임자들이 비용 절감에 집착한다고 생각했으며 49%는 IT 부서의 성공이 제대로 측정되지 않았다고 밝혔다. "설문조사 결과 IT 전문가들은 혁신과 변화에 대한 능력을 평가 받는 것에 대해 꽤 관심이 있었다"라고 퓨즈의 CIO 크리스 콘리가 말했다.

분명 IT 리더들은 비즈니스 리더의 파트너로서 자리잡고 싶어하며 조직을 디지털 미래로 안내할 준비가 되어 있다. 그렇다면 아직도 임원진의 눈길을 끌지 못하는 구식 지표로 자신의 성공을 측정하는 사람이 많은 이유는 무엇일까? 
 
Image Credit : Getty Images Bank



KPI(Key Performance Indicator)를 비즈니스 목표나 결과에 연계시킬 수 없다면, 진정한 가치를 제공하지 못하는 "무의미한 지표"라고 디지털 경험 모니터링 기업 캐치포인트(Catchpoint)의 이사 던 파지흐가 말했다.

IT 리더가 측정을 멈추거나 최소한 비즈니스 담당자에게 더 이상 이야기하지 말아야 할 KPI는 무엇이 있을까? 그 예와 함께 대안을 살펴본다. 

업타임(Uptime)
"100%에 가까운 업타임은 더 이상 성공의 표시가 아니다. 당연한 것이다"라고 일리노이의 네이퍼빌(Naperville, Illinois)에 위치한 의료 IT 컨설팅 기업 IA(Impact Advisors)의 부사장 아담 탤링어가 말했다. 

그는 이어 "수도꼭지에서 물이 나올 때마다 배관공을 응원할 필요는 없다. 수도꼭지를 돌렸는데 물이 나오지 않으면 문제가 있는 것이다"라고 덧붙였다.

여러 KPI와 마찬가지로 업타임 자체만 보게 되면 오해할 수 있다. 예를 들어, 가상화된 소프트웨어 계층이 포함된 시스템이 있다. 네트워크는 제대로 기능할 수 있지만 그런 가상화 계층이 제대로 작동하지 않으면 사용자는 여전히 필요한 앱에 액세스할 수 없다. "이것을 업타임이라고 부른다면 거짓말이다"라고 그가 말했다.

파지흐도 동의했다. 업타임이 유용할 수는 있지만 비즈니스 결과와 직접 연계되었을 경우에만 그렇다는 설명이다. "가용성도 중요하지만 SLA에 어떤 영향을 끼치는지도 중요하다. 고객들과 사이트의 99.99% 가용성에 대해 계약하는 경우 비즈니스 리더는 해당 SLA의 맥락에서 가용성을 고려할 것이다"라고 그녀는 말했다.

심지어 SLA가 없더라도 웹사이트 다운타임(Downtime)은 고객 만족도에 큰 영향을 끼칠 수 있으며, 사이버 먼데이(Cyber Monday)에 사이트가 다운되는 경우에는 더욱 그럴 것이라고 파지흐는 덧붙였다.

단 비즈니스 담당자와 이런 정보를 공유하지 않더라도 업타임은 IT가 주된 의무를 충족하기 위해 수집해야 하는 기본적인 지표 중 하나라고 오라일리 미디어(O'Reilly Media)의 수석 데이터 사이언티스트 벤 로리카가 말했다. 

그는 "서비스를 항상 유지되어야 한다. 확인목록을 통해 유용하지 않은 KPI를 제외할 수는 있지만 상황 유지를 위해 추적해야 하는 지표의 기준이 있다"라고 말했다.

MTTR(Mean Time To Repair)
MTTR은 오해의 소지가 있는 지표이다. 특히 IT 직원이 이를 이용해 자신의 성과가 평가된다는 사실을 알고 있을 때는 더욱 그렇다.

파지흐는 "보상과 연결되는 경우 왜곡의 소지가 있다. 티켓을 완전히 해결하기 전에 종료되기도 한다. 그렇게 되면 나중에 새로운 티켓이 열린다. 다양한 방식으로 조작이 가능하다. MTTR은 분명 추적해야 할 매우 중요한 지표이지만 정확히 추적해야 한다. 다른 지표와 어떻게 연계되어 있는지 자문해 보아야 한다"라고 말했다.

의도적인 조작이 없더라도 MTTR은 여러 요소를 고려하지 못하기 때문에 그다지 유용하지 않을 수 있다고 탤링어가 말했다. "심지어 다운타임이 없는 고장 해결 문제에도 MTTR을 사용할 수 있다. 아니면 부서 또는 기업 전체가 아니라 한 사용자에게만 영향을 끼치고 있을 수 있다. 그 문제가 얼마나 중요한지는 그리 감안되지 않는다"라고 말했다.

게다가 그는 해결 시간 제대로 된 지표가 아닌 경우가 많다며 "몇 초 만에 해결되는 문제도, 몇 개월이 걸리는 문제도 있다. 만족스러운 해결이 있고 미봉책일 수도 있다. 해결 시간 만으로는 측정되지 않는 변인들이다”라고 설명했다.

최초 호출 해결(First call resolution)
이 또한 단순히 적용하기에는 몹시 불확실한 KPI라고 탤링어가 말했다. "문제에 따라 크게 좌우된다. 누군가 비밀번호를 잊어버리는 경우 최초 호출 해결 비율은 매우 높겠지만 2차 또는 3차 지원으로 적절히 전달되는 문제의 경우에는 그렇지 않을 것이다"라고 그는 말했다.

예를 들어, 온라인 저장소 기업 박스(Box)는 최근 잊어버린 비밀번호를 처리하는 방식을 바꾸었다. 예전에는 잘못된 비밀번호를 3회 입력하면 직원의 계정이 한 시간 동안 잠겼었다. 하지만 박스의 IT팀은 최근 휴대폰을 이용한 이중 인증을 이용하여 스스로의 계정을 잠금 해제하는 툴을 배치했다. 이런 단순한 변화로 매월 약 2,000건의 업무 지원 센터 호출이 사라졌다. 

박스 IT 팀의 이 시도는 사용자 경험을 개선했으며 반복적인 작업을 없애 IT 작업의 지루함을 달래 주었고 IT 프로젝트를 위한 자원을 확보했다. 하지만 박스가 최초 호출 해결을 KPI로 측정했다면 이 변화로 인해 백분율이 크게 저하되었을 가능성이 높다.

CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.



2018.12.21

'업타임 99.999면 잘한걸까?'·· 제대로 된 IT 성과지표(KPI) 구축·활용법

Minda Zetlin | CIO
직무의 모든 측면이 변화했다. 이제는 성과 지표도 바뀔 때다. 여기 디지털 시대에 IT의 비즈니스 가치를 입증하는 방법을 정리했다. 

통신 네트워킹 기업 시에나(Ciena)의 CIO 크레이그 윌리엄스는 2019년 회사의 경영진이 IT팀을 어떻게 평가할지 정확히 알고 있다. 그들은 인재 관리(공석 확충까지의 소요 기간, 리더십 개발 수료 직원 수 등), 수익 참여(IT 직원당 매출), 변화 관리(새로운 소셜 미디어, 데이터, 협업 툴 도입율) 등과 같은 각종 지표를 살펴볼 것이다.

과거와 크게 달라진 지표들이다. 윌리엄스는 "과거 IT는 주로 업타임(Uptime)과 SLA(Service Level Agreement) 충족 등을 기준으로 평가됐다”라고 말했다. 지금 지금껏 IT는 99.999% 가용성을 목표로 삼고 해결된 티켓의 수에 대한 목표를 가지곤 했다. 

윌리엄스는 지금도 이런 지표를 유지하고 있지만 "핵심 요구는 이제 가치, 비즈니스 지원, 수익 기여 이익 쪽으로 바뀌었다"라고 말했다.

2017년 900명의 IT 리더를 대상으로 통합 통신 기업 퓨즈(Fuze)가 실시한 설문조사에서 3/4 이상이 IT가 비즈니스 성공을 유도하고 IT의 혁신 능력이 비즈니스에 필수적이라고 생각한다고 답했다. 

하지만 응답자 대부분은 비즈니스 책임자들이 비용 절감에 집착한다고 생각했으며 49%는 IT 부서의 성공이 제대로 측정되지 않았다고 밝혔다. "설문조사 결과 IT 전문가들은 혁신과 변화에 대한 능력을 평가 받는 것에 대해 꽤 관심이 있었다"라고 퓨즈의 CIO 크리스 콘리가 말했다.

분명 IT 리더들은 비즈니스 리더의 파트너로서 자리잡고 싶어하며 조직을 디지털 미래로 안내할 준비가 되어 있다. 그렇다면 아직도 임원진의 눈길을 끌지 못하는 구식 지표로 자신의 성공을 측정하는 사람이 많은 이유는 무엇일까? 
 
Image Credit : Getty Images Bank



KPI(Key Performance Indicator)를 비즈니스 목표나 결과에 연계시킬 수 없다면, 진정한 가치를 제공하지 못하는 "무의미한 지표"라고 디지털 경험 모니터링 기업 캐치포인트(Catchpoint)의 이사 던 파지흐가 말했다.

IT 리더가 측정을 멈추거나 최소한 비즈니스 담당자에게 더 이상 이야기하지 말아야 할 KPI는 무엇이 있을까? 그 예와 함께 대안을 살펴본다. 

업타임(Uptime)
"100%에 가까운 업타임은 더 이상 성공의 표시가 아니다. 당연한 것이다"라고 일리노이의 네이퍼빌(Naperville, Illinois)에 위치한 의료 IT 컨설팅 기업 IA(Impact Advisors)의 부사장 아담 탤링어가 말했다. 

그는 이어 "수도꼭지에서 물이 나올 때마다 배관공을 응원할 필요는 없다. 수도꼭지를 돌렸는데 물이 나오지 않으면 문제가 있는 것이다"라고 덧붙였다.

여러 KPI와 마찬가지로 업타임 자체만 보게 되면 오해할 수 있다. 예를 들어, 가상화된 소프트웨어 계층이 포함된 시스템이 있다. 네트워크는 제대로 기능할 수 있지만 그런 가상화 계층이 제대로 작동하지 않으면 사용자는 여전히 필요한 앱에 액세스할 수 없다. "이것을 업타임이라고 부른다면 거짓말이다"라고 그가 말했다.

파지흐도 동의했다. 업타임이 유용할 수는 있지만 비즈니스 결과와 직접 연계되었을 경우에만 그렇다는 설명이다. "가용성도 중요하지만 SLA에 어떤 영향을 끼치는지도 중요하다. 고객들과 사이트의 99.99% 가용성에 대해 계약하는 경우 비즈니스 리더는 해당 SLA의 맥락에서 가용성을 고려할 것이다"라고 그녀는 말했다.

심지어 SLA가 없더라도 웹사이트 다운타임(Downtime)은 고객 만족도에 큰 영향을 끼칠 수 있으며, 사이버 먼데이(Cyber Monday)에 사이트가 다운되는 경우에는 더욱 그럴 것이라고 파지흐는 덧붙였다.

단 비즈니스 담당자와 이런 정보를 공유하지 않더라도 업타임은 IT가 주된 의무를 충족하기 위해 수집해야 하는 기본적인 지표 중 하나라고 오라일리 미디어(O'Reilly Media)의 수석 데이터 사이언티스트 벤 로리카가 말했다. 

그는 "서비스를 항상 유지되어야 한다. 확인목록을 통해 유용하지 않은 KPI를 제외할 수는 있지만 상황 유지를 위해 추적해야 하는 지표의 기준이 있다"라고 말했다.

MTTR(Mean Time To Repair)
MTTR은 오해의 소지가 있는 지표이다. 특히 IT 직원이 이를 이용해 자신의 성과가 평가된다는 사실을 알고 있을 때는 더욱 그렇다.

파지흐는 "보상과 연결되는 경우 왜곡의 소지가 있다. 티켓을 완전히 해결하기 전에 종료되기도 한다. 그렇게 되면 나중에 새로운 티켓이 열린다. 다양한 방식으로 조작이 가능하다. MTTR은 분명 추적해야 할 매우 중요한 지표이지만 정확히 추적해야 한다. 다른 지표와 어떻게 연계되어 있는지 자문해 보아야 한다"라고 말했다.

의도적인 조작이 없더라도 MTTR은 여러 요소를 고려하지 못하기 때문에 그다지 유용하지 않을 수 있다고 탤링어가 말했다. "심지어 다운타임이 없는 고장 해결 문제에도 MTTR을 사용할 수 있다. 아니면 부서 또는 기업 전체가 아니라 한 사용자에게만 영향을 끼치고 있을 수 있다. 그 문제가 얼마나 중요한지는 그리 감안되지 않는다"라고 말했다.

게다가 그는 해결 시간 제대로 된 지표가 아닌 경우가 많다며 "몇 초 만에 해결되는 문제도, 몇 개월이 걸리는 문제도 있다. 만족스러운 해결이 있고 미봉책일 수도 있다. 해결 시간 만으로는 측정되지 않는 변인들이다”라고 설명했다.

최초 호출 해결(First call resolution)
이 또한 단순히 적용하기에는 몹시 불확실한 KPI라고 탤링어가 말했다. "문제에 따라 크게 좌우된다. 누군가 비밀번호를 잊어버리는 경우 최초 호출 해결 비율은 매우 높겠지만 2차 또는 3차 지원으로 적절히 전달되는 문제의 경우에는 그렇지 않을 것이다"라고 그는 말했다.

예를 들어, 온라인 저장소 기업 박스(Box)는 최근 잊어버린 비밀번호를 처리하는 방식을 바꾸었다. 예전에는 잘못된 비밀번호를 3회 입력하면 직원의 계정이 한 시간 동안 잠겼었다. 하지만 박스의 IT팀은 최근 휴대폰을 이용한 이중 인증을 이용하여 스스로의 계정을 잠금 해제하는 툴을 배치했다. 이런 단순한 변화로 매월 약 2,000건의 업무 지원 센터 호출이 사라졌다. 

박스 IT 팀의 이 시도는 사용자 경험을 개선했으며 반복적인 작업을 없애 IT 작업의 지루함을 달래 주었고 IT 프로젝트를 위한 자원을 확보했다. 하지만 박스가 최초 호출 해결을 KPI로 측정했다면 이 변화로 인해 백분율이 크게 저하되었을 가능성이 높다.

CIO의 프리미엄 콘텐츠입니다. 이 기사를 더 읽으시려면 개인정보 등록이 필요합니다. 이미 등록하신 분은 '본인확인'을 해주십시오.

X