KPI(Key Performance Indicator)를 비즈니스 목표나 결과에 연계시킬 수 없다면, 진정한 가치를 제공하지 못하는 "무의미한 지표"라고 디지털 경험 모니터링 기업 캐치포인트(Catchpoint)의 이사 던 파지흐가 말했다.
IT 리더가 측정을 멈추거나 최소한 비즈니스 담당자에게 더 이상 이야기하지 말아야 할 KPI는 무엇이 있을까? 그 예와 함께 대안을 살펴본다.
업타임(Uptime)
"100%에 가까운 업타임은 더 이상 성공의 표시가 아니다. 당연한 것이다"라고 일리노이의 네이퍼빌(Naperville, Illinois)에 위치한 의료 IT 컨설팅 기업 IA(Impact Advisors)의 부사장 아담 탤링어가 말했다.
그는 이어 "수도꼭지에서 물이 나올 때마다 배관공을 응원할 필요는 없다. 수도꼭지를 돌렸는데 물이 나오지 않으면 문제가 있는 것이다"라고 덧붙였다.
여러 KPI와 마찬가지로 업타임 자체만 보게 되면 오해할 수 있다. 예를 들어, 가상화된 소프트웨어 계층이 포함된 시스템이 있다. 네트워크는 제대로 기능할 수 있지만 그런 가상화 계층이 제대로 작동하지 않으면 사용자는 여전히 필요한 앱에 액세스할 수 없다. "이것을 업타임이라고 부른다면 거짓말이다"라고 그가 말했다.
파지흐도 동의했다. 업타임이 유용할 수는 있지만 비즈니스 결과와 직접 연계되었을 경우에만 그렇다는 설명이다. "가용성도 중요하지만 SLA에 어떤 영향을 끼치는지도 중요하다. 고객들과 사이트의 99.99% 가용성에 대해 계약하는 경우 비즈니스 리더는 해당 SLA의 맥락에서 가용성을 고려할 것이다"라고 그녀는 말했다.
심지어 SLA가 없더라도 웹사이트 다운타임(Downtime)은 고객 만족도에 큰 영향을 끼칠 수 있으며, 사이버 먼데이(Cyber Monday)에 사이트가 다운되는 경우에는 더욱 그럴 것이라고 파지흐는 덧붙였다.
단 비즈니스 담당자와 이런 정보를 공유하지 않더라도 업타임은 IT가 주된 의무를 충족하기 위해 수집해야 하는 기본적인 지표 중 하나라고 오라일리 미디어(O'Reilly Media)의 수석 데이터 사이언티스트 벤 로리카가 말했다.
그는 "서비스를 항상 유지되어야 한다. 확인목록을 통해 유용하지 않은 KPI를 제외할 수는 있지만 상황 유지를 위해 추적해야 하는 지표의 기준이 있다"라고 말했다.
MTTR(Mean Time To Repair)
MTTR은 오해의 소지가 있는 지표이다. 특히 IT 직원이 이를 이용해 자신의 성과가 평가된다는 사실을 알고 있을 때는 더욱 그렇다.
파지흐는 "보상과 연결되는 경우 왜곡의 소지가 있다. 티켓을 완전히 해결하기 전에 종료되기도 한다. 그렇게 되면 나중에 새로운 티켓이 열린다. 다양한 방식으로 조작이 가능하다. MTTR은 분명 추적해야 할 매우 중요한 지표이지만 정확히 추적해야 한다. 다른 지표와 어떻게 연계되어 있는지 자문해 보아야 한다"라고 말했다.
의도적인 조작이 없더라도 MTTR은 여러 요소를 고려하지 못하기 때문에 그다지 유용하지 않을 수 있다고 탤링어가 말했다. "심지어 다운타임이 없는 고장 해결 문제에도 MTTR을 사용할 수 있다. 아니면 부서 또는 기업 전체가 아니라 한 사용자에게만 영향을 끼치고 있을 수 있다. 그 문제가 얼마나 중요한지는 그리 감안되지 않는다"라고 말했다.
게다가 그는 해결 시간 제대로 된 지표가 아닌 경우가 많다며 "몇 초 만에 해결되는 문제도, 몇 개월이 걸리는 문제도 있다. 만족스러운 해결이 있고 미봉책일 수도 있다. 해결 시간 만으로는 측정되지 않는 변인들이다”라고 설명했다.
최초 호출 해결(First call resolution)
이 또한 단순히 적용하기에는 몹시 불확실한 KPI라고 탤링어가 말했다. "문제에 따라 크게 좌우된다. 누군가 비밀번호를 잊어버리는 경우 최초 호출 해결 비율은 매우 높겠지만 2차 또는 3차 지원으로 적절히 전달되는 문제의 경우에는 그렇지 않을 것이다"라고 그는 말했다.
예를 들어, 온라인 저장소 기업 박스(Box)는 최근 잊어버린 비밀번호를 처리하는 방식을 바꾸었다. 예전에는 잘못된 비밀번호를 3회 입력하면 직원의 계정이 한 시간 동안 잠겼었다. 하지만 박스의 IT팀은 최근 휴대폰을 이용한 이중 인증을 이용하여 스스로의 계정을 잠금 해제하는 툴을 배치했다. 이런 단순한 변화로 매월 약 2,000건의 업무 지원 센터 호출이 사라졌다.
박스 IT 팀의 이 시도는 사용자 경험을 개선했으며 반복적인 작업을 없애 IT 작업의 지루함을 달래 주었고 IT 프로젝트를 위한 자원을 확보했다. 하지만 박스가 최초 호출 해결을 KPI로 측정했다면 이 변화로 인해 백분율이 크게 저하되었을 가능성이 높다.