칼럼 | 요란한 수레, 빛 좋은 살구··· 범람하는 IT 서베이를 걸러들을 이유

무언가를 탐색하는 중인가? 그렇다면 확실히 해야 한다. 진짜 증거를 필요로 하는 상황인지, 그저 이름값만 있으면 되는 상황인지다. 오늘날의 수많은 IT 서베이는 아주 제한적인 정보만 제공할 뿐이다. 

수학적 이론에 따르면 정보는 불확실성을 줄여준다. 예를 들어, 동전을 두 번 던졌다고 이야기한다면 확률이 같은 4개의 결과 중 하나가 나왔을 것이다. 하지만 첫번째 던졌을 때 뒷면이 나왔다고 이야기한다면 가능한 결과의 수가 반으로 줄어든다(뒤/앞 또는 뒤/뒤).

이렇게 정보는 불확실성을 줄여준다. 사실 우리가 IT 분야에서 하는 모든 일이 이와 크게 다르지 않다. ‘비트’가 작동하고 영향을 미치는 과정이 그렇다.

하지만 우리의 산업을 파악하려 할 때, 콘텐츠가 특정 주제에 관해 딱히 유용하게 불확실성을 줄여주지 못하는 경우가 많다.

이 이야기를 하는 이유가 있다. 그 중 하나는 IT 활동에 대한 조사하는 관행 측면에서 서베이가 지배적이며, 설문조사의 결과는 일반적으로 뻔한 템플릿을 따르기 때문이다. 'Y의 X%가 Z를 하거나 할 계획'이라는 양식이다. 즉, 서베이는 무언가를 하는(또는 할) 사람이나 조직이 얼마나 되는지에 대한 불확실성을 줄여줄 뿐이다. 그리고 이조차도 응답자들에 대한 신뢰도 문제로 인해 명확하지 않다.
 

답변을 믿을 수 없다
CIO의 서베이 응답에서 애플리케이션 포트폴리오를 합리화할 계획이라고 밝힌 예를 살펴보자. ‘그렇다’라고 답했다고 해서 그들이 이를 위한 예산을 확보할 것이라는 의미는 아니다. 한 질문에 대한 ‘그렇다’는 답변은 애달픈 동경인 경우가 많다. 그들이 가능하다면 하고 싶은 일인 것이다.

또는, 그들 중 일부는 명망 있는 리서치 기업으로부터 조사를 받고 있는 중이다. 그 질문의 의미가 무엇인지 모른다는 사실을 인정하고 싶지 않다. 또는, 계획이 없을지라도 최신 트렌드에 부응하지 못하고 있음을 인정하기가 창피할 수도 있다.

대부분의 경우 서베이의 결과는 다음과 같이 귀결된다. 당신은 회사가 무엇인가를 해야 한다고 생각한다. 누군가의 조사는 어떤 기준과 해당 주제를 결부시킨다. 어떤 기준은 중요해 보인다. 하지만 실제로 조사를 통해 일련의 활동을 정당화하는 것은 단순히 대장 따라하기 놀이를 하는 것과 별반 다르지 않다.

누구를 측정하느냐가 응답자의 말보다 중요할 수 있다
또한 조사 다수는 기업 이름뿐 아니라 특정 직위 등 응답한 사람의 정보가 수반되지 않기 때문에 불확실성을 줄이지 못한다. CIO에게 내년의 지출 계획에 관해 질문한 결과를 CEO 또는 CMO의 실제 계획과 비교해보면 응답이 일치할 확률이 매우 낮다.

오차 막대(Error Bar)는 가짜 정확성(false precision)
예전보다 나아지기는 했다. 조사를 진행한 기관들이 샘플 크기를 밝히는 비율이 늘고 있다. 하지만 이 정보를 사용하여 오차 막대를 조사할 시간과 에너지가 있는 사람이 있을까? 직접 오차 막대를 조사하더라도 (불확실성과 그 감소에 관한 이야기가 나왔으니 말이지만) 오차 막대에는 흥미로운 특성 하나를 실감하게 된다. 조사 결과의 확실성을 더 의심하게 만든다는 점이다.

오차 막대는 조사 진행자들이 가짜 정확성이라는 죄를 범하는 상황에서 유용한 해결책이다. 즉, 그들은 청중들에게 응답자의 53.7%가 무엇인가를 하고 있다고 말했다는 "정보를 제공"할 수 있다. 그러나 이것은 마치 축구공을 유리한 방향으로 밀치려는 선수들이 가득한 경기장에서 심판들이 공을 공정해 보이는 위치에 둔 후 공격팀이 첫번째 다운을 획득했는지 여부를 마이크로미터 수준의 정밀도로 측정하는 것과 비슷하다.

조사자가 결과를 왜곡시킨다
그리고 최종적인 문제가 있다. IT 세계에서는 조사를 수행하고 결과를 보고하는 많은 유명 기업들이 스스로를 산업 부문의 선구자적 사상가로 여기며, 그들의 주장에 대한 논리적인 환상성을 도외시하고 있다. 

이러한 지적들이 IT 리서치 업계에 공정하지 못한 트집으로 여겨질 수 있겠다. 어쨌든, 조사를 위해 n에 대한 적절한 값을 확보하는 일조차도 충분히 어렵다. 

그럼에도 불구하고,

일반적인 서베이의 핵심은 청중들에게 특정 제품, 기술 클래스, 관리 활동, 인력 선호 등에 관심을 갖기에 충분히 중요하다고 알려주는 데 있는 것이 현실이다.

‘중요함’에 대한 정의가 ‘상당한 수의 사람들이 그렇게 말한다’에서처럼 ‘상당하다’인 경우 조사를 통해 이를 달성할 수도 있다.

하지만 세계의 역사를 보면 다수의 의견이 잘못되었던 경우가 많다. IT 분야에서는 과거 조사 결과에 따르면 IBM의 OS/2 운영체제는 성공이 보장된 것이 마찬가지였지만 그 끝은 불행했다. (일부 독자들의 의견은 다를 수 있겠다.)

적용 가능한 해독제
사실 앞선 지적들은 그저 입바른 소리일 수 있다. 해결책을 제시하지 않고 문제만 제기하는 형국일 수 있어서다. IT 분야의 수많은 서베이가 기업이 투자해야 하는 IT 서비스, 바뀌어야 하는 IT 관리 활동, 변화 방법 등 중요할 가능성이 높은 새로운 기술을 판단하는 데 도움이 될만큼 유용하지 않다면 좀더 유용한 것은 무엇일까?

다음의 답변이 딱히 실증적인 것은 아니지만 도움이 될 수 있다. 다음의 질문들을 참고한다.

1. 우리가 해결하려는 문제 또는 기회는 무엇인가? 해결할 필요가 있을 만큼 충분히 중요한가?

2. 우리가 조사하고 있는 해결책은 문제 또는 기회를 어떻게 해결하며 해결책은 타당한가?

3. 이 해결책이 극복해야 하는 모든 형태의 타성을 극복하기 위한 계획은 무엇인가?

4. 한 출판사가 다가와 특정 작가에게 특정 솔루션의 성공에 관한 이야기를 써달라고 요청하는 상황을 상상해보자. 아마존 평균 점수가 별점 3개에 그치고 평가란에 “아무리 소설이라도 너무 멍청해서 읽는 시간이 아깝다”라고 댓글이 달리는 작가에게 의뢰 하겠는가?

서베이는 증거 기반의 접근방식은 아니다. 물론 서베이 다수가 다루는 대상은 미래다. 그리고 미래에 관해 흥미로운 점은 확실한 사실이 전혀 없다는 것이다.

적어도 아직은 그렇다.

* Bob Lewis는 IT 비즈니스 전략 및 통합 분야를 전문으로 하는 IT 컨설턴트다. ciokr@idg.co.kr