미 정부가 빅 데이터 분석을 다뤄낼 수 있을까?

최초의 대상 프로젝트들을 보면, 미국 퇴역 군인국(Department of Veterans Affair)의 블루 버튼 이니셔티브(Blue Button Initiative)의 연장선상에 있는 블루 버튼 포 아메리카(Blue Button for America)와 백악관이 오픈 데이터 이니셔티브(Open Data Initiative)라고 부르는 프로젝트의 오픈-엔드 세트가 있다.

오픈 데이터 이니셔티브는 빅 데이터 이니셔티브와는 다른 권한을 가지고 있지만, 그 둘 사이의 시너지 효과는 분명하다. 오픈 데이터 이니셔티브는 이노베이션 펠로우 프로그램의 전략적 목표를 달성하기 위해 정부 데이터(그리고 기증된 기업 데이터)를 ‘해방(liberating)’시키는데 집중하는 것이다.

데이터를 해방시킨다는 뜻은 무엇일까? 이제는 TV의 모든 일기 예보의 핵심이 된 NOAA 기상 데이터와 우리의 길을 찾는데 없어서는 안될 GPS(Global Positioning System)가 그 두 가지 예로 언급된다.
이런 예들 중에서, NOAA 기상 데이터는 빅 데이터와 관련한 난제를 분명히 보여준다. 그런 거대한 데이터 세트의 가치는, 단순히 기상 데이터 그 자체에 달려있는 것이 아니라 그 데이터에 기반해 날씨를 예측할 수 있는 능력에 달려있는데, 이 점이 바로 모든 빅 데이터가 전형적으로 직면한 문제다.

국민 관점에서 보면, 정확한 예보의 가치만 인정하게 된다. 예보 엔진에 투입되는 어마어마한 양의 역사적 기상 데이터는 원하는 금을 끄집어 내기 위해 파내야 하는 잡석일 뿐이다.

그 점이 오픈 데이터 이니셔티브가 처한 어려움이다. 더 많은 데이터를 가지고 있을수록, 데이터 세트 자체의 가치는 떨어진다. 진정 원하는 정보는 관련성이 떨어지거나 아예 쓸모가 없는 정보양의 증가 속에 묻히게 된다. 정부가 더 많은 정보를 국민에게 제공할수록, 찾고자 하는 금맥은 더욱 찾기 힘들어 진다는 게 이런 현상의 위험성이다.

다시 말하면, 효과적인 빅 데이터 솔루션의 부재로 인해, 진정으로 열린 행정부를 제대로 활용하기 어렵고, 오히려 국민들이 가장 가치 있다고 여기는 그 핵심 정보를 모호하게 하는데 사용될 가능성도 있다.

국민의 정보권으로 인해 빅 데이터 어려움이 늘었다
이런 원치 않던 결과가 개방성을 강조한 오바마 대통령의 열린 정부 이니셔티브(Open Government Initiative)의 의도는 분명히 아닐 것이다. 물론, 군사 비밀, 개인의 사적 데이터, 진행중인 형사 조사 연관 정보 등 정부가 공유하지 못하고, 해서는 안되는 유형의 정보들이 있다. 그러나 그런 민감한 정보들의 목록은 분명히 정해져 있으며, 수도 제한적이다. 다른 모든 정부 정보는 누구나 이용할 수 있다.

만약 그런 정보에 접속하고 싶다면, 오바마 행정부가 능동적으로 모든 시민들에게 정보를 공개했기 때문에, 간편히 관련 기관의 웹사이트로 가기만 하면 된다. 원하는 정보를 찾을 수 없다면, 미국 정보 자유법(Freedom of Information Act)에 근거하여 요청하면 된다. 이 법안은 1960년대에 통과되었고, 워터게이트(Watergate) 추문사건을 계기로 1974년 미국 국회는 이 법안을 연장했다. 오늘날 미국 정부는 매년 50만건이 넘는 정보 자유법 요청을 받는데, 지금도 해결 처리 대기량만 현재 8만건에 달한다.

특정 문서나 다른 정보, 예를 들어 FBI의 스티브 잡스 뒷조사처럼, 보통은 시민이 정보 자유법을 신청한다. 그런 문서가 역사적, 인간사적 가치는 인정해야 하지만, 빅 데이터 분석이 잠재적으로 드러낼 수 있는 금맥에 비교하면 오히려 퇴색되는 실정이다.

그러나 빅 데이터에는 그런 요청을 넣을 형식 자체가 불분명하기 때문에, 빅 데이터 분석 결론의 정보 자유법 요청은 제출 불가능할 것으로 보인다. 빅 데이터 분석은 보통, “이 대규모 데이터 세트로부터 내가 도출해낼 수 있는 중요하거나 흥미로운 결론은 무엇인가?”라는 질문을 하지, 특정 정보 조각을 요구하지 않는다.

탁월한 빅 데이터 분석은 어떤 정보가 중요할지 예측하도록 하기보다, 어떤 정보를 중요하게 생각해야 하는지를 알려주는 것이다.

그러므로 정부 기관은 두 가지 전략적인 빅 데이터 어려움에 직면해있다. 첫째는, 적절한 정보가 노이즈에 가려지는 것을 방지해야 하고, 둘째는 시민들이 요청하는 정보의 중요성을 미리 알지 못하더라도 정부로부터 중요 정보 요청을 자유롭게 허용해야 한다. 그 모든 것에 더해서, 데이터 세트가 커질수록, 정부 기관들의 어려움도 커지는 것은 물론이다.

미국 정부는 열린 데이터와 열린 정부를 얼마든지 띄울 수 있지만, 빅 데이터 솔루션을 제대로 잡지 않는다면, 시민들이 무관한 정보의 바다에서 허우적거릴 위험에 빠트릴 수 있다. 대통령 혁신 펠로우가 해결해야 할 일이 바로 이것이다.

 *Jason Bloomberg는 잽씽크의 대표다. ciokr@idg.co.kr