2012.10.24

미 정부가 빅 데이터 분석을 다뤄낼 수 있을까?

Jason Bloomberg | CIO

도대체 빅 데이터는 얼마나 큰 걸까? 빅 데이터의 거품을 이야기하는 게 아니다. 빅 데이터와 관련한 거품이 얼마나 큰지는 우리도 이미 알고 있다. 그보다는, 빅 데이터로 간주되려면 데이터 세트가 얼마나 커야 되는지에 대한 질문이다.

사실 이 질문에 정답은 없다. 빅 데이터는 상대적인 표현이기 때문이다. 빅 데이터는 데이터 세트와 해당 데이터 어려움들이 너무나도 커서, 전통적인 데이터 관리와 분석 방식으로는 우리가 가진 정보로부터 우리가 원하는 가치를 모두 짜내기 힘들어지는 규모를 말한다. 결과적으로, 우리의 툴과 기술이 발전함에 따라, 빅 데이터의 ‘크기’ 기준도 점차적으로 올라갈 것이다.

또한 이 기준은 일반적으로 업계 내에서 조정되는 데이터의 전후관계에 달려있다. 유전자 연구, 기상 예보, 그리고 기타 과학 연구 등이 데이터 세트 사이즈의 한계를 시험하지만, 고객에 대한 정보를 수집하는 모든 사업체들 역시 데이터 용량과 관련해 어려움을 겪을 수 있다.

파킨슨의 데이터 법칙(Parkinson’s Law of Data)를 명심해볼 만하다. 이용 가능한 데이터의 양이 데이터를 위해 준비된 공간을 채우기 위해 확대된다는 법칙이다. 데이터 생성, 이동, 저장 기술이 발전하면서, 빅 데이터 기준은 계속 올라갈 것이다. 지속적인 기술 향상이 정보의 취득을 주도하는 것으로 측면도 있는데, 자칫 빅 데이터 전략까지 여기에 휩쓸릴 수 있다.

가장 중요한 빅 데이터 과제는 그런 거대한 데이터 세트로부터 어떻게 가치를 끌어내느냐다. 특히 그런 희귀한 보석들을 중요하고 의미 있고 통찰 있는 알짜배기를 노이즈의 홍수 속에서 발굴해 내기란 쉽지 않다.

정보를 더 많이 가지고 있을수록, 실제 기대치가 낮아지는 측면이 있다. 데이터 그 자체가 아니라 빅 데이터를 분석한 결과만 소중히 여기기 때문이다. 금이 묻혀있는 산이라도, 금을 캐내기 위한 비용이 금의 가치를 넘어서면 산의 크기와 상관없이 쓸모없는 것과 마찬가지다.

빅 데이터 금광 위에 앉아 있는 미국 정부
오늘날, 미국 정부는 빅 데이터 산과 마주하고 있다. 미국 국립 해양 대기청(National Oceanic and Atmospheric Administration: NOAA)의 기상 데이터, 미국 지질 조사소(U.S. Geological Survey: USGS)의 지구 과학 정보, 미국 국립 보건원(National Institute of Health: NIH)의 유전자 데이터 등등이다. 미국 정부는 어쩌면 지구상에서 가장 큰 빅 데이터 세트들을 보유하고 있다고 볼 수 있다.

이는 비교 불가능할 정도로 가치가 지니지만, 거기에서 금을 추출해내지 못하는 한 쓸모가 없다. 이 금을 캐내기 위해, 오바마 행정부는 지난 3월 빅 데이터 연구와 개발 이니셔티브(Big Data Research and Development Initiative)를 발표했다.

5개의 기관에서 빅 데이터 툴과 기술을 향상시키는데 2억달러 가량을 투자한다는 내용이다. 앞서 이야기한 NIH, USGS는 물론 미국 국립 과학 재단(National Science Foundation), 미국 국방부(Department of Defense: DOD), 미국 에너지부(Department of Energy: DOE)등이 그 다섯 기관이다.

이 기관들과 행정부가 진행할 데이터 관련 과제들로는, 과학적 데이터를 고속 처리하는데 DOE의 수퍼컴퓨터를 더 잘 이용하는 것에서부터 다양한 DOD 임무를 위한 “급속 주문 제작이 가능한 비주얼 리즈닝(visual reasoning)”에 이르기까지 다양한 것들이 있다.

이런 것들은 가치 있는 금덩이들이고, 넓은 시각에서 보면 2억 달러의 비용은 사실 오히려 싼 편이라 볼 수 있다. 그러나 빅 데이터에 대한 오바마 행정부의 투자는 거기에서 멈추지 않는다. 지난 8월 백악관은 “미국인들의 삶을 향상시키고, 세금을 절약하고, 일자리를 늘리기” 위한 목표를 가진 프로젝트들에 혁신 팀들의 협조를 도모하는 대통령 혁신 펠로우(Presidential Innovation Fellows) 프로그램을 발표했다.




2012.10.24

미 정부가 빅 데이터 분석을 다뤄낼 수 있을까?

Jason Bloomberg | CIO

도대체 빅 데이터는 얼마나 큰 걸까? 빅 데이터의 거품을 이야기하는 게 아니다. 빅 데이터와 관련한 거품이 얼마나 큰지는 우리도 이미 알고 있다. 그보다는, 빅 데이터로 간주되려면 데이터 세트가 얼마나 커야 되는지에 대한 질문이다.

사실 이 질문에 정답은 없다. 빅 데이터는 상대적인 표현이기 때문이다. 빅 데이터는 데이터 세트와 해당 데이터 어려움들이 너무나도 커서, 전통적인 데이터 관리와 분석 방식으로는 우리가 가진 정보로부터 우리가 원하는 가치를 모두 짜내기 힘들어지는 규모를 말한다. 결과적으로, 우리의 툴과 기술이 발전함에 따라, 빅 데이터의 ‘크기’ 기준도 점차적으로 올라갈 것이다.

또한 이 기준은 일반적으로 업계 내에서 조정되는 데이터의 전후관계에 달려있다. 유전자 연구, 기상 예보, 그리고 기타 과학 연구 등이 데이터 세트 사이즈의 한계를 시험하지만, 고객에 대한 정보를 수집하는 모든 사업체들 역시 데이터 용량과 관련해 어려움을 겪을 수 있다.

파킨슨의 데이터 법칙(Parkinson’s Law of Data)를 명심해볼 만하다. 이용 가능한 데이터의 양이 데이터를 위해 준비된 공간을 채우기 위해 확대된다는 법칙이다. 데이터 생성, 이동, 저장 기술이 발전하면서, 빅 데이터 기준은 계속 올라갈 것이다. 지속적인 기술 향상이 정보의 취득을 주도하는 것으로 측면도 있는데, 자칫 빅 데이터 전략까지 여기에 휩쓸릴 수 있다.

가장 중요한 빅 데이터 과제는 그런 거대한 데이터 세트로부터 어떻게 가치를 끌어내느냐다. 특히 그런 희귀한 보석들을 중요하고 의미 있고 통찰 있는 알짜배기를 노이즈의 홍수 속에서 발굴해 내기란 쉽지 않다.

정보를 더 많이 가지고 있을수록, 실제 기대치가 낮아지는 측면이 있다. 데이터 그 자체가 아니라 빅 데이터를 분석한 결과만 소중히 여기기 때문이다. 금이 묻혀있는 산이라도, 금을 캐내기 위한 비용이 금의 가치를 넘어서면 산의 크기와 상관없이 쓸모없는 것과 마찬가지다.

빅 데이터 금광 위에 앉아 있는 미국 정부
오늘날, 미국 정부는 빅 데이터 산과 마주하고 있다. 미국 국립 해양 대기청(National Oceanic and Atmospheric Administration: NOAA)의 기상 데이터, 미국 지질 조사소(U.S. Geological Survey: USGS)의 지구 과학 정보, 미국 국립 보건원(National Institute of Health: NIH)의 유전자 데이터 등등이다. 미국 정부는 어쩌면 지구상에서 가장 큰 빅 데이터 세트들을 보유하고 있다고 볼 수 있다.

이는 비교 불가능할 정도로 가치가 지니지만, 거기에서 금을 추출해내지 못하는 한 쓸모가 없다. 이 금을 캐내기 위해, 오바마 행정부는 지난 3월 빅 데이터 연구와 개발 이니셔티브(Big Data Research and Development Initiative)를 발표했다.

5개의 기관에서 빅 데이터 툴과 기술을 향상시키는데 2억달러 가량을 투자한다는 내용이다. 앞서 이야기한 NIH, USGS는 물론 미국 국립 과학 재단(National Science Foundation), 미국 국방부(Department of Defense: DOD), 미국 에너지부(Department of Energy: DOE)등이 그 다섯 기관이다.

이 기관들과 행정부가 진행할 데이터 관련 과제들로는, 과학적 데이터를 고속 처리하는데 DOE의 수퍼컴퓨터를 더 잘 이용하는 것에서부터 다양한 DOD 임무를 위한 “급속 주문 제작이 가능한 비주얼 리즈닝(visual reasoning)”에 이르기까지 다양한 것들이 있다.

이런 것들은 가치 있는 금덩이들이고, 넓은 시각에서 보면 2억 달러의 비용은 사실 오히려 싼 편이라 볼 수 있다. 그러나 빅 데이터에 대한 오바마 행정부의 투자는 거기에서 멈추지 않는다. 지난 8월 백악관은 “미국인들의 삶을 향상시키고, 세금을 절약하고, 일자리를 늘리기” 위한 목표를 가진 프로젝트들에 혁신 팀들의 협조를 도모하는 대통령 혁신 펠로우(Presidential Innovation Fellows) 프로그램을 발표했다.


X