김진철의 How-to-Big Data | 빅데이터 수집에 관한 생각 (3)

LHC 실험을 분석할 때 사용하는 양자역학 및 양자장론의 핵심 아이디어 중의 하나는, 우리가 자연의 어떤 대상을 관찰하는 행위 그 자체가 대상에 영향을 주어 대상을 변화시키기 때문에, 관찰, 측정하는 결과를 해석할 때 이렇게 관찰과 측정 과정 자체가 대상에 주는 변화를 고려해서 해석해야 한다는 것이다. 이런 양자역학의 기본 생각은 우리가 개인 정보를 수집하거나, 센서 네트워크를 통해 환경에 대한 정보를 수집할 때에도 비슷하게 적용된다. 특히 대상이 사람인 경우, 위의 감정 조작 실험 논란에서 입증된 바와 같이 사람들의 감정이나 생각에 관련된 데이터를 수집하는 과정 그 자체가 수집되는 데이터에 변화를 줄 수 있다. 이런 효과가 고려되지 않으면, 이런 데이터를 분석해서 얻은 통찰이라는 것은 오히려 잘못된 결정을 내리게 할 수 있으므로 더 위험할 수 있다.

두 번째로, 최근 많이 등장하는 빅데이터는 다양하고 많은 센서를 통해 동시다발적으로 연속적으로 수집되는 데이터이다. 센서들이 측정하는 대상이 사람들이 될 수도 있겠지만, 이런 데이터 수집 방법은 관찰의 대상이 되는 사람들의 의지와는 관계없이 센서 및 측정 기계들의 연속적인 동작을 통해 자동화된 방법으로 수집된다. 이런 센서들은 사람에 대한 데이터도 수집하지만, 보통은 환경이나 기계에 대한 데이터를 연속적으로 수집하는 데 많이 이용된다.

그림 5. 데이터 수집 대상이 센서, 기계인 경우의 다자 플랫폼 비즈니스 모델의 예

왼쪽 아이콘 출처: (위, 아래) iconfinder.com (중간) plainicon.com

센서를 이용한 연속적인 데이터 수집 과정을 위해서는 어떤 센서를 어느 정도의 양으로 어떤 위치에 설치하여 대상에 대한 어떤 정보를 수집할 것인지 설계하는 과정이 필요하다. 최근 아마존이 공개한 무인 온라인 스토어인 아마존고(Amazon Go) 매장을 한번 생각해보자. 우선 매장 안에서 사람들이 구입한 물건이나 사람들의 구매 행동에 관한 정보를 수집하기에 최적인 영상센서와 RFID 등의 센서 설치 장소를 매장 내에서 선별해야 할 것이다. 이러한 센서 설치 장소를 고르기 위해서는 사람들이 물건을 구매할 때 보이는 행동이나 패턴, 스토어안에서 사람들이 구매를 하면서 보이는 행동 양식에 대한 구체적인 정보와 이해가 필요할 것이다. 그래야 이런 정보를 이용해 고객들이 어떤 물건을 구입하려 하는지 센서 데이터를 분석하여 알아낼 수 있기 때문이다. 매장 운영을 위해 가장 중요한 정보인 사람들이 구매한 물건의 종류 및 수량을 영상 센서와 RFID 등의 센서를 통해 알아내기 위해서는 매장 내 전시된 품목들의 위치와 수량에 관한 정보가 센서 정보 처리에 같이 연관되어야 할 것이다.

이렇게 대상으로부터 연속적인 데이터를 기계적이고 자동화된 방식으로 수집할 때에도 데이터를 수집하는 센서나 데이터 수집 장치가 대상의 어떤 정보와 상태를 보는지, 그리고 어떤 원리로 이런 정보와 상태를 데이터로 만드는지 이해하는 것이 필요하다. 센서의 수와 위치가 적절치 않고, 데이터 수집에 꼭 필요한 관련 정보를 수집한 센서 정보와 적절하게 연결하지 못한다면 아무리 많은 데이터를 촘촘하게 모은다 해도 관찰하는 대상에 대한 정확한 정보로 가공할 수는 없을 것이기 때문이다.

위에서 살펴본 바와 같이, 데이터 수집 과정이 비즈니스 모델을 지원할 수 있도록 적절하게 설계되지 않으면 비즈니스를 지탱할 수 있는 적절한 데이터가 아예 수집될 수 없다. 데이터 수집 과정에 필요한 측정 대상과 데이터와의 관계, 데이터 수집 과정에서 얻을 수 있는 데이터의 한계 및 제약, 데이터가 줄 수 있는 대상에 대한 정보의 한계에 대해 적절하게 평가하지 않고 수집한 데이터는 자칫 비즈니스에 영향을 줄 수 있는 중요한 의사 결정을 의미 없게 만들 수 있다.

지금까지 생각해본 데이터 수집 과정의 다양한 이슈를 고려해서, 빅데이터 비즈니스 모델을 어떻게 설계할 것인지 다음 연재에서 같이 살펴보고 데이터 수집에 관한 생각들을 마무리하려고 한다.

[참고문헌]
[1] L. Taylor, “Silicon Pixels.” http://cms.web.cern.ch/news/silicon-pixels, 2011.
[2] Manfred Krammer, The Silicon Inner Tracker of CMS,
http://www.hephy.at/fileadmin/user_upload/Vortraege/UAE-CERN.pdf .
[3] Matteo Centis Vignali, Silicon Sensors for the Upgrades of the CMS Pixel Detector, Ph. D. Dissertation, Universität Hamburg, 2015.
[4] Georg Auzinger, Silicon Sensor Development for the CMS Tracker Upgrade, Ph. D. Dissertation, Technische Universität Wien, 2013.
[5] Manfred Krammer, INSTRUMENTATION AT THE LHC - A CLOSER LOOK TO THE SILICON DETECTOR SYSTEMS, Presentation at the 8th International “Hiroshima” Symposium on the Development and Application of Semiconductor Tracking Detectors at Academia Sinica, Taipei, December 5-8, 2011.
(https://indico.cern.ch/event/135986/contributions/141143/attachments/109602/155972/HSTD8-Krammer_2.pdf )
[6] Manfred Krammer, Frank Hartmann, Silicon Detectors, Lecture at the CERN Winter School - Silicon strips and pixels technologies - part 1, Jan. 31 ~ Feb. 10, 2011. (https://indico.cern.ch/event/124392/contributions/1339904/attachments/74582/106976/IntroSilicon.pdf )
[7] Marko Dragicevic, The New Silicon Strip Detectors for the CMS Tracker Upgrade, Ph. D. Dissertation, Technische Universität Wien, 2010.
[8] The Wall Street Journal 한국어판 2014년 7월 1일자, http://kr.wsj.com/posts/2014/07/01/페이스북-사용자-70만명-모르게-감정-조작-실험
[9] Adam D. I. Kramer, Jamie E. Guillory, and Jeffrey T. Hancock, Experimental evidence of massive-scale emotional contagion through social networks, Proceedings of National Academy of Science (PNAS) Vol. 111, No. 24, June 17, pp. 8788–8790, 2014.