2017.06.27

빅데이터 플랫폼으로 '삶의 질' 높이는 시카고市

Tom Macaulay | Computerworld UK
정부의 데이터 보존량이 지속해서 급증하고 있지만 제대로 활용하지 못하고 고립되는 경우가 많다. 미국의 시카고시(City of Chicago)는 몽고DB(MongoDB)에 구축한 단순한 지도 인터페이스에 데이터 분석을 더하는 자체 애플리케이션으로 긴급 통화부터 조사 기록까지 다양한 데이터 소스의 잠재력을 실현했다.

윈디그릿(WindyGrit)은 도시의 어디에서 언제 이벤트가 발생하고 있는지 확인해 더욱 신속하게 대응하고 거주민들의 삶의 질을 높일 수 있는 실시간 상황인식 애플리케이션이다.



시간이 지남에 따라 시에서 발생하는 온갖 종류의 문제를 파악하기 위해 36개의 데이터 소스를 선별하여 몽고DB 데이터베이스에 통합했다. 여기에는 911전화, 비 긴급 311회선, 사업자등록증, 건축물 위반, 트윗, 도심 교통, 날씨, 긴급 차량, 환경 민원이 포함된다.

시카고시의 CDO(Chief Data Officer) 톰 쉥크는 “도시의 거의 모든 측면을 아우른다. 어떤 부서와 협력할 때 데이터를 추가하고 싶어하는 경우 우리는 이렇게 말한다. ‘문제 없다. 무엇이 필요한가? 이를 통해 무엇을 하고 싶은가?’ 우리는 운영 서비스 및 승인을 위해 늘 애플리케이션 수정을 염두에 두고 있다”고 설명했다.

데이터를 활용해 마라톤 경로, 교통사고, 범죄 활동부터 질병 발생, 마약 과다 복용, 정부가 계획을 관리하는 방법까지 모든 것에 대한 문제를 확인한다.

시카고는 애플리케이션을 이용해 식품 안전 검사도 개선했다. 시카고에는 1만 6,000개의 식당이 있지만 36명의 조사관이 배치돼 있다. 윈디그릿의 예측 분석을 이용해 조사할 식당을 계획하고 있다.

해당 시의 식당들은 모두 지도에 점으로 표시되며 마우스를 가져가면 위반 유형에 대한 정보가 제공된다. 규칙을 추가하여 마지막 조사에서 합격하지 못한 식당을 확인하고 열지도에 표시하여 자주 발생하는 지역을 파악할 수 있다.

날씨, 절도, 위생 문제, 민원, 인근의 주류 또는 담배 허가 등 추가적인 데이터 소스를 통합하여 다양한 인자가 조사 결과에 어떤 영향을 끼치는지 알 수 있다.

그 다음 기본적인 머신러닝은 합격하지 못할 가능성이 높은 식당을 분류할 수 있도록 돕는다. 위생 관리자는 이 정보를 이용해 자원의 우선순위를 설정하고 조사관들을 위험이 높은 곳에만 파견할 수 있다.

중요한 위반을 찾는 것에 대한 예측의 영향력을 측정하기 위해 이중 은폐 연구를 수행하여 팀이 중요한 위반을 발견할 수 있는 속도에 대한 예측의 영향을 측정했다.

쉥크는 “25%나 향상되었다”며 “8주의 기간 동안 중요한 위반을 발견하는데 소요되는 평균 시간을 1주일 이상 단축할 수 있었다”고 이야기했다.

이런 시험은 예측 분석에 기초한 계획의 효과를 확보하는데 필수적이다.

쉥크는 “처음에는 항상 실수하게 된다”고 말했다. 이어서 “우리가 잘못 이해하는 부분이 있어서 실험이 잘못되면 다시 돌아가 수정하고 무엇을 오해했는지 파악한 후 다시 실행에 옮긴다”고 덧붙였다.

또한 이 시스템은 공공 보건 위험을 완화하기 위해 사용되었다. 여름에는 시카고의 모기들이 두통, 구토, 설사, 사망 등을 유발할 수 있는 질병인 웨스트 나일 바이러스(West Nile Virus)를 옮긴다. 윈디그릿을 이용해 시내의 189개 모기 덫 중 가장 많은 모기를 잡은 덫을 거품 지도에 표시했으며 이를 이용해 확산을 제한할 방법에 대한 계획을 수립했다.


윈디그릿 개발
2012년 시카고에서 NATO 및 G8 정상회의가 계획되면서 윈디그릿의 아이디어가 등장했다. 당시 재임 중이던 램 엠마뉴엘 시장은 도심에서 벌어지는 일을 모두 파악하여 도시의 중요 방문객들을 보호해야 했다. 윈디그릿은 중앙의 한 곳에서 이 정보를 제공하기 위해 개발되었다.

몽고DB는 정부가 데이터 모델링에 과도한 시간을 소요하지 않고 새 데이터를 손쉽게 추가하고 위도 및 경도 GPS 좌표를 이용해 지도에서 캡처할 수 있는 데이터베이스를 제공했다.

관계형 데이터베이스 사용 옵션은 추가적인 데이터 소스 추가에 시간이 필요한 추가적인 데이터 모델링 때문에 거부됐다.

쉥크는 “가볍게 반복하고 실험할 수 있는 것이 중요하다”며 “우리는 번잡한 조달 과정을 거치지 않고도 몽고DB를 다룰 수 있다. 이를 통해 오픈소스 기술을 실험할 수 있으며 효과가 있는 경우 확장할 수도 있다”고 설명했다.

첫 번째 판은 6개월이 소요됐으며 이후 두 번째 버전을 개발했다. 그 과정에서 어려움도 있었지만 쉥크는 몽고DB 개발팀의 지원을 통해 이에 대응할 수 있었다.

그는 “몽고는 시카고 전용 패치를 공개했다”며 다음과 같이 설명을 이었다. “우리는 초기에 버그를 발견했으며 우리가 문제를 해결할 수 있도록 전용 패치를 공개했다. 향후 발표될 제품에 이를 통합해 이제는 우리 환경의 일부가 되었다.”

또한 시카고시는 시내의 모든 택시, 우버(Uber), 리프트(Lyft)에 대한 정보를 수집한다. 쉥크는 이제 이 교통 데이터를 윈디그릿에 추가하여 이동의 시작과 끝 지점을 파악하고 이를 중심으로 교통 인프라를 관리하려 하고 있다. 인증과 사용자 제어 수준을 통해 프라이버시에 대한 우려를 완화하며 시민 개인에 대한 정보 수집을 방지한다.

예측을 위한 코드는 오픈소스로 공개돼 누구든 활용하고 다른 사용자들과 자신만의 개선사항을 공유할 수 있다.

식품 조사 모델은 미국의 5개 도시에서 추가 시범 운영하고 있으며 시카고는 최근 런던과 데이터 동맹을 체결했다. 또한 쉥크는 상호 이익을 위해 협업하고 데이터 발견사항을 공유하기 위해 20개 도시가 연합하여 설립한 CAN(Civic Analytics Network)의 의장이기도 하다.

그는 “우리가 하나의 네트워크로 협력한다면 가능하다고 생각한다”며 “오픈소스 솔루션을 이용하고 생산함으로써 다른 곳의 프로젝트를 가져다 도입하기가 훨씬 쉬워진다”고 강조했다. ciokr@idg.co.kr
 



2017.06.27

빅데이터 플랫폼으로 '삶의 질' 높이는 시카고市

Tom Macaulay | Computerworld UK
정부의 데이터 보존량이 지속해서 급증하고 있지만 제대로 활용하지 못하고 고립되는 경우가 많다. 미국의 시카고시(City of Chicago)는 몽고DB(MongoDB)에 구축한 단순한 지도 인터페이스에 데이터 분석을 더하는 자체 애플리케이션으로 긴급 통화부터 조사 기록까지 다양한 데이터 소스의 잠재력을 실현했다.

윈디그릿(WindyGrit)은 도시의 어디에서 언제 이벤트가 발생하고 있는지 확인해 더욱 신속하게 대응하고 거주민들의 삶의 질을 높일 수 있는 실시간 상황인식 애플리케이션이다.



시간이 지남에 따라 시에서 발생하는 온갖 종류의 문제를 파악하기 위해 36개의 데이터 소스를 선별하여 몽고DB 데이터베이스에 통합했다. 여기에는 911전화, 비 긴급 311회선, 사업자등록증, 건축물 위반, 트윗, 도심 교통, 날씨, 긴급 차량, 환경 민원이 포함된다.

시카고시의 CDO(Chief Data Officer) 톰 쉥크는 “도시의 거의 모든 측면을 아우른다. 어떤 부서와 협력할 때 데이터를 추가하고 싶어하는 경우 우리는 이렇게 말한다. ‘문제 없다. 무엇이 필요한가? 이를 통해 무엇을 하고 싶은가?’ 우리는 운영 서비스 및 승인을 위해 늘 애플리케이션 수정을 염두에 두고 있다”고 설명했다.

데이터를 활용해 마라톤 경로, 교통사고, 범죄 활동부터 질병 발생, 마약 과다 복용, 정부가 계획을 관리하는 방법까지 모든 것에 대한 문제를 확인한다.

시카고는 애플리케이션을 이용해 식품 안전 검사도 개선했다. 시카고에는 1만 6,000개의 식당이 있지만 36명의 조사관이 배치돼 있다. 윈디그릿의 예측 분석을 이용해 조사할 식당을 계획하고 있다.

해당 시의 식당들은 모두 지도에 점으로 표시되며 마우스를 가져가면 위반 유형에 대한 정보가 제공된다. 규칙을 추가하여 마지막 조사에서 합격하지 못한 식당을 확인하고 열지도에 표시하여 자주 발생하는 지역을 파악할 수 있다.

날씨, 절도, 위생 문제, 민원, 인근의 주류 또는 담배 허가 등 추가적인 데이터 소스를 통합하여 다양한 인자가 조사 결과에 어떤 영향을 끼치는지 알 수 있다.

그 다음 기본적인 머신러닝은 합격하지 못할 가능성이 높은 식당을 분류할 수 있도록 돕는다. 위생 관리자는 이 정보를 이용해 자원의 우선순위를 설정하고 조사관들을 위험이 높은 곳에만 파견할 수 있다.

중요한 위반을 찾는 것에 대한 예측의 영향력을 측정하기 위해 이중 은폐 연구를 수행하여 팀이 중요한 위반을 발견할 수 있는 속도에 대한 예측의 영향을 측정했다.

쉥크는 “25%나 향상되었다”며 “8주의 기간 동안 중요한 위반을 발견하는데 소요되는 평균 시간을 1주일 이상 단축할 수 있었다”고 이야기했다.

이런 시험은 예측 분석에 기초한 계획의 효과를 확보하는데 필수적이다.

쉥크는 “처음에는 항상 실수하게 된다”고 말했다. 이어서 “우리가 잘못 이해하는 부분이 있어서 실험이 잘못되면 다시 돌아가 수정하고 무엇을 오해했는지 파악한 후 다시 실행에 옮긴다”고 덧붙였다.

또한 이 시스템은 공공 보건 위험을 완화하기 위해 사용되었다. 여름에는 시카고의 모기들이 두통, 구토, 설사, 사망 등을 유발할 수 있는 질병인 웨스트 나일 바이러스(West Nile Virus)를 옮긴다. 윈디그릿을 이용해 시내의 189개 모기 덫 중 가장 많은 모기를 잡은 덫을 거품 지도에 표시했으며 이를 이용해 확산을 제한할 방법에 대한 계획을 수립했다.


윈디그릿 개발
2012년 시카고에서 NATO 및 G8 정상회의가 계획되면서 윈디그릿의 아이디어가 등장했다. 당시 재임 중이던 램 엠마뉴엘 시장은 도심에서 벌어지는 일을 모두 파악하여 도시의 중요 방문객들을 보호해야 했다. 윈디그릿은 중앙의 한 곳에서 이 정보를 제공하기 위해 개발되었다.

몽고DB는 정부가 데이터 모델링에 과도한 시간을 소요하지 않고 새 데이터를 손쉽게 추가하고 위도 및 경도 GPS 좌표를 이용해 지도에서 캡처할 수 있는 데이터베이스를 제공했다.

관계형 데이터베이스 사용 옵션은 추가적인 데이터 소스 추가에 시간이 필요한 추가적인 데이터 모델링 때문에 거부됐다.

쉥크는 “가볍게 반복하고 실험할 수 있는 것이 중요하다”며 “우리는 번잡한 조달 과정을 거치지 않고도 몽고DB를 다룰 수 있다. 이를 통해 오픈소스 기술을 실험할 수 있으며 효과가 있는 경우 확장할 수도 있다”고 설명했다.

첫 번째 판은 6개월이 소요됐으며 이후 두 번째 버전을 개발했다. 그 과정에서 어려움도 있었지만 쉥크는 몽고DB 개발팀의 지원을 통해 이에 대응할 수 있었다.

그는 “몽고는 시카고 전용 패치를 공개했다”며 다음과 같이 설명을 이었다. “우리는 초기에 버그를 발견했으며 우리가 문제를 해결할 수 있도록 전용 패치를 공개했다. 향후 발표될 제품에 이를 통합해 이제는 우리 환경의 일부가 되었다.”

또한 시카고시는 시내의 모든 택시, 우버(Uber), 리프트(Lyft)에 대한 정보를 수집한다. 쉥크는 이제 이 교통 데이터를 윈디그릿에 추가하여 이동의 시작과 끝 지점을 파악하고 이를 중심으로 교통 인프라를 관리하려 하고 있다. 인증과 사용자 제어 수준을 통해 프라이버시에 대한 우려를 완화하며 시민 개인에 대한 정보 수집을 방지한다.

예측을 위한 코드는 오픈소스로 공개돼 누구든 활용하고 다른 사용자들과 자신만의 개선사항을 공유할 수 있다.

식품 조사 모델은 미국의 5개 도시에서 추가 시범 운영하고 있으며 시카고는 최근 런던과 데이터 동맹을 체결했다. 또한 쉥크는 상호 이익을 위해 협업하고 데이터 발견사항을 공유하기 위해 20개 도시가 연합하여 설립한 CAN(Civic Analytics Network)의 의장이기도 하다.

그는 “우리가 하나의 네트워크로 협력한다면 가능하다고 생각한다”며 “오픈소스 솔루션을 이용하고 생산함으로써 다른 곳의 프로젝트를 가져다 도입하기가 훨씬 쉬워진다”고 강조했다. ciokr@idg.co.kr
 

X