2019.07.05

핵 폐기물 같은 존재··· ‘데이터 삭제’의 방어적 가치

Mary Branscombe | CIO


여기에는 ‘마스킹(가림)’ 처리를 한 데이터를 사용해야 한다. 데이터를 ‘마스킹’하면, 테스트에 사용할 관련된 통계적 속성들만 유지시켜 노출 위험을 피할 수 있다.

델픽스(Delphix)의 벤자민 로스 디렉터는 “프로덕션 단계가 아닌 개발 및 테스트 환경이 중요하기는 하지만, 위험 표면을 크게 증가시키며, GDPR 컴플라이언스에 있어 취약점이 되는 경우가 많다”라고 지적했다.

‘익명화(Deidentify)’를 하지 말고 ‘삭제’를 한다
머신러닝 시스템이 언젠가 유용한 무엇을 발굴할 것이라는 모호한 희망이 아닌, 지금 당장의 비즈니스 근거를 바탕으로 데이터를 유지해야 한다. 칼라스에 따르면, AI 스타트업 투자가인 안드레센 호르비츠 조차 방대한 데이터 수집의 가치에 의문을 제기하고 있다. 

칼라스는 “이런 ‘데이터 해자’를 구현하면 지속가능한 경쟁력이 확보된다고 잘못 생각하고 있다. 투자자들은 이것이 사실이 아니라는 점을 직접 체험해 깨달었다. 비즈니스에 도움이 될 것이라고 생각하지만, 그럴 가능성이 희박하다”라고 말했다.

마이크로소프트 리서치의 마리 L. 그레이 선임 연구원에 따르면, 머신러닝 모델 트레이닝에 사용할 것으로 고려하는 데이터 세트에 포함된 개인 식별 정보(PII)에 특히 해당되는 사항이다. 그녀는 “GDPR로 인해 PII 회사들이 수집할 수 있는 정보, 여기에 액세스 할 수 있는 사람, 감사 대상, PII를 조정해 이를 수집한 기업 외부에 판매할 수 있는 때와 방식, 유지 기간 등에 제약이 아주 많다”라고 말했다.

그녀는 “데이터 익명화를 한다고 데이터를 안전하게 보관 및 유지할 수 있는 것은 아니다. 개인을 식별할 수 있는 충분한 데이터가 있기 때문이다. 수집한 모든 데이터를 영구적으로 익명화 하는 것을 고려하는 것은 말이 되지 않는다”라고 경고했다.

이어 “데이터 관련 기술 산업은 수집을 멈추기 위해 할 수 있는 일을 파악하는 것은 둘째 치고, 데이터를 없애는 방법도 파악하지 못했다. 이 산업은 해시 PII에 동의를 했다. 그런데 이는 암시장을 운영하는 것이나 다름없다. 그러나 우리가 하는 일에 대해 다른 모든 데이터를 수집할 수 있다. 우리가 하는 일, 이런 일을 하는 장소를 예측할 수 있다면 디지털 발자국도 만들 수 있는 것이다. 다시 말해, PII와 크게 다르지 않다”라고 덧붙였다.

이름과 생년월일 같은 명확한 식별자를 없애는 것은 어렵지 않다. 그렇지만 이렇게 익명화 한 데이터에 여전히 PII가 포함되어 있을 수 있다. 이름을 입력하는 필드가 아닌 데, 사용자가 자신의 완전한 이름을 입력하는 경우 등이 있을 수 있기 때문이다.

그레이는 “데이터 침해 사고를 막기 힘든 이유가 여기에 있다. 이메일 주소 데이터 세트 1개, 지리 메타데이터, 검색 쿼리가 있다고 가정하자. 이들 데이터를 조합, 이름과 생년월일, 위치를 생성하는 검색 스트링에 도달할 수 있다. 그리고 특정 이메일 주소와 연결된 개인을 식별할 수 있다”라고 말했다.

프랭크는 이렇게 잠재적으로 ‘독’이 되는 데이터가 데이터 전략을 방해할 수도 있다고 경고했다. 그는 “불필요한 정보가 많으면 유용한 데이터 분석이 어려워진다. 모델 구현과 테스트에 필요한 시간이 증가하기 때문이다. 이 문제를 해결하려면, 기업은 정보가 창출하는 가치를 적극적으로 판단하고, 이런 예상되는 가치를 갖고 있는지 확인하기 위해 데이터를 테스트해야 한다”라고 말했다. 

마이크로소프트 클라우드 및 AI 그룹의 스콧 거드리 VP는 저장하는 데이터를 줄이고 가능한 많이 익명화를 하는 것이 좋다고 말했다. 그는 “웹 검색에 대해 텔레메트리를 한다고 가정할 때, 사람들이 웹 검색을 한 정확한 장소(집 주소)를 저장하는가? 아니면 거리 등으로 익명화해 처리하는가? 이 경우, 데이터 침해 사고가 발생해도 프라이버시는 침해되지 않는다”라고 말했다.

데이터가 없으면, 누구도 데이터를 악용할 수 없다
칼라스는 “데이터를 버려야 하는 이유를 묻지 말라. 대신 유지해야 하는 이유를 물으라”라며, “데이터를 유지해야 하는 이유나 근거가 확실하지 않으면 버려야 한다. 지금은 꽤 저렴하게 더 많은 데이터, 더 새로운 데이터를 수집할 수 있기 때문이다”라고 말했다. 웹사이트 옵트인(가입), 베타 소프트웨어 프로그램의 텔레메트리, 서베이 참여에 대한 보상 등이 해당될 수 있다. 또 동의를 얻었다는 점을 입증할 수 없는 데이터는 그 즉시 삭제해야 한다.

그는 “PII를 버려도 통계 데이터는 얻는다. 이것이 원하는 것, 필요한 것이다. 교통 당국이 조사를 실시한다고 가정하자. 정확한 데이터가 필요하다. 여기에 대가를 지불할 가치가 있고 타당하다. 그렇지만 일종의 데이터 ‘그라인더’를 이용하고, 원본 데이터를 버리고, 1년 안에 다 쓴 데이터를 없애는 것이 좋다. 다시 말해, 고쳐야 할 도로를 파악한다고 가정하자. 이미 고친 도로에 대한 데이터는 필요 없다. 특히 데이터를 통해 다른 곳을 고쳐야 한다는 점을 파악한 경우는 더 그렇다. 이미 고친 도로에 대한 데이터는 ‘독’ 이다. 장점은 없고 단점만 존재한다”라고 말했다.

아울러 데이터 유지 기간에 대한 정책을 명확히 해야 한다. 로그 파일을 1주일 이상 유지하지 않는 것을 예로 들 수 있다(디버깅만 예외). 칼라스는 어느 정도 강제적인 시스템을 통해 이런 결정을 내리도록 유도하는 것이 좋다고 말했다. 

그는 “계속 유지해야 하는 이유를 말하지 않으면 데이터 웨어하우스의 데이터를 10년 뒤에 모두 삭제한다고 말하면, 데이터를 웨어하우스에 저장해야 하는 이유에 대해 생각을 하도록 만들 수 있다”라고 말했다. ciokr@idg.co.kr




2019.07.05

핵 폐기물 같은 존재··· ‘데이터 삭제’의 방어적 가치

Mary Branscombe | CIO


여기에는 ‘마스킹(가림)’ 처리를 한 데이터를 사용해야 한다. 데이터를 ‘마스킹’하면, 테스트에 사용할 관련된 통계적 속성들만 유지시켜 노출 위험을 피할 수 있다.

델픽스(Delphix)의 벤자민 로스 디렉터는 “프로덕션 단계가 아닌 개발 및 테스트 환경이 중요하기는 하지만, 위험 표면을 크게 증가시키며, GDPR 컴플라이언스에 있어 취약점이 되는 경우가 많다”라고 지적했다.

‘익명화(Deidentify)’를 하지 말고 ‘삭제’를 한다
머신러닝 시스템이 언젠가 유용한 무엇을 발굴할 것이라는 모호한 희망이 아닌, 지금 당장의 비즈니스 근거를 바탕으로 데이터를 유지해야 한다. 칼라스에 따르면, AI 스타트업 투자가인 안드레센 호르비츠 조차 방대한 데이터 수집의 가치에 의문을 제기하고 있다. 

칼라스는 “이런 ‘데이터 해자’를 구현하면 지속가능한 경쟁력이 확보된다고 잘못 생각하고 있다. 투자자들은 이것이 사실이 아니라는 점을 직접 체험해 깨달었다. 비즈니스에 도움이 될 것이라고 생각하지만, 그럴 가능성이 희박하다”라고 말했다.

마이크로소프트 리서치의 마리 L. 그레이 선임 연구원에 따르면, 머신러닝 모델 트레이닝에 사용할 것으로 고려하는 데이터 세트에 포함된 개인 식별 정보(PII)에 특히 해당되는 사항이다. 그녀는 “GDPR로 인해 PII 회사들이 수집할 수 있는 정보, 여기에 액세스 할 수 있는 사람, 감사 대상, PII를 조정해 이를 수집한 기업 외부에 판매할 수 있는 때와 방식, 유지 기간 등에 제약이 아주 많다”라고 말했다.

그녀는 “데이터 익명화를 한다고 데이터를 안전하게 보관 및 유지할 수 있는 것은 아니다. 개인을 식별할 수 있는 충분한 데이터가 있기 때문이다. 수집한 모든 데이터를 영구적으로 익명화 하는 것을 고려하는 것은 말이 되지 않는다”라고 경고했다.

이어 “데이터 관련 기술 산업은 수집을 멈추기 위해 할 수 있는 일을 파악하는 것은 둘째 치고, 데이터를 없애는 방법도 파악하지 못했다. 이 산업은 해시 PII에 동의를 했다. 그런데 이는 암시장을 운영하는 것이나 다름없다. 그러나 우리가 하는 일에 대해 다른 모든 데이터를 수집할 수 있다. 우리가 하는 일, 이런 일을 하는 장소를 예측할 수 있다면 디지털 발자국도 만들 수 있는 것이다. 다시 말해, PII와 크게 다르지 않다”라고 덧붙였다.

이름과 생년월일 같은 명확한 식별자를 없애는 것은 어렵지 않다. 그렇지만 이렇게 익명화 한 데이터에 여전히 PII가 포함되어 있을 수 있다. 이름을 입력하는 필드가 아닌 데, 사용자가 자신의 완전한 이름을 입력하는 경우 등이 있을 수 있기 때문이다.

그레이는 “데이터 침해 사고를 막기 힘든 이유가 여기에 있다. 이메일 주소 데이터 세트 1개, 지리 메타데이터, 검색 쿼리가 있다고 가정하자. 이들 데이터를 조합, 이름과 생년월일, 위치를 생성하는 검색 스트링에 도달할 수 있다. 그리고 특정 이메일 주소와 연결된 개인을 식별할 수 있다”라고 말했다.

프랭크는 이렇게 잠재적으로 ‘독’이 되는 데이터가 데이터 전략을 방해할 수도 있다고 경고했다. 그는 “불필요한 정보가 많으면 유용한 데이터 분석이 어려워진다. 모델 구현과 테스트에 필요한 시간이 증가하기 때문이다. 이 문제를 해결하려면, 기업은 정보가 창출하는 가치를 적극적으로 판단하고, 이런 예상되는 가치를 갖고 있는지 확인하기 위해 데이터를 테스트해야 한다”라고 말했다. 

마이크로소프트 클라우드 및 AI 그룹의 스콧 거드리 VP는 저장하는 데이터를 줄이고 가능한 많이 익명화를 하는 것이 좋다고 말했다. 그는 “웹 검색에 대해 텔레메트리를 한다고 가정할 때, 사람들이 웹 검색을 한 정확한 장소(집 주소)를 저장하는가? 아니면 거리 등으로 익명화해 처리하는가? 이 경우, 데이터 침해 사고가 발생해도 프라이버시는 침해되지 않는다”라고 말했다.

데이터가 없으면, 누구도 데이터를 악용할 수 없다
칼라스는 “데이터를 버려야 하는 이유를 묻지 말라. 대신 유지해야 하는 이유를 물으라”라며, “데이터를 유지해야 하는 이유나 근거가 확실하지 않으면 버려야 한다. 지금은 꽤 저렴하게 더 많은 데이터, 더 새로운 데이터를 수집할 수 있기 때문이다”라고 말했다. 웹사이트 옵트인(가입), 베타 소프트웨어 프로그램의 텔레메트리, 서베이 참여에 대한 보상 등이 해당될 수 있다. 또 동의를 얻었다는 점을 입증할 수 없는 데이터는 그 즉시 삭제해야 한다.

그는 “PII를 버려도 통계 데이터는 얻는다. 이것이 원하는 것, 필요한 것이다. 교통 당국이 조사를 실시한다고 가정하자. 정확한 데이터가 필요하다. 여기에 대가를 지불할 가치가 있고 타당하다. 그렇지만 일종의 데이터 ‘그라인더’를 이용하고, 원본 데이터를 버리고, 1년 안에 다 쓴 데이터를 없애는 것이 좋다. 다시 말해, 고쳐야 할 도로를 파악한다고 가정하자. 이미 고친 도로에 대한 데이터는 필요 없다. 특히 데이터를 통해 다른 곳을 고쳐야 한다는 점을 파악한 경우는 더 그렇다. 이미 고친 도로에 대한 데이터는 ‘독’ 이다. 장점은 없고 단점만 존재한다”라고 말했다.

아울러 데이터 유지 기간에 대한 정책을 명확히 해야 한다. 로그 파일을 1주일 이상 유지하지 않는 것을 예로 들 수 있다(디버깅만 예외). 칼라스는 어느 정도 강제적인 시스템을 통해 이런 결정을 내리도록 유도하는 것이 좋다고 말했다. 

그는 “계속 유지해야 하는 이유를 말하지 않으면 데이터 웨어하우스의 데이터를 10년 뒤에 모두 삭제한다고 말하면, 데이터를 웨어하우스에 저장해야 하는 이유에 대해 생각을 하도록 만들 수 있다”라고 말했다. ciokr@idg.co.kr


X