소중하다면 지켜야 한다··· ‘알고리즘’을 자산답게 보호하는 방법

전원을 대상으로 한 기밀유지 계약
회사들은 프로젝트나 알고리즘에 접근권이 있는 모든 직원이 반드시 기밀유지 계약에 서명하도록 해야 한다. 힐데브랜드는 한 발명가의 사례를 들었다. 그 발명가는 3명의 잠재적인 협력자를 만났는데 모두 같은 회사를 대표한다고 믿었고 본인은 회사가 서명한 기밀유지 계약의 적용을 받는다고 생각했다. 

그러나 알고 보니 3명 중 1명은 아무런 문건에 서명한 적이 없는 독자적인 컨설턴트였으며, 그는 발명가의 지적재산을 탈취해버렸다. 발명가로서는 본인의 발명품에 대한 지위를 상실한 것이다. 힐데브랜드는 해당 회의에 들어가는 고객들에게 반드시 회의실 내 모든 사람이 기밀유지 계약에 서명했는지 확인할 것을 조언하고 있다.

서명한 기밀유지 계약서를 중요시해야 할 또 다른 이유가 있다. “특히 공학자와 과학자는 동료들에게 본인의 연구 내용에 대해 이야기하는 것을 좋아한다. 팀에 소속되어 있고 서로에게 배우는 경우라면 괜찮지만 경쟁자와 저녁 먹으러 같이 나간다거나 동네 BBQ 집에서 연구 내용을 논의하는 것은 곤란하다”라고 힐데브랜드는 지적했다.

소규모 팀과 알 필요에 따른 접근
프로젝트나 알고리즘의 직접적인 지식이 꼭 필요한 사람이 누군지 생각해 보라고 프랜지는 당부했다. 규모가 작은 회사일수록 사람들이 맡는 역할이 많아져서 알아야 할 것도 늘어날 수 있겠지만, 규모가 크고 다변화된 회사일수록 모든 것을 알아야 할 사람의 수는 적어진다. 

소규모 집단이 접근권을 갖는 경우에도, 2중 인증 방식을 사용하고, 회사 외부나 또는 실제 건물 밖에서 작업 가능 여부를 제한하는 것이 좋다. 아니면, 컴퓨터에 썸 드라이브를 사용할 수 없도록 막는 조치를 해야 한다고 프랜지는 덧붙였다.

일선 직원을 대상으로 알고리즘 보호 교육 실시
IT 지도자들은 일선 직원들이 보호해야 할 대상과 회사의 투자 내용을 파악하도록 교육을 실시해야 한다고 프랜지는 강조했다. “예를 들면, 영업 담당자들은 제품에 대해 많이 알고 싶어 한다. 제품의 어떤 측면에 기밀이 유지되어야 하는지 교육시켜야 한다”라고 그는 설명했다.

퇴사 직원의 알고리즘 반출 금지
이직 시에 반출 불가 항목이 무엇인지 직원들이 반드시 인지하도록 해야 한다.  프랜지는 “민감한 분야에서 일하거나 민감한 정보에 접근권이 있는 직원이 퇴사할 때마다 반드시 퇴사 면접을 거쳐 그들이 무엇을 갖고 있는지 파악하고 그들은 다음 직장에서 그 정보 사용을 금하는 의무 사항에 서명했다는 사실을 강조해야 한다”라고 말했다.

협력관계도 같은 방식으로 다뤄야 한다고 프랜지는 덧붙였다. “한 회사가 공동 개발 관계에 있다가 관계가 틀어지거나 흐지부지하게 되어서 한쪽 또는 양쪽 회사가 독자 노선을 걷는 경우를 많이 본다. 그러다가 양쪽이 공유하던 정보로 한쪽이 갑자기 제품을 출시하면 분쟁이 생긴다”라고 그는 말했다.

알고리즘 소유 증거를 확보
카힐은 “알고리즘에 접근하기 위해 각종 전술이 활용될 것임이 분명하다. 예를 들면, 사회 공학 기법으로 만들어진 스피어-피싱 공격은 가짜 로그인 및 암호 재설정 페이지를 통해 개발자 로그인 정보를 탈취하여 알고리즘과 같은 지적재산이 저장된 시스템에 접근한다”라고 설명했다.

프랜지는 알고리즘이나 프로세스를 탈취할 의도를 가진 자를 막는 것은 어렵다며 누출 상황에 대비해야 한다고 지적했다. 

실제로 IBM 등의 기업은 알고리즘 소유권을 입증하고 절도나 방해 공작을 방지하기 위해 AI 심층 신경망에 디지털 워터마크를 매립하는 방법을 연구 중이다. 디지털 이미지에 워터마크를 입히는 멀티미디어 개념과 유사하다. 2018년에 공개된 IBM 팀의 방식을 통해 애플리케이션의 신경망 서비스 소유권을 API 질의로 확인할 수 있다. 이는 가령 자율주행 차량의 알고리즘을 속여 정지 신호를 무시하고 지나가게 하는 등의 공격 예방에 필수적이다.

이 작업은 워터마크를 ML모델에 적용하는 매립 단계와 추출하여 소유권을 입증하는 탐지 단계 등 2단계 프로세스로 이뤄진다.

그러나 이러한 개념에는 몇 가지 주의점이 있다. 첫째, 오프라인 모델에는 효과가 없다. 둘째, 질의를 보내고 응답을 분석하여 ML모델 매개변수를 추출하는 ‘예측 API’ 공격을 통한 침해 행위로부터는 보호할 수 없다.

일본 KDDI 연구소 및 국립 정보학 연구소(NII) 소속 연구진 역시 딥학습 모델에 워터마크를 입히는 방식을 2017년에 도입한 바 있다.

이러한 워터마크 솔루션의 또 다른 문제점은 현재의 설계로는 해적 공격을 해결할 수 없다는 점이다. 해적 공격이란 이미 워터마크가 적용된 모델에 제3자가 자신의 워터마크를 매립시켜 모델 소유권을 허위로 주장하는 경우이다.

2020년 2월, 시카고 대학교 연구진은 ‘널 임베딩(null embedding)’ 기법을 공개했다. 해적 공격에 안전한 워터마크를 모델 최초 훈련 시에 DNN 내부에 구축하는 방식이다. 이를 통해 모델의 정상적인 분류 정확성과 워터마크 사이에 강력한 의존성이 형성된다. 그 결과, 공격자는 매립된 워터마크를 제거할 수 없으며 이미 워터마크가 적용된 모델에 새로운 해적 워터마크를 추가할 수도 없다. 그러나 이러한 개념은 개발 초기 단계에 있다. ciokr@idg.co.kr