‘AI 안전성 뒷전으로 밀려났다’ 비판에 오픈AI “새로운 안전 기구 설립”

오픈AI에서 AI 안전성을 책임지던 임원이 퇴사함에 따라, 오픈AI는 모델 안전성을 점검하는 새로운 거버넌스 구조를 만들고 있다.
 
오픈AI가 GPT-4의 후속 모델 개발에 착수하면서 AI 모델의 안전성과 보안성을 감독할 거버넌스 조직을 새로 만들었다. '안전 및 보안 위원회(Safety and Security Committee)'다. 새로운 위원회가 진행하는 첫 번째 업무는 오픈AI의 모델 개발 방법과 관련된 프로세스와 보호 장치를 평가하는 일이다.

안전 및 보안 위원회 소식은 오픈AI를 둘러싼 외부 비판이 나온 후 전해졌다. 오픈AI 임원이었던 얀 라이크는 오픈AI가 안전성을 검토하는 일에 투자하고 있지 않다고 공개적으로 비판한 것이다. 거기다 기술의 장기적 위험을 검토 및 관리했던 오픈AI의 ‘슈퍼 얼라인먼트’ 팀은 해체된 상태다. 슈퍼 얼라인먼트팀은 샘 알트먼 해임을 주도한 인물로 알려진 수석 과학자 일리야 수츠케버가 이끌었다. 수츠케버는 2주 전 오픈AI에서 퇴사했으며, 그 이후 슈퍼얼라인먼트 팀을 같이 이끌었던 얀 라이크도 오픈AI를 나왔다.

새로운 안전 및 보안 위원회는 오픈AI의 CEO인 샘 알트만, 브렛 테일러, 동료 이사회 구성원인 아담 단젤로, 니콜 셀리그먼이 이끌고 있다. 그 외에도 오픈AI 준비(Preparedness) 총괄 알렉산더 매드리, 안전 시스템 책임자 릴리안 웽, 얼라이먼트 과학 책임자 존 슐만, 보안 책임자 매트 나이트, 수석 과학자 서츠커의 후임인 야쿱 파초키도 위원회 구성원으로 들어갔다.

해당 위원회는 AI 모델 개발 과정에서 AI 리스크를 어떻게 처리하고 있는지 평가하는 일을 우선 맡는다. 결과물은 90일 이내에 전체 이사회에게 공유될 예정이다. 오픈AI는 “향후 권고안을 일반 대중에 공개할 수 있다”라고 말했다.

안전 및 보안 위원회를 구성하면서 오픈AI는 일반 대중의 AI 우려점을 인식하고 있으며, 내부적으로 모니터링하는 조치를 취하고 있다는 식의 메시지를 전달했다. 오픈AI는 공식 블로그를 통해 “오픈AI는 자랑스럽게도 기능과 안전성 모두 업계를 선도하는 모델을 구축하고 출시했다. 중요한 순간인 만큼 활발히 토론할 것”라고 밝혔다.

오픈AI에 가해지는 압력
오픈AI가 GPT-4o(포오)라는 새로운 버전을 공개한 것은 시장 주도권을 지키기 위한 자연스러운 행보로 보인다. 테슬라의 일론 머스크가 설립한 xAI는 최근 60억 달러 규모의 자금 조달을 발표했다. xAI의 기업 가치는 240억 달러로 평가받고 있다. 머스크는 자신이 한때 투자자로 참여했던 오픈AI와 경쟁하는 동시에 격렬한 법적 분쟁을 진행하고 있다.

오픈AI는 최근 할리우드 배우 스칼렛 요한슨이 여러 차례 자신의 목소리를 사용하는 것에 동의하지 않았음에도 불구하고, 배우 스칼렛 요한슨과 비슷한 목소리를 가진 AI를 출시해 논란에 휩싸였다. 요한슨은 2013년 영화 ‘허(Her)’에서 호아킴 피닉스가 연기한 캐릭터가 사랑에 빠지는 AI 시스템의 목소리를 연기했다.

파레크 컨설팅(Pareekh Consulting)의 CEO인 파레크 자인은 “생성형 AI의 사용이 증가함에 따라 관련 위협 및 보안 문제가 대두되고 있다”라며 “스칼렛 요한슨 사건으로 오픈AI는 더 경각심을 높였을 것”이라고 설명했다.

AI 보안은 AI 이해관계자 모두가 신경 쓰는 과제다. 그래서 정부와 기업 모두 다양한 이니셔티브를 통해 기술이 인간의 통제를 넘어서지 못하도록 가이드라인을 설정하고 있다.

지난주에는 오픈AI를 비롯해 구글, 아마존, 메타, xAI, 마이크로소프트 등 16개의 주요 AI 기업이 ‘프론티어 AI 안전 약속’에 서명하며 새로운 안전 가이드라인과 기술 개발 결과를 발표했다.

AI 도입이 늘어야 유리한 오픈AI와 같은 기업은 AI가 안전하다는 것을 적극 입증해야 한다. 자인은 “많은 기업과 소비자가 AGI와 관련해서 보안 문제를 걱정한다. 이러한 인식은 공상 과학 영화에 묘사된 시나리오의 영향을 받는 경우가 많다”라며 “따라서 보안 조치, 위험 관리, 윤리적 고려 사항을 나중에 고려하는 것이 아니라 설계 단계부터 미리 통합하는 것이 필수적”이라고 조언했다.

보안 업체 다크트레이스(Darktrace)의 전략적 사이버 AI 담당 부사장 니콜 캐리넌은 “AI로 발생하는 위험은 종종 채택 방식 때문에 발생한다”라며 “AI 리더들이 책임 있고 안전하며 보안이 강화된 AI 사용을 장려하는 것이 중요하다. AI 안전에 대한 광범위한 약속을 통해 AI의 많은 기회와 이점을 더욱 빠르게 실현할 수 있을 것”이라고 말했다.
ciokr@idg.co.kr