책임감 있는 AI 강조한 앤트로픽, 전 오픈AI 안전 책임자 영입

2024.05.30 Gyana Swain | CIO

최근 오픈AI 연구원이자 안전 책임자였던 얀 라이크의 퇴사가 주목을 받았다. 그가 “오픈AI에서는 안전 문화와 프로세스가 뒷전으로 밀려 있다”라고 비판했기 때문이다.

안전 및 거버넌스 문제로 오픈AI를 퇴사한 연구원 얀 라이크가 29일 경쟁사인 앤트로픽에 합류했다고 밝혔다.

라이크는 향후 엔트로픽에서 “확장 가능한 감독(scalable oversight)과 약한 일반화에서 강한 일반화(weak-to-strong generalization), 자동화된 정렬 연구(automated alignment research)에 초점을 맞추겠다"라고 X를 통해 말했다.

라이크는 앞서 오픈AI를 퇴사하며 “안전 문화와 프로세스가 뒷전으로 밀려났다”라고 언급했다. 이는 그의 퇴사가 오픈AI의 방향성과 관련한 의견 불일치, 특히 조직이 첨단 AI 개발 경쟁에서 안전보다 상업적 이익을 우선시한다는 우려에 따른 결과임을 시사한다.

그는 퇴사 후 올린 게시물에서 “인공일반지능(AGI)의 영향에 대해 매우 진지하게 생각해야 할 시기가 한참 지났다. 우리는 최선을 다해 이에 대비하는 것을 우선순위로 삼아야 한다”라고 지적했다.

오픈AI에서는 라이크의 퇴사에 앞서 이미 유사한 갈등이 있었다. 공동 창업자인 일리야 수츠케버는 지난해 11월 CEO 샘 알트먼 해고하려 했지만, 이에 실패하면서 이달 초 퇴사했다. 그전까지는 AI 안전 정책을 두고 알트먼과 충돌을 빚어온 것으로 알려졌다.

수츠케버는 아직 다음 행선지를 발표하지 않았지만, 앤트로픽이 될 가능성이 높다. 그의 경력이 앤트로픽이 추구하는 가치와 부합하기 때문이다.

라이크의 경력도 앤트로픽의 사명과 일치했다. 오픈AI에서 라이크는 AI 시스템이 인간의 가치에 부합하도록 하는 데 중점을 둔 ‘초정렬(Superalignment)’ 팀의 공동 책임자였다. 그는 오픈AI가 이 목표를 달성하기 위해 충분한 자원을 할당하지 않았다고 비판했으며, 오픈AI는 라이크 퇴사 이후 초정렬팀을 해체했다.

라이크는 “차세대 모델을 준비하는 데 있어 보안, 모니터링, 대비, 안전, 공격에 대한 견고성, (초)정렬, 기밀성, 사회적 영향 및 관련 주제에 대해 더 많은 노력을 투자해야 한다고 생각한다. 이런 문제들은 바로잡기가 매우 어렵고 우리가 제대로 된 궤도에 오르지 못하고 있는 것 같아 우려스럽다”라고 밝혔다.

반면에 앤트로픽은 책임감 있는 AI 기업을 표방하며 AI 개발에 윤리적 원칙을 통합하고 있다. 회사 사명에서 앤트로픽은 “연구팀이 AI 모델의 안전성, 내부 작동 방식, 사회적 영향을 조사해 AI의 발전에 발맞춰 사회에 긍정적인 영향을 미칠 수 있도록 한다”라고 밝히고 있다.

마침내 움직이는 오픈AI
몇몇 유명 인사가 퇴사하고 나서야 오픈AI 이사회도 이 문제에 주목했다. 오픈AI는 최근 수츠케버와 라이크가 지지하던 것과 전략적으로 일치하는 ‘안전 및 보안 위원회'를 설립했으며, 이를 통해 모든 오픈AI 프로젝트에 대한 중요한 안전 및 보안 결정 권고안을 제시하겠다고 밝혔다.

오픈AI는 성명을 통해 “브렛 테일러를 의장으로 해 아담 디안젤로, 니콜 셀리그만, 샘 알트먼이 이끄는 안전 및 보안 위원회를 구성했다. 이 위원회는 오픈AI 프로젝트 및 운영에 있어 중요한 안전 및 보안 결정에 대해 전체 이사회에 권고할 책임이 있다”라고 설명했다.

최근 오픈AI에서 앤트로픽으로의 이직 사례는 빠르게 진화하는 AI 산업 내에서 지속적인 거버넌스 및 윤리적 문제가 화두에 오르고 있음을 의미한다. 발전이 진행됨에 따라 안전하고 윤리적인 AI라는 주제는 연구자와 조직 모두에게 주요 관심사가 되고 있다. ciokr@idg.co.kr