안전 책임자 부서 이동으로 논란된 오픈AI, 새로운 안전 접근 방식 발표

오픈AI가 지난 23일 안전 담당 임원 알렉산더 매드리의 부서 이동 문제로 논란에 휩싸이자 모델 안전 문제를 해결하기 위한 AI 개발 접근 방식을 발표했다.
 

AI와 사람 간 상호 작용에 대한 우려가 제기되는 상황에서, 오픈AI는 “광범위한 인적 데이터 수집 없이도 안전하게 작동하도록 모델을 조정”한다는 내용의 새로운 AI 개발 접근 방식을 공개했다. 최근 안전 담당 임원이 교체되는 등 안전 우선순위를 지적받자 이를 해명하는 성명과 함께 공개한 정보다.

로이터 통신에 따르면 오픈AI CEO 샘 알트먼은 AI 안전 책임자인 알렉산더 매드리가 ‘새로운 연구 프로젝트’를 진행하고 있다고 밝혔다. 이와 관련해 CNBC 등 매체는 매드리가 “AI 추론에 중점을 둔 업무로 부서 이동할 것”이라고 보도했다. 매드리는 지난 5월 오픈AI가 보안 및 안전 노력을 개선할 것이라고 발표할 때 동참한 ‘친 알트먼’ 임원 중 한 명이다.

이번 발표는 미국 정부 기관과 의회가 안전과 보호에 대한 벤더의 노력을 재검토하는 과정에서 이뤄졌다. 

뭄바이에 거주하는 AI 프로그래머 아시시 타카르는 발표 시기가 놀랍다고 언급했다. 그는 “바로 지난달에 오픈AI 내부 고발자들이 ‘AI 기술과 관련된 안전 문제를 공개적으로 이야기하는 것을 회사에서 허용하지 않는다’라는 불만 사항을 SEC에 제출했기 때문에 모든 것이 수상하게 느껴진다. 이 때문에 AI 안전팀 전체를 구조 조정하는 것일까? 그런 일이 다시는 발생하지 않도록 팀 전체를 개편하고 통제하는 것처럼 보인다. 전 세계적으로 하루 빨리 AI 규정을 마련해야 한다. EU나 중국도 이 문제를 이해하고 있는 듯하다”라고 주장했다.

CNBC가 오픈AI에 이번 인사 이동에 대해 질문하자 익명의 대변인은 자세한 설명 없이 “매드리는 새로운 역할에서 핵심 AI 안전 업무를 계속 담당할 것”이라고만 설명한 것으로 전해졌다.

여러 업계 관계자는 이번 인사가 오픈AI가 안전과 데이터 보호에서 멀어지고 있다는 또 다른 징후일 수 있다고 지적했다.

톱AI툴즈닷컴(TopAITools.com)의 CEO인 브라이언 프린스는 “오픈AI 내부에서 무슨 일이 벌어지고 있는지 정확히 알 수 없지만, 핵심 인력을 안전 담당에서 추론, 혁신, 구현에 중점을 둔 업무로 이동시켰다는 데서 2가지 추측이 가능하다. 그가 이전 역할에 적합하지 않았거나, 아니면 오픈AI가 윤리를 희생하면서까지 혁신으로 우선순위를 옮기고 있다는 것이다”라고 말했다.

한편 뉴욕시의 엔터테인먼트 변호사인 롭 로젠버그는 “오픈AI의 최고 안전 책임자 중 한 명이 다른 직책으로 이동했다는 것은 일종의 패턴 반복이다. 다시 말해 안전을 위한 이니셔티브를 발표하고 나서 이를 취소하는 패턴이 반복되고 있다. 이미 지난 5월 일리아 수츠케버와 얀 라이케라는 2명의 고위 경영진이 안전 문화에 대한 문제를 이유로 회사를 떠났다. 오픈AI는 ‘오픈’되지 않았다”라고 지적했다.

그는 또한 “샘 알트먼은 알렉산더 매드리가 새로운 프로젝트에 재배치될 것이라고 말했지만 그게 무엇인지는 공개하지 않았다. 오픈AI의 그다지 솔직하게 밝히지 않고 있다. 더 새롭고, 더 좋고, 더 빠른 제품을 계속 출시하기 위해 생성형 AI 기업들 사이에서 경쟁이 벌어지고 있으며, 오픈AI의 다른 이니셔티브에 안전이 뒷전으로 밀리는 것처럼 보인다”라고 진단했다.

매드리의 부서 이동 소식이 전해진 뒤 오픈AI는 ‘규칙 기반 보상(RBR)을 활용해 광범위한 인적 데이터 수집 없이 안전하게 작동하도록 모델을 조정하는 새로운 방법’을 소개했다. 이를 자세히 설명하는 기술 문서도 함께 공개했다.

오픈AI는 현재의 일부 약점을 해결하기 위해 새로운 접근 방식을 도입했다고 밝혔다. 성명에서 회사는 “AI 시스템을 안전하게 작동시키고 사람의 가치에 부합하도록 하기 위해, 바람직한 행동을 정의하고 사람의 피드백을 수집해 보상 모델을 학습시키고 있다. 이 모델은 바람직한 행동에 대한 신호를 보내 AI를 안내한다. 그렇지만 일상적이고 반복적인 작업에 대한 사람의 피드백 수집은 비효율적일 수 있다. 또한 안전 정책이 바뀌면 이미 수집한 피드백이 구식이 돼 새 데이터가 필요할 수도 있다”라고 설명했다.

이어 “모델 행동을 안전한 행동에 맞추기 위해 RBR을 오픈AI 안전 스택의 핵심 구성 요소로 도입했다. RBR은 사람의 피드백과 달리 명확하고 간단한 단계별 규칙을 사용해 모델의 출력이 안전 표준을 충족하는지 평가한다. 표준 RLHF 파이프라인에 연결하면 반복적인 사람 입력의 비효율성 없이도 모델이 안전하고 효과적으로 작동하도록 하면서 피해를 방지하는 균형을 유지하는 데 도움이 된다. GPT-4 출시 이후부터 GPT-4o 미니까지 안전 스택의 일부로 RBR을 사용해 왔으며, 앞으로 출시할 모델에도 이를 적용할 계획이다”라고 밝혔다.

다만 오픈AI는 이런 방식의 잠재적인 단점도 인정했다. 오픈AI는 “안전 점검 주체를 사람에서 AI로 전환하면 AI 안전에 대한 사람의 감독 수준이 줄어들 수 있고, 편향된 모델이 RBR 보상을 제공하는 데 사용될 경우 잠재적 편향이 증폭될 수 있다. 공정성과 정확성을 보장하고 위험을 최소화하려면 연구자들은 RBR과 사람의 피드백을 함께 사용할 것을 고려해야 한다”라고 설명했다. ciokr@idg.co.kr