Offcanvas

AI / 라이프 / 분쟁|갈등 / 신기술|미래

“AI가 핵 전쟁 일으키는 상황 차단”··· 오픈AI, 전담 부서 신설한다

2023.10.31 Anirban Ghoshal  |  Computerworld
챗GPT 개발사 오픈AI가 AI에 대한 안전, 보안, 신뢰를 증진하기 위한 새 시도를 발표했다. 회사는 프론티어 AI 모델이 핵 전쟁이나 여타 위협을 일으키는 상황을 막기 위한 조직을 구축할 계획이다.

오픈AI는 블로그 게시글에서 “우리는 기존 모델의 기능을 뛰어넘는 프론티어 AI 모델(회사의 표현)이 모든 인류에게 혜택을 줄 수 있는 잠재력을 가지고 있다고 믿는다. 그러나 심각한 위험을 초래할 수도 있다”라고 전했다. 

알렉산더 매드리가 이끌게 될 '프리페어드니스'(Preparedness) 이름의 이 팀은 지속적으로 진화하는 AI 모델로 인한 위험을 최소화하는 방안을 모색한다는 설명이다. 회사가 지목한 ‘치명적인’ 위험에는 개인화된 설득, 사이버 보안, 화학, 생물학, 방사능, 핵 위협, 자율적 복제 및 적응 등이 포함된다.

이 새로운 팀은 가까운 장래에 개발하는 모델부터 인공 일반지능 수준의 기능을 갖춘 모델에 이르는 론티어 모델에 대해 역량 평가, 평가 및 내부 레드 팀과의 연결과 같은 직무를 수행한다고 오픈AI는 밝혔다. 이 팀은 또 위험 정보에 기반한 개발 정책(RDP ; risk-informed development policy)을 개발하는 책임을 진다. 

오픈AI는 “RDP는 엄격한 프론티어 모델 역량 평가 및 모니터링, 보호 조치의 스펙트럼 생성, 개발 프로세스 전반에 걸친 책임 및 감독을 위한 거버넌스 구조 수립에 대한 접근 방식을 자세히 설명할 것”이라고 밝히며, 새로운 팀을 위해 다양한 기술적 배경을 가진 인재를 채용할 계획이라고 전했다. 

AI에 대비하기
또한 회사는 재앙적인 오용 방지를 위한 AI 대비 챌린지를 시작한다고 밝혔다. 오픈AI는 "최대 10개의 상위 제출자에게 2만 ,000달러의 API 크레딧을 제공하고, 참신한 아이디어와 출품작을 게시하며, 이 챌린지의 상위 경쟁자 중에서 준비팀 후보를 찾을 것"이라고 밝혔다.

지난 7월, 오픈AI는 인간을 능가하고 인간 윤리에 어긋날 수 있는 인공지능인 초지능 AI가 해악을 일으키는 상황을 막기위한 기법 개발에 초점을 맞춘 새로운 얼라인먼트 리서치 부서를 개설한 바 있다. 

이에 앞서 지난 5월에는 수백 명의 기술 업계 리더, 학자 및 기타 유명 인사들이 인공지능(AI)의 진화가 인류 멸종 사태로 이어질 수 있다고 경고하고, 인공지능을 통제하는 것이 글로벌 최우선 과제가 되어야 한다고 주장하는 공개 서한에 서명했다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.