Offcanvas

AI / 머신러닝|딥러닝 / 분쟁|갈등 / 비즈니스|경제

‘안전 장치 마련해야’… 연구진·법 전문가, AI 기업에 독립 평가 허가 요구

2024.03.06 Lucas Mearian
AI 연구진, 윤리학자, 법률 전문가, 교수 약 150명이 생성형 AI 기업에 기술 개방 요청 서한을 제출했다. 외부 평가 및 안전 장치를 위해서다.
 
ⓒ Getty Images Bank

지난 5일 AI 연구자, 윤리학자 등 150명이 AI 시스템에 대한 독립 평가에 응할 것을 생성형 AI 기업에 촉구했다. 여기에는 기본적인 연구자 보호에 대한 우려 사항도 담겼다.

공개 서한에서 MIT, 프린스턴, 스탠포드 대학교의 연구진은 선의에 의한 생성형 AI 모델 연구의 법적, 기술적 보호를 요청하면서, 현재로서는 대중을 보호할 수 있는 안전 조치를 방해하고 있다고 주장했다.

서한 작성 및 배경 연구는 생성형 AI 제품의 독립 평가를 위한 법적 ‘안전 장치(safe harber)’를 요구하는 교수와 연구원 23명의 도움으로 진행됐다. 서한은 오픈AI, 앤트로픽, 구글, 메타, 미드저니 등 기업에 발송됐으며, 편견, 저작권 침해, 동의 없는 사적 이미지로부터 소비자를 보호하기 위해 연구자들이 제품을 조사할 수 있도록 허용해 달라는 내용이 담겼다. 

서한 작성을 담당한 두 연구원은 블로그 게시물에서 “이미 배포된 AI 모델에 대한 독립 평가는 안전, 보안, 신뢰를 보장하는 데 필수적인 것으로 널리 간주된다. AI 모델에 대한 자체 레드팀 연구를 통해 저자원 언어(low resource languages), 안전 조치 우회, 광범위한 탈옥과 관련된 취약점을 발견했다”라고 설명했다.

연구팀은 “이러한 평가가 오용, 편견, 저작권 및 기타 문제에 따른 모델의 결함을 폭넓게 조사할 수 있다”라고 덧붙였다.

한편 지난해 4월 한 기술 전문가 단체는 ‘사회와 인류에 대한 심각한 위험’을 언급하며 최소 6개월 동안 시스템의 훈련을 중단할 것을 AI 연구소에 촉구했다. 당시 애플 공동 창업자 스티브 워즈니악을 포함해 3,100명 이상이 서명했으며, 기술 리더들은 특히 오픈AI랩이 발표한 GPT-4 알고리즘을 지적하며 감독 기준이 마련될 때까지 추가 개발을 중단해야 한다고 주장했다.

150명 이상이 서명한 이번 서한에는 아이비리그와 MIT의 교수들을 비롯해 허깅페이스, 모질라 등 기업의 임원이 참여했다. 또한 민주주의 및 기술 센터의 연구 책임자인 다나라즈 타쿠르, AI 위험 및 취약성 연합의 회장인 수바브라타 마줌다르 등의 윤리학자도 명단에 이름을 올렸다.
 
ⓒ Knight First Amendment Institute, Columbia University

이들은 일부 생성형 AI 기업이 연구자의 시스템 액세스를 허용하는 특별 프로그램을 제공한다는 점에 대해서는 인정하고 칭찬하기도 했다. 하지만 자사 기술에 접근할 수 있는 기준이 주관적이라는 점을 지적했다. 

그중 연구진은 “보호되는 활동의 범위에 대해 다소 모호한 부분이 남아있지만” AI 기업인 코히어(Cohere)와 오픈AI를 예외로 꼽았다. 코히어는 명시된 법적 약속이 없어도 취약점 공개를 조건으로 ‘의도적인 API 스트레스 테스트 및 적대적 공격’을 허용하고 있으며, 오픈AI의 경우 이번 제안에 대한 빠른 응답으로 ‘모델 취약점 연구’와 ‘학술 모델 안전 연구’를 안전 장치에 포함하도록 정책을 확장했다.

연구진은 몇몇 AI 기업이 연구자 계정을 정지하고 서비스 약관을 변경하는 등 평가를 막고 있다면서 “독립적인 연구자의 권한을 박탈하는 것은 AI 기업의 이익에 부합하지 않는다”라고 지적했다. 

서한은 생성형 AI 제품을 조사하는 독립 평가자들이 계정 정지와 법적 위험에 대해 우려하고 있으며 “이 2가지 모두 연구에 악영향을 미친다”라고 언급했다. 이에 따른 보호 조치로 AI 기업이 연구에 2가지를 제공할 것을 요청했다.

1. 잘 정립된 취약점 공개 하에 수행된, 선의에 따른 AI 안전, 보안, 신뢰성 관련 독립 연구를 보장하는 법적 안전 장치.
2. 보다 공평한 접근을 보장하기 위해 독립적인 심사로 연구자의 평가 신청을 검토하겠다는 기업의 약속. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.