높아지는 AI 규제 요청의 목소리··· “규제 없으면 솔루션 업체 아닌 기업이 책임질지도”

​​생성형 인공지능(AI)의 개인정보 보호, 보안 및 편향성 문제에 대응하기 위한 법안이 잇달아 제정되는 가운데, 전문가들은 문제 발생 시 솔루션 공급업체가 아닌 해당 기업이 책임을 질 수 있다고 경고한다.
 

​​AI 제작자와 사용자의 책임을 강화하기 위해 여러 정부와 민간 기업 이니셔티브가 발족한 데 이어 최근에는 AI 및 법률 전문가 3명으로 구성된 패널이 기자회견을 열었다.​ 이퀄AI(EqualAI)의 CEO 미리암 보겔과 다른 두 명의 전문가가 모여 잠재적인 위험에 대한 대응책을 논의했다.​ 이퀄AI는 ​​AI 시스템의 무의식적인 편향성을 비롯해 여러 가지 “해악”을 줄이기 위한 목적으로 5년 전에 설립된 비영리 단체다. 기업을 대상으로 책임감 있는 AI 사용에 대한 교육과 자문 활동을 하고 있다.

​​백악관 AI 자문위원회 위원장이자 전 법무부 차관보인 보겔에 따르면, AI가 막대한 비즈니스 효율성을 끌어낼 수 있는 강력한 툴이지만 이를 사용하는 기업은 AI 시스템이 새로운 형태의 차별을 일으킨다는 점을 “극도로 경계”해야 한다. 그는 “편향성과 이와 관련된 해악은 AI의 오래된 문제다. AI에서는 문제를 탐지하기 더 어렵고 그 결과는 훨씬 더 심각해질 수 있다”라고 말했다. 

이날 토론에 참석한 이들은 AI 시스템을 포함한 알고리즘에서 규정 준수 및 안전을 감사하는 컨설팅 업체 ORCAA의 CEO 캐시 오닐, 그리고 분석 소프트웨어 업체 SAS 인스티튜트(SAS Institute)의 데이터 윤리 부문 부사장이자 이퀄AI 이사회 위원인 레지 타운센드다.​

보겔과 다른 패널 2명은 AI의 안전과 편향성 관리에서 중요한 것은 기술 전문가가 아니라 여러 기술을 포괄하는 관리 프레임워크라고 강조했다. 실제로 ​​AI는 다양한 형태로 수십년 동안 존재해왔지만 컴퓨터 프로세서가 발전해서 정교한 모델 및 챗GPT와 같은 생성형 AI 플랫폼을 지원할 수 있게 되면서 편향성, 보안 및 개인정보 보호에 대한 우려가 불거졌다. 지난 6개월간 기업의 채용 및 직원 평가, 승진에서 편향성 문제가 드러나면서 지방, 주 정부 및 미국 정부는 이 문제를 해결하기 위한 법령 제정을 서두르고 있다.​ 

​​오닐은 기업은 일반적으로 라이선스 형태로 외부 업체의 AI 소프트웨어를 사용하지만 법적 책임은 AI 기술 공급업체보다는 그 기술을 사용하는 측에 더 문제가 될 수 있다고 말했다.​ 그는 "10년 전에 광고 기술 분야에서 일할 때는 부와 성별, 인종에 따라 지금보다 더 쉽게 사람들을 차별했다. 그것이 광고에 대한 정형화된 접근 방식이었다. 이 방식이 잘못됐다는 것은 처음부터 명확했고, 실제 사례를 쉽게 찾을 수 있다.​ ​​예를 들어 얼굴 인식 알고리즘은 백인 남성을 대상으로 할 때는 잘 작동하지만 흑인 여성에게는 제대로 작동하지 않는 경우가 많다. 그 피해는 대부분 역사적으로 소외된 사람들에게 돌아간다"라고 말했다.​ 
 

어디서 잘못됐나 

​​이퀄AI의 기업 인증 프로그램은 ‘AI가 누구에게 잘못 작동할 수 있는가?’라는 질문에 초점을 맞춘다. 오닐은 "이 질문을 통해 기업 이해관계자가 AI가 적용된 애플리케이션의 대상이 되는 사람들의 입장을 고려하게 된다"라고 말했다.​ ​​예를 들어 자동화된 입사 지원자 추적 시스템이 인성 검사 중에 정신건강 이력에 따라 사람을 차별할 가능성, 또는 보험사가 보험료를 결정하기 위해 사용하는 알고리즘이 인종, 성별 또는 기타 요인에 따라 누군가를 불법적으로 차별할 가능성이다.​ 

​​오닐은 “이퀄AI는 이 빈 부분을 채운다. 다른 누구도 하지 않는 일이다. 좋은 소식은 그렇게 어려운 일은 아니라는 것이다. 상황을 예측하고 사람들을 해악으로부터 보호하기 위한 가드레일을 설치하는 것은 불가능한 일이 아니다. 비행기에 탑승했는데 조종석에 아무도 없다면 어떤 기분일까? 비행기의 각 계기판은 풍속, 연료 탱크의 연료량 등 무언가를 모니터링한다. 시스템의 전체적인 작동을 모니터링하는 체계를 만들면 된다”라고 말했다.​

그러나 ​​오닐에 따르면, AI에도 조종석이 있어야 하지만 지금은 없는 상황이다. 지금 상태로는 앞을 못 보는 상태로 비행하는 경우가 많고, 기업의 어느 부분이 잘못될 수 있는지, 누가 피해를 보는지, 그것을 어떻게 측정할 것인지, 이 측정에서 바람직한 최소 및 최대치는 무엇인지를 자문해야 한다고 지적했다. 그는 “그다지 복잡한 일이 아니고 가장 중요한 것은 안전이다. EEOC(공평한 채용 기회 위원회)는 다른 모든 행위에 대해 하는 것과 같은 방식으로, 가능한 모든 시민권 법률을 활용해 AI 시스템을 감독할 것임을 명확히 밝혀왔다. 행위가 AI 시스템의 추천을 통해 이뤄졌는지 여부는 중요하지 않다. 어떤 경우든 그 행위를 실행한 측에 책임이 있다”라고 말했다.​ 

​​보겔은 AI가 특정 법률을 위반할 가능성을 지적했다. 실제로 많은 AI 시스템이 미국 장애인법과 같은 법률을 위반하고 있다는 것이다. ​예를 들어 음성 인식 소프트웨어는 영어가 모국어인 사람을 사용해 학습되는 경우가 많으므로 언어 장애가 있거나 억양이 강한 사람의 말을 제대로 인식하지 못할 수 있다. 얼굴 인식 소프트웨어는 소수 민족의 얼굴을 잘못 판독하거나 아예 읽을 수 없는 경우도 많다.​ ​보겔은 “인식 소프트웨어가 학습된 정보에 따라 여성 음성 인식이 남성에 비해 떨어질 수 있다”라고 말했다.​ 
 

더 강한 규정 필요 

​​백악관과 7개 주요 AI 개발 회사는 지난 7월 21일 안전한 기술 사용을 위한 구속력 없는 합의를 도출했지만 타운센드는 여기서 다룬 내용만으로는 충분하지 않다고 지적했다.​ 그는 “이러한 기업은 의사 결정 테이블에 충분한 대표성을 보장해야 하지만, 그 자리에는 여성이 한 명도 없었다. 그 대화에 참여했던 사람들과는 다른 삶을 경험했고 외모와 느낌이 다른 사람들도 테이블에 앉아야 한다. 모든 기업에 이런 사람들이 있기 때문이다”라고 말했다.​ 

이날 행사가 열린 같은 날 챗GPT를 만든 오픈AI 역시 안전하고 책임감 있는 AI 시스템 개발을 장려하기 위한 산업 기구인 프론티어 모델 포럼(Frontier Model Forum)을 발족했다. 이 포럼은 AI 안전 연구의 발전과 함께 “모범 사례와 표준을 마련하고 정책 입안자와 업계 간의 정보 공유를 촉진하는 것”을 목표로 한다.

​​토론 참석자들은 이 포럼이 안전과 개인정보, 보안에 대한 논의에 AI 생태계 전체를 포함하는 과정을 한 걸음 진전시켰다고 평가했다.  단, “막대한 자금력을 보유한 대기업들”만으로 포럼이 구성되면 안 되며, 생성형 AI에 그치지 않고 더 넓은 범위의 철저한 검토가 필요하다고 지적했다.​ ​​타운센드는 “AI에 대한 논의는 생성형 AI 모델만 다루는 것이 아니라 범위를 더 넓혀야 한다. 금융, 소매에도 AI 모델이 있고, 스마트폰에서도 내비게이션에 AI 모델이 사용된다. 현재 AI에 대한 대화의 주제는 대규모 언어 모델이다. AI와 그들의 동기에 대해 철저히 논의해야 한다”라고 말했다.​ 

​​타운센드는 AI 시스템 구축과 관리를 전기 시스템에 비유했다. 전기의 경우, 안전한 전기 발전에 대한 책임은 엔지니어와 과학자에게, 전기 시스템 배선에 대한 책임은 전기 기사에게, 그리고 적절한 전기 사용에 대한 책임은 소비자에게 있다.​ ​​타운센드는 “AI에 대해서도 생태계 또는 공급망 내의 모두가 각자의 책임과 입출력에 대해 생각해야 한다”라고 말했다.​ ​​대규모 언어 모델(LLM)은 입력을 받고 출력을 반환하는 알고리즘 또는 코드 모음이다. 출력은 강화 학습과 응답 또는 프롬프트 엔지니어링을 통해, 즉 요청에 대한 적절한 응답이 무엇인지를 모델에 가르치는 방법으로 조작할 수 있다.​

​​소비자용 애플리케이션이든 백엔드 시스템이든 AI를 배포하는 기업은 이 문제를 빅테크와 AI 업체의 문제로 치부해서는 안 된다. 보겔은 "제품을 판매하는 기업이든 서비스를 판매하는 기업이든 일단 AI를 배포하면 스스로를 AI 기업이라고 생각해야 한다. 즉 기업이 AI 기술이 주는 모든 효율성을 받아들여야 하지만 기업이 짊어질 수 있는 기본적인 책임을 고려하는 것도 중요하다. 책임에 대한 AI 공급업체와의 계약 협상에 대해 생각하고, AI 툴을 배포하는 방식과 적용될 수 있는 개인정보 보호 법안을 고려해야 한다."라고 말했다.

이어 “다른 혁신 분야에서 생각할 수 있는 모든 일반적인 책임이 여기에도 적용된다. AI를 사용한다고 해서 일반적인 영역에서 벗어나는 것이 아니다. 그렇기 때문에 우리는 법률가를 논의에 매우 적극적으로 참여시키고 있다. 역사적으로 법률가들은 AI에 관여하지 않았지만 이제 해야 한다. 하지만 예를 들어 항공은 사람들이 일반적으로 접하는 분야지만 로스쿨에서 항공 법률 교육은 많이 이뤄지지 않는다. 여기나 다른 모든 혁신이 다 비슷한 상황이다. 우리는 위험을 이해하며 프레임워크와 안전 장치를 마련하는 데 도움을 주고 있다”라고 말했다.​

​​토론단은 AI를 사용하는 기업은 NIST 위험 관리 프레임워크에 익숙해져야 한다고 강조했다. 또한 기업은 AI 기술을 배포하고 사용하는 직원을 위한 구심점, 즉 최종적인 책임을 지고 문제를 해결하기 위한 리소스를 제공하고 빠른 의사 결정을 내릴 수 있는 담당자를 내부적으로 마련해야 한다.​

보겔은 "​​LLM 획득부터 내부 데이터를 이용한 학습에 이르기까지 AI 수명주기에서 프로세스를 마련해 어떤 단계에서 어떤 종류의 테스트가 필요한지도 명확히 해야 한다. 또한 AI 시스템 테스트를 문서화해서 향후 기술 평가 시 이미 검사된 부분과 되지 않은 부분을 고려할 수 있도록 해야 한다.​ 마지막으로, 일상적인 감사를 수행해야 한다. AI는 계속 반복을 거쳐 발전할 것이다. 한 번 하고 끝나는 상황이 아니다”라고 말했다.​
editor@itworld.co.kr