Offcanvas

AI / 로봇|자동화

“비유럽 기업도 벌금 폭탄 맞을 수도”··· IT 리더가 미리 알아야 할 EU AI법의 핵심 사항

2024.05.03 Grant Gross  |  CIO
EU AI법의 최종 승인 시점이 점점 가까워지고 있다. AI 기술을 사용 또는 개발하는 기업이라면 규제안 시행에 대비해 투명성 및 위험 평가 요건을 적극 준비해야 한다. 구체적으로 IT 리더가 점검해야 할 사항이 무엇인지 AI, 컴플라이언스, 법률 전문가에게 의견을 물어보았다.
 
ⓒ Getty Images Bank

지난 3월 AI 애플리케이션의 사용과 배포를 규제하는 ‘EU AI법’이 유럽의회에서 통과됐다. 이제 장관 승인만 거치면, AI법은 본격 발효되며, 2026년부터는 모든 기업을 대상으로 전면 시행된다.

EU AI법은 AI를 개발은 물론 단순히 사용하는 조직 모두에 적용되기 때문에 CIO라면 이 새로운 규정에 관심을 가져야 한다. 또한 EU AI법은 EU 회원 국가뿐만 아니라 EU 시민에게 서비스를 제공하는 비유럽 국가 기업에도 적용된다는 점에서 글로벌 기업은 대응책을 마련하고 있어야 한다.

EU 당국은 2021년 4월부터 본격적으로 AI 법안을 제시하며 AI 관련 규제안을 만드는데 투자했다. 이미 일론 머스크와 오픈AI의 샘 알트먼 등 많은 IT 업계 주요 인물이 AI를 규제하는 법안을 마련해달라고 요청해 왔다. 다만 일부 전문가는 EU AI 법안에서 제시하는 방향에 반대하고 있기도 하다.

데이터 과학 및 AI 기업인 도미노데이터랩(Domino Data Lab)의 AI 전략 책임자 키엘 칼슨이 대표적으로 EU AI 법안에 우려의 목소리를 내는 인물이다. 칼슨은 “EU AI 법으로 전체 AI 수명주기를 검증, 모니터링, 감사하는 조직에 대한 새로운 의무를 부여할 것”이라고 설명했다.

칼슨은 “EU AI 법안이 통과되면 이제 AI 영역에서 가장 두려야 할 부분이 AI 규제 그 자체가 될 것”이라며 “천문학적인 벌금, 광범위한 범위, 불명확한 정의로 인해 이제 EU에서 활동하는 모든 조직은 AI, ML, 분석 중심 활동에서 잠재적인 리스크를 지게 되었다”라고 밝혔다.

칼슨은 AI법이 AI 연구와 도입에 상당한 위축 효과를 불러올 수 있다고 우려했다. AI 법안은 기업에 수백만 달러 규모 벌금을 부과할 수 있으므로 AI 기반 제품 및 서비스를 개발을 억제 시킬 수 있다는 것이다. AI법에서는 최대 3,500만 유로(한화 512억 원) 또는 기업 연간 매출의 7%를 비교해서 둘 중 더 큰 벌금을 부과하겠다고 명시하고 있다.

칼슨은 “그렇다고 규제를 피하고자 AI가 가져올 혁신을 무시할 수 없을 것”이라며 “AI를 사용하는 것은 더 이상 선택 사항이 아니며, 모든 조직은 생존과 번영을 위해 AI 사용을 확대해야 한다”라고 설명했다.

AI 법안의 핵심 내용 3가지
EU AI법은 458페이지에 달하는 방대한 분량한 내용으로 크게 세 가지 영역을 다루고 있다.

첫 번째, 개발하면 안 되는 AI를 규정하고 있다. 해당 규정에서는 민감한 신체 정보를 활용하는 생체 인식 분류 시스템 등 인권을 위협하는 AI 애플리케이션 개발을 금지하고 있다. 얼굴 인식 데이터베이스를 만들기 위해 인터넷이나 보안 영상에서 얼굴 이미지를 무차별적으로 수집하는 행위도 금지한다는 내용도 있다.

이 규정은 또한 직원이나 학생의 감정을 모니터링하거나, 사회적 점수를 매기거나, 개인의 프로필이나 특성을 기반으로 하는 치안 예측 관련 AI 개발도 금지한다. 인간의 행동을 조작하거나 취약점을 악용하는 AI 시스템 개발도 만들면 안된다.

두 번째 고위험 AI 시스템을 개발하는 기업이 지켜야 할 의무도 명시됐다. 건강, 안전, 인권, 환경, 민주주의, 법치주의에 심각한 잠재적 해를 끼칠 수 있는 AI 도구를 사용하는 조직도 규제를 받는다. 이런 기술을 개발하는 기업은 위험 평가를 수행하고, 위험을 줄이기 위한 조치를 취하고, 사용 로그를 유지하고, 투명성 요건을 준수하고, 사람의 감독도 지원해야 한다. EU 시민은 직접 고위험 AI 시스템에 대한 문제점을 지적하는 문서를 제출하고 왜 그런 시스템을 만들었는지에 대한 설명을 AI 기업에게 들을 권리도 얻는다.

여기서 말하는 고위험 AI 시스템이란 중요 인프라, 교육 및 직업 훈련, 채용, 의료, 은행 업무, 선거에 영향을 미칠 수 있는 시스템 등을 말한다. 일부 사법 당국과 국경 통제 관련 업무를 담당하는 당국도 AI 관련 규제를 받게 된다.

세 번째 투명성 요건 규정이 있다. 범용 AI 시스템과 그 기반이 되는 AI 모델은 학습 과정에서 사용된 콘텐츠에 대한 구체적인 요약 정보를 공개해야 하는 등 투명성 요건을 준수해야 한다. 주류 범용 AI 개발 업체는 추가 규제를 받게 되며, 모델 평가를 수행하고, 위험을 평가 및 완화하며, 사고에 대해 보고해야 한다.

또한 딥페이크(AI로 전부를 생성하거나 일부 조작한 이미지, 오디오, 비디오 콘텐츠)는 명확하게 AI 콘텐츠라는 정보를 표기해야 한다.

투명성 및 아직 구체화되지 않은 세부 규정
법조계 전문가는 EU AI법으로 CIO가 곤란한 상황을 맞이할 수 있다고 지적했다. 먼저 투명성 요건 규정은 AI 도구에 대한 광범위한 문서가 없거나 내부 데이터를 잘 다루지 못하는 조직의 경우 준수하기 어려울 수 있어 주의해야 한다. 여기에 AI 개발 및 사용 모니터링 요건은 고위험 및 범용 AI를 모두 사용하는 기업은 거버넌스에 대한 의무가 더 추가될 것이다.

EU AI법의 일부는 2026년에 실행되긴 하겠지만 사실 규제에 영향을 미치는 많은 세부 사항이 아직 확정되지 않았다. 경우에 따라 규제 당국은 법이 시행되기 6개월 전까지 규정을 명시하지 않아도 된다. 세부 사항에 대응하는 과정에서 기업은 준비 시간이 촉박할 수 있다.

단, 도미노데이터랩의 칼슨은 투명성 및 모니터링 요건으로 조직은 컴플라이언스를 보다 강화하는 계기를 얻을 수 있을 것이라고 설명했다. 칼슨은 “오늘날 대부분의 기업은 AI 모니터링 및 관리 역량 부분을 이제 막 준비하고 있다”라며 “주요 AI 회사나 금융 서비스 및 제약과 같이 규제를 심하게 받는 산업을 제외하고는 거버넌스가 데이터를 마련하는 수준에서 멈춰 있으니, AI법으로 현재 상황을 개선하는 논의를 본격 시작할 수 있을 것”라고 밝혔다.

컴플라이언스 및 사이버 보안 공급업체인 가이드포스트 솔루션(Guidepost Solutions)의 CEO 줄리 마이어스 우드는 AI법에 따라 고위험 AI 시스템은 AI 운영과 데이터 사용에 관한 광범위한 문서를 제공해야 한다고 조언했다. 많은 기업이 데이터 관리 및 애플리케이션 개발 프로세스에 대한 투자를 늘려야 할 것이며, 일부 AI 시스템을 더 쉽게 해석하고 설명할 수 있도록 재설계해야 할 수도 있다고 말했다.

우드는 “개발 또는 도입 수명 주기안에서 AI법에서 요구하는 내용을 주의 깊게 다뤄야 한다”라며 “심층 신경망과 같이 본질적으로 투명성이 부족한 AI 모델에 크게 의존하는 기업은 특히 규정 준수가 어려울 수 있다”라고 설명했다.

데이터 프라이버시 및 국제법 문제를 전문으로 다루는 로펌 베이커호스테틀러(BakerHostetler)의 변호사 니콜 스털링은 AI법이 기본적으로 소급 적용되지는 않지만 이미 개발 또는 배포된 AI 시스템에도 투명성 규정이 적용될 것이라고 말했다.

같은 베이커호스테틀러 로펌에서 근무하는 신기술 및 AI팀 리더이자 변호사 제임스 쉐러는 “AI를 사용하는 기업은 지금부터 프로세스와 AI 데이터 사용을 문서화하고 데이터 관리 관행을 점검해야 한다”라고 조언했다.

쉐러는 “이미 매우 좋은 관행을 가지고 있다면 AI법에서 요구하는 기본 사항 상당수를 대비하고 있는 상태일 것”이라며 “그런 상황이 아니라면 앞으로 엄청난 문서화 작업이 필요할 것이고, 늦을수록 법안에서 요구하는 절반도 입증할 수 없을 것”이라고 말했다.

아직 알려지지 않은 미지의 영역
한편 EU 규제 당국은 법안이 최종 통과된 날로부터 최대 18개월 동안 법의 구체적인 정의와 규칙을 작성할 수 있다. 쉐러는 제안된 법안에는 준수해야 할 규정이 많으며, 일부 규정은 미묘한 차이가 있을 수 있다고 설명했다.

쉐러는 "변동성이 큰 부분이 많고 체크해야 할 항목이 많다”라며 “구체적인 세부 규제가 지원돼야 하는 부분도 많다”라고 밝혔다.

스털링 변호사는 “법을 준수해야 하는 당사자는 당국이 고위험 AI 시스템을 평가하기 위한 가이드라인, 사용 사례, 가능한 행동 강령 등을 구체적으로 제시해 주기를 기다리고 있다”라며 “그런 것들이 마련되면 AI 기업 입장에서 정말 도움이 많이 될 것”이라고 설명했다.

마지막으로, 쉐러는 AI법이 시스템 자체보다는 AI 시스템의 영향에 더 초점을 맞추고 있다며, 이는 AI의 빠른 발전과 예측 불가능성을 고려할 때 규정 준수를 어렵게 만들 수 있다고 밝혔다.

쉐러는 “특정 시스템이 여러 가지 작업을 할 수 있게 만들 수 있다”라며 “시스템 핵심 기능이 변화하기 시작하면 그 뒤에 따라오는 많은 요구 사항도 많아질 것”이라고 말했다.
ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.