Offcanvas

AI / 개발자 / 머신러닝|딥러닝

‘개발자들, 보안 우회까지 해가며 AI 도구 사용’… 스닉 조사 결과

2023.11.30 John Mello Jr.  |  CSO
사이버 보안 기업 스닉(Snyk)에 따르면 개발자의 약 96%가 AI 도구를 사용하는 것으로 나타났다. 스닉은 10명 중 8명에 가까운 개발자가 보안 정책을 우회해 AI의 역량과 보안을 근거 없이 신뢰하면서 사용하고 있다고 주장했다.
 
ⓒ Getty Images Bank

스닉이 지난 28일 개발자의 AI 사용 현황에 대한 조사 결과를 발표했다. 이에 따르면 개발자의 절반 이상은 생성형 AI 도구가 일반적으로 안전하지 않은 코드를 생성한다는 사실을 인정하지만, 개발팀의 96%가 해당 도구를 사용하고 있으며 절반 이상은 항상 이를 사용하고 있다고 응답했다.

이번 조사는 소프트웨어 엔지니어링과 보안 팀원 및 리더 537명을 대상으로 실시됐다. 개발자가 AI를 사용하기 위해 보안 정책을 우회하고 있다고 답한 응답자는 79.9%에 달했다.

스닉의 수석 개발자 책임자인 사이먼 메이플은 “개발자들이 생성형 AI 도구를 사용하기 위해 정책을 우회한다는 사실은 알고 있었다. 놀라웠던 것은 응답자 수다. 응답자 약 80%가 조직의 보안 정책을 항상, 대부분 또는 일부 우회해 AI를 사용하는 것으로 나타났다. 이 수치가 그렇게 높다는 사실에 놀랐다”라고 말했다.

테스트 과정 없으면 AI가 개발 환경에 취약점 가져올 위험 증가
보고서는 보안 정책을 무시하는 것이 엄청난 위험을 초래할 수 있다고 지적했다. 기업이 빠르게 AI를 도입하면서도, 코드를 보호하기 위한 보안 프로세스는 자동화하고 있지 않기 때문이다. 응답자의 9.7%만이 자신의 팀이 보안 스캔의 75% 이상을 자동화하고 있다고 답했다. 이러한 자동화 부족으로 보안에 상당한 공백이 생기게 된다.

메이플은 “생성형 AI는 가속기다. 코드를 작성하고 해당 코드를 프로덕션 환경에 제공하는 속도를 높일 수 있다. 테스트 과정이 없다면 취약점이 프로덕션 환경에 적용될 위험이 커진다”라고 경고했다.

그는 “다행히도 설문조사 응답자 5명 중 1명은 AI 도구 사용의 직접적 결과로 보안 스캔 횟수를 늘렸다. 이 수치는 여전히 너무 적지만, 조직은 AI 도구 사용에 있어 보안 스캔 횟수를 늘려야 한다는 것을 인식하고 있다”라고 덧붙였다.

개발자는 AI보다 스스로를 더 믿어야
보고서는 이러한 시스템이 지속적으로 안전하지 않은 제안을 한다는 명백한 증거가 있어도 많은 개발자가 생성형 AI가 제안하는 코드의 보안을 지나치게 신뢰하고 있다고 주장했다.

메이플은 “코파일럿과 같은 생성형 AI 코딩 시스템에서 코드가 생성되는 방식은 마치 마법처럼 느껴진다. 코드가 그냥 나타나고 기능적으로 작동하면 사람들은 그것이 좋아 보이기 때문에 연기와 거울, 마법을 지나치게 믿게 된다”라고 말했다.

그는 또한 개발자가 자신의 재능보다 기계의 결과물을 더 중요하게 여길 가능성도 있다고 경고했다. 그는 “여기에는 가면 증후군(Impostor syndrome)이 존재한다. 개발자들은 자신이 실제 실력만큼 뛰어나다고 믿지 않으며, 자신의 코드가 기계가 생성한 것만큼 안전하지 않다고 생각한다”라고 설명했다.

AI로 인한 속도 향상으로 안전하지 않은 오픈소스 구성 요소가 코드에 포함될 위험 증가
스닉은 AI 소프트웨어 개발 도구의 광범위한 사용이 오픈소스 보안 문제에 기여했다고 언급했다.

보고서에 따르면 응답자의 24.6%만이 소속 조직에서 소프트웨어 구성 분석을 사용해 AI 도구가 제안한 코드의 보안을 검증한다고 답했다. 속도가 빨라지면 안전하지 않은 오픈소스 구성 요소가 코드에 채택되는 속도도 빨라질 가능성이 있다.

AI 코딩 시스템은 강화 학습 알고리즘을 사용해 사용자가 제안에 포함된 안전하지 않은 오픈소스 구성 요소를 수락할 때 결과를 개선하고 조정한다. 이 때문에 안전하지 않은 경우에도 해당 구성 요소를 안전한 것으로 표시할 가능성이 높다. 

이러한 구조는 개발자가 AI 도구의 오픈소스 제안을 받아들인 다음 해당 제안을 검사하지 않는 피드백 루프를 생성할 수 있다. 조직의 애플리케이션 코드 기반뿐만 아니라 AI 시스템 자체의 추천 시스템까지 오염시킬 위험이 있다고 스닉은 설명했다.

AI 코딩 도구가 사람보다 정확하고 오류가 적다고 믿는 것은 위험
스닉은 AI 코딩 제안이 안전하다는 개발자의 인식과, 그렇지 않다고 주장하는 연구 결과 사이에 명백한 모순이 있다고 주장했다.

스닉은 이를 사회적 증거(social proof)의 원리와 권위적으로 보이는 시스템에 대한 인간의 내재적인 믿음으로 인한 결과라며, 집단적 사고가 형성돼 인식과 교육의 문제가 발생한 것이라고 지적했다. 다시 말해 AI 코딩 도구가 사람보다 정확도가 높고 오류가 적다는 근거 없는 믿음이 유포되면서 많은 사람들이 이를 사실로 받아들이게 됐다는 것이다.

보고서는 이러한 위험하고 잘못된 인식에 대한 해결책을 언급했다. 이에 따르면 조직은 채택하는 기술에 대한 팀 교육을 2배로 강화하는 동시에, 보안 분야에서 승인된 보안 도구로 AI 생성 코드를 보호해야 한다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
Sponsored
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.