클라우데라 기고 | ‘AI 골드러시’와 데이터 관리

지난 3월 전 세계 인공지능(AI), 머신러닝 분야 리더들이 GPT-4(오픈AI가 개발한 언어 모델)보다 발전된 AI 시스템 훈련을 즉시 중지해야 한다는데 목소리를 모았다. 단 2주 만에 테슬라 CEO 일론 머스크를 포함한 1만 9,000명 이상의 사람들이 삶의 미래 연구소(Future of Life Institute)의 공개 서한에 서명했다. 아이러니하게도 오랫동안 AI의 잠재적인 위험에 얘기해온 머스크는 2015년 비영리 연구기관인 오픈AI를 공동 설립한 인물이다.

이에 반대하는 목소리도 있었다. 빌 게이츠와 AI 개발자들은 어떤 것이든 멈추는 건 매우 어렵고, 앞으로 가야 할 길은 AI의 ‘까다로운 영역(tricky areas)’을 다루는 것이라 주장했다. 메타의 수석 AI 과학자인 얀 르쿤과 구글 브레인의 공동 창립자인 앤드류 응은 훈련 중지를 끔찍한 생각이라 표현하며, AI가 창출하는 엄청난 가치와 현실적인 위험 사이의 균형을 맞출 필요가 있다고 주장했다. 새롭고 더 강력한 대규모 언어모델 개발을 중지하는 것은 상업적인 경쟁, 공공 정책과 잠재적으로 국가 안보에까지 영향을 미치는 복잡한 결정이 될 것이다.

오늘날 디지털 경제는 그 어느때보다 다양한 종류의 데이터를 엄청난 규모로 만들어내고 있다. 기업들은 수익과 효율성을 높이기 위해 AI와 머신러닝 기술로 전환하고 있다.

최근 IBM이 전 세계를 대상으로 진행한 조사에서 AI를 기반으로 한 기술이 비즈니스 구조를 바꿀 것으로 예상됐다. 또한, 조사에 참여한 글로벌 비즈니스 리더의 3분의 1은 생성형 AI가 기업을 변화시킬 것으로 전망했다. IDC는 2026년까지 아시아태평양 지역에서 AI 관련 지출이 492억 달러에 이를 것으로 전망했다. 현재 아태지역의 대부분의 국가들은 AI 채택과 활용 사례를 늘려 나가기 위해 국가 차원의 AI 전략을 잇따라 발표하고 있다.

공개 서한의 서명자들은 이처럼 AI에 대한 관심이 높아지는 것을 우려하고 있다. ‘AI 골드러시’가 시작돼 개발자들도 이해하거나, 예측하거나, 신뢰할 수 없는 AI가 등장할 수 있다.

GPT-4와 같은 서드파티 플랫폼을 사용하는 기업은 구축 중인 기술에 대해 발생할 수 있는 잠재적인 위험을 철저히 평가해야 한다. 최근 발생한 GPT-4 데이터 침해는 시스템 버그가 원인이었지만, 이 사건을 통해 보안에 대한 우려가 수면 위로 올라왔다. 한 기업의 엔지니어들이 민감한 기업 기밀을 챗GPT에 공유한 사건이 있었다. 우리는 시스템 훈련에 사용하는 데이터와 만일 데이터가 유출될 경우의 잠재적인 결과에 대해 더 잘 알아야 한다.

더 정교하고 자율적으로 변하는 데이터 기반 시스템을 개발할 때는 윤리적인 책임이 따른다는 점도 함께 기억해야 한다. 윤리적인 AI를 향한 움직임은 데이터 편향과 편견을 줄이기 위해 공정하고, 책임감 있고, 투명한 AI 시스템을 설계하려는 시도다. 규제 관련 기준이 없는 상황에서 기업들은 의도를 명확히 하고, 그들의 영향을 신중하게 고려해 AI 시스템에 접근해야 한다.

한편, 최근 몇 년간 공정성과 윤리로 인해 AI 시스템의 해석 가능성과 투명성이 주목받았다. 그러나 소비자를 보호하기 위해 모델의 행동을 이해하고 주변에 벽을 쌓는 것만으로는 더 이상 충분하지 않다.

기업은 한 걸음 물러나 AI의 기반이 되는 데이터가 무엇인지 살펴봐야 한다. 데이터에 잠재적으로 확인 편향이 존재할 수 있듯이, 인간은 다양한 형태의 뿌리깊은 편견을 가지고 있다. 채용, 대출 승인, 해고와 같은 비즈니스 과정을 자동화하기 위해 AI를 사용하는 것은 데이터에 내제돼 있는 편향을 확대하고, 의도치 않은 결과와 차별을 초래할 수 있다.

많은 사람들이 문제를 해결하고, 혁신을 일으키고, 기업과 소비자 모두에게 가치를 제공하기 위해 AI 채택을 고려한다는 점에서 잠재적으로 중요한 이점이 있다. 그러나 극소수의 기업만이 대규모 언어모델을 훈련시킬 수 있는 자원을 가지고 있다.

편견, 인과관계, 상관관계, 불확실성과 인간의 실수를 다룰 수 있는 윤리적인 AI 시스템을 개발하기 위해서는 데이터 관리와 거버넌스, 그리고 결과물을 안정적으로 재생산할 수 있는 능력에 대해 강력한 통제력을 유지하는 것이 필수적이다. 디지털 접점을 통해 방대한 양의 고객 데이터를 보유한 기업의 경우, 이 데이터 세트를 대규모 언어모델에 투입해 생성 기능을 더욱 세밀하게 조정할 수 있다.

데이터 민감도 검사와 데이터 정리가 가능한 데이터 관리 플랫폼을 활용하면 훈련이나 데이터를 미세 조정하는 과정에서 개인과 개인 데이터를 제외함으로써 존재할지도 모르는 함정을 피하고 AI의 이점을 누릴 수 있다.

* 다니엘 핸드는 클라우데라의 아시아태평양지역(APAC) 최고기술책임자(CTO)로서, 엔터프라이즈 데이터 클라우드 관리를 이끌고 있다. 그는 클라우데라에 합류하기 전까지 20년간 AWS, 레드햇 등 여러 고성장 혁신 기술 기업의 임직원으로 활동한 바 있다. ciokr@idg.co.kr