AI가 쓴 글, AI가 판별한다··· 오픈AI, 'AI Text Classifier' 공개

'인공지능의 저작 능력'이 연일 화제와 논란의 중심에 있다. 오픈API(OpenAPI)가 개발한 대화형 인공지능 챗봇인 챗GPT(ChatGPT)가 주인공이다. 챗GPT로 초등학교부터 대학생에 이르기까지 숙제나 과제를 생성해 제출하면서 교육계의 화두로 떠오르고 있다. 심지어 논문조차도 사람이 작성한 것과 구별하기 힘들다는 우려까지 나온다.

논란을 일으킨 장본인 오픈API가 이번 에는 '인공지능이 쓴 글을 구별하는 인공지능 도구'를 공개했다. '인공지능 텍스트 클래시파이어'(AI Text Classifier)라고 이름 붙인 또 다른 인공지능은, 이름처럼 텍스트를 작성한 주체가 사람인지 인공지능인지를 구별 또는 판별해 주는 도구다. 좀 더 정확하게 말하면 인공지능이 작성했을 가능성이 있는지를 알려준다.

다만, 아직은 정확하지 않다. 오픈API 조차도 '텍스트 클래시파이어가 항상 정확한 것은 아니다. AI가 생성한 텍스트와 사람이 쓴 텍스트 모두에 레이블을 잘못 지정할 수 있다'고 밝히고 있다. 즉, 사람이 쓴 것인지 인공지능이 쓴 것인지 예측은 하지만, 얼마든지 잘 못 판별할 가능성은 있다는 의미다.


오픈AI가 공개한 'AI 텍스트 클래시파이어' 입력 창에 '1,000자 이상의 영문 텍스트'를 입력하면, AI가 작성했을 가능성이 어느 정도인지 5단계로 구분해 알려준다. (자료 : OpenAI)

AI 텍스트 클래시파이어를 사용하는 방법은 다음과 같다, 첫째, 오픈API의 계정이 있어야 한다. 둘째 AI 텍스트 클래시파이어 웹페이지(https://platform.openai.com/ai-text-classifier)에 로그인한다. 셋째, 텍스트 입력 창에 검증하고 싶은 텍스트를 최소 1,000자(약 150~250 단어) 분량 복사해서 붙여 넣는다. 넷째, 입력 창 아래에 있는 제출(Submit)을 클릭한다.

텍스트를 제출하면 잠시 후 인공지능을 통해 분석한 후 5가지 형태의 결과를 출력한다. 분석 알고리즘에 따라 설정한 분류 임계값을 기준으로 0.98보다 크면 'AI 생성 가능성', 임계값이 0.9~0.98 사이라면 '아마도 AI가 작성', 0.45~0.9의 임계값을 가지면 'AI 작성 여부 불분명', 임계값이 0.1~0.45라면 'AI 생성 가능성 낮음', 0.1 이하면 'AI 생성 가능성이 매우 낮음'이라는 결과를 출력한다.

AI 텍스트 클래시파이어는 '성인이 작성한 영어 텍스트'를 대상으로 훈련되어 있기 때문에, 어린이가 작성한 영어 문서나 영어가 아닌 텍스트는 오류가 커진다. 오픈API가 밝힌 자체 테스트에서는 사람이 작성한 텍스트 9%와 AI가 작성한 문서 26%에 대해 'AI 생성 가능성'이 있다고 판별했다.

AI 텍스트 클래시파이어에 사용된 언어 모델은 "사람 이 작성한 텍스트와 AI가 생성한 텍스트를 구별하기 위해 사전 훈련된 언어 모델에서 미세 조정된다. 우리는 사람이 쓴 텍스트와 AI가 생성한 텍스트의 여러 소스에서 얻은 샘플에 대해 모델을 교육했다. 오픈AI를 포함하여 언어 모델을 배포하는 5개 조직의 34개 모델에서 생성된 텍스트를 사용한다"라고 오픈AI는 밝혔다.

또한, "우리는 AI가 생성하고 사람이 쓴 텍스트 데이터 세트를 수집했다. 사람이 쓴 텍스트는 새로운 위키피디아(Wikipedia) 데이터 세트, 2019년에 수집된 웹텍스트(WebText) 데이터 세트, 교육 인스트럭트 GPT(InstructGPT)의 일부로 수집된 사람의 시연 세트 등 세 가지 출처에서 나왔다. 이 모델은 주로 공개 웹(사람이 작성한 데이터 세트의 경우)의 영어 텍스트와 영어 텍스트로 학습된 모델(모델 작성 데이터 세트의 경우)에서 영어 텍스트로 학습 및 평가된다"라고 전했다.

실제로 챗GPT에게 '스트레스 관리 방법에 대해 작성하라'고 요청해서 생성한 텍스트를 'AI 텍스트 클래시파이어'에 제출해서 테스트 분석을 진행했다. 텍스트의 전반부와 후반부를 1,000자 이상 복사해서 넣고 분석한 결과, 각각 아마도 AI가 작성(Possibly AI-generated)'과 'AI 생성 가능성(Likely AI-generate)'이라는 결과를 내놨다.

영문으로 작성된 CIO 기사 일부를 넣었을 때는, 'AI 생성 가능성이 매우 낮음(Very unlikely to be AI-generated)'이라고 분석 결과를 알려줬다. 완벽하게 믿을 수는 없지만 그래도 참고할만한 가치는 있는 셈이다. 

하지만 AI가 작성한 문서를 사람이 작성했다고 오판하는 것보다는, 사람이 작성한 문서를 AI가 생성한 것으로 잘못 구별할 경우 상당한 혼란과 문제가 발생할 수 있다.

이런 점을 의식해서 오픈 AI는 "우리는 이 모델이 학생 에세이, 자동 허위 정보 캠페인, 채팅 기록을 포함하여 예상되는 많은 주요 대상에 대해 신중하게 평가되지 않았음을 주의해야 한다. 실제로 신경망 기반 분류기는 훈련 데이터 외부에서 제대로 보정되지 않는 것으로 알려져 있다. 훈련 세트의 텍스트와 매우 다른 입력의 경우, 클래시파이어는 때때로 잘못된 예측에 대해서 확신한다"라고 제한 사항을 밝히고 있다.

오픈AI는 "현재 우리는 예상 확률이 아닌 클래스를 출력하는 웹 인터페이스에 대한 공개 액세스를 통해서만 클래시파이어를 사용할 수 있도록 만들고 있다. 우리는 모델 가중치를 공개할 계획은 없지만, 웹 인터페이스를 통해 누구나 클래시파이어에 대해 최적화하여 회피 기술을 개발할 수 있음을 인식한다"라는 입장을 밝혔다. ciokr@idg.co.kr