Offcanvas

AI / How To / SNS / 비즈니스|경제

“구인구직 매칭 서비스에 LLM 활용해보니...” 링크드인이 전하는 생성형 AI 현실 교훈

2024.04.26 Evan Schuman  |  CIO
이 소셜 미디어 대기업은 회원 서비스를 개선하기 위해 생성형 AI를 도입했다. 링크드인의 엔지니어들이 LLM을 활용하여 비즈니스 성과를 달성하는 과정에서 얻은 교훈을 소개한다. 
 
Image Credit : Getty Images Bank

전 세계 10억 명 이상의 사용자를 보유한 링크드인은 오늘날 비즈니스 분야의 기술 한계를 끊임없이 도전하는 기업이다. 운영 규모, 데이터 특성 등의 측면에서 링크드인에 필적할 만한 기업은 그리 많지 않다.

이 채용 중심 소셜 미디어 플랫폼에게는 자격을 갖춘 지원자와 잠재적 고용주를 연결하는 것이 핵심 비즈니스다. 또한 플랫폼 전반의 게시물 피드가 이용자들과 관련성을 갖도록 하는 것도 중요하다. 그리고 링크드인은 이러한 매칭 작업에 늘 기술을 사용해왔다.

2023년 여름, 생성형 AI에 대한 관심이 한창일 때 링크드인은 지원자와 고용주를 매칭하고 피드를 더 유용하게 만드는 데 대규모 언어 모델(LLM)을 활용하는 방안을 검토하기 시작했다. 이 소셜 미디어 대기업은 이제 마이크로소프트 애저 오픈AI 서비스를 활용한 실제 성과를 보고하고 있다. 링크드인이 그 과정에서 얻은 교훈을 살펴본다.

적절성 확인과 시작
대부분의 CIO가 경험했듯이, 새로운 기술의 수용에는 많은 실험과 좌절이 따른다. 링크드인의 수석 소프트웨어 엔지니어이자 기술 책임자인 후안 보타로는 링크드인의 경우도 다르지 않았다며, LLM 인사이트를 얻기까지의 여정이 순탄치 않았다고 말했다.

그는 “초기 결과물에 부족한 느낌이 들었다. 점들이 충분히 연결되지 않았다"라고 말했다.

기술 초기의 과대 광고와 낮은 완성도도 문제였다. 보타로는 "당시 LLM은 새로운 것이었고 모든 것을 해결할 수 있을 것처럼 묘사됐다. 우리 또한 LLM이 무엇을 할 수 있는지에 대한 명확한 아이디어를 가지고 시작하지 않았다"라고 말했다.

그 결과 개발된 일자리 매칭 노력의 초기 버전은 말 그대로 ‘무례’했다. 지나치게 무뚝뚝하기도 했다. 보타로는 “특정 직무에 대한 적합성 평가를 클릭한 후 '당신은 이 직무와 정말 안 맞습니다'라는 답변을 받는 경험은 그리 유쾌하지 않을 것”이라고 말했다.

그는 이어 "[답변이] 사실적이면서도 친절해야 했다. 일부 회원은 현재 적성이 맞지 않는 분야로의 이직을 고려하고 있을 수 있다. 이들에게 격차가 무엇인지, 적절한 이직처는 어디인지 이해하도록 도울 필요가 있었다”라고 말했다.

따라서 링크드인이 체득한 첫 번째 교훈은 청중의 기대에 맞춰 LLM을 조정하는 것의 중요성, 그리고 인간적이지는 않더라도 최소한 인간적인 답변을 하는 방법을 이해하도록 돕는 것이었다.

속도 이슈
링크드인은 10억 명 이상의 회원을 보유하고 있다. 하지만 링크드인의 LLM 작업이 적용될 구직 기능은 처음에는 훨씬 적은 프리미엄 회원을 대상으로 했다. (참고로 링크드인은 프리미엄 회원 수를 공개하지 않고 있다.) 

일부 회원을 대상으로 지원자와 관련 채용 공고를 매칭하는 것과 같은 미묘한 작업의 경우 빠른 속도가 요구된다. LLM의 장점 중 하나가 빠른 속도로 언급되곤 하기 때문에 링크드인은 LLM이 도움이 될 것이라고 기대했다. 하지만 실제 배포에서는 그렇지 않았다며, “개인적으로 속도가 LLM의 강점이라고 보지도 않는다”라고 보타로는 말했다.

하지만 속도는 여러 의미를 가질 수 있다. 운영 측면에서는 LLM이 기대만큼 빠르지 않았지만, 전체 배포 프로세스의 가속화는 인상적이었다는 설명이다. 보타로는 "이 새로운 기술의 장점 중 하나는 프로토타입을 2~3개월 만에 매우 빠르게 만들 수 있다는 점이다. 이 기술 이전에는 불가능했던 속도다"라고 말했다.

보타로는 LLM이 없었다면 프로젝트의 여러 측면을 완성하는 데 얼마나 오래 걸렸을 지를 묻는 질문에 일부 요소는 전혀 완성할 수 없었을 것이라며, 다른 요소는 "몇 년이 걸렸을 수도 있다"고 말했다.

보타로는 의도를 이해하도록 설계된 시스템의 일부를 예로 들었다. LLM이 없었다면 이 작업은 2~3개월이 걸렸을 수 있지만, LLM을 통해서는 일주일도 안 돼서 마스터할 수 있었다고 그는 덧붙였다.

비용 문제
보타로가 '장애물'이라고 부르는 한 가지 측면은 바로 비용이다. 링크드인의 경험에서 알 수 있듯이 비용은 프로젝트의 여러 단계에서 다른 의미를 가질 수 있다.

"개발을 위해 지출한 금액은 무시할 수 있는 수준이었다. 하지만 링크드인의 고객에게 데이터를 제공하는 단계에서는 비용이 폭발적으로 증가했다”라고 그는 말했다.

보타로는 "서비스 회원 수가 200만 명에 불과하더라도 가격이 치솟을 수 있다”라며, 그 이유는 LLM 가격, 적어도 링크드인이 LLM 제공자이자 모기업인 마이크로소프트와 체결한 라이선스 계약이 사용량, 특히 입력 및 출력 토큰을 기준으로 책정되었기 때문이라고 설명했다.

일반적으로 LLM 입력 및 출력 토큰은 대략 0.75 단어에 해당하는 것으로 간주된다. LLM 공급업체는 일반적으로 수천 또는 수백만 개 단위로 토큰을 판매한다. 예를 들어 링크드인에서 사용하는 애저 오픈AI는 미국 동부 지역에서 8K GPT-4 입력 토큰 100만 개당 30달러, 8K GPT-4 출력 토큰 100만 개당 60달러를 청구한다.

평가 과제
링크드인이 프로젝트에서 목표로 삼았던 또 다른 기능은 자동 평가였다. LLM은 정확성, 관련성, 안전성 및 기타 우려 사항 측면에서 아직 문제를 가진 것으로 전해진다. 선도적인 조직과 LLM 서비스 기업들은 이를 위한 평가 작업의 일부를 자동화하려고 시도하고 있기는 하다. 그러나 링크드인에 따르면 이러한 기능은 "여전히 진행 중인 작업"이다.

“자동화된 평가 기능이 없으면 엔지니어는 제한된 예제 세트에서 결과를 눈으로 확인하고 테스트해야 하며, 메트릭을 파악하는 데 하루 이상 지연이 발생한다"라고 보타로는 말했다.

그에 따르면 링크드인은 전반적인 품질 점수, 환각 비율, 일관성 및 책임 있는 AI 위반과 같은 주요 LLM 지표를 추정하는 데 도움이 되는 모델 기반 평가기를 구축하고 있다. 이렇게 하면 더 빠른 실험이 가능해질 것으로 기대된다. 그러나 링크드인의 엔지니어들은 아직 해당 분야의 작업을 완료하지 못한 상태다.

데이터 품질
링크드인이 구인/구직 매칭 서비스에서 겪은 어려움의 일부는 고용주와 잠재적 직원 양측의 데이터 품질 문제에 기인한다.

종종 채용 공고가 고용주가 원하는 기술을 정확하지 않거나 포괄적이지 않은 경우가 있다. 반대로 일부 지원자는 문제 해결에 대한 풍부한 경험을 효과적으로 반영하지 못하는 잘못된 문구를 이력란에 게시하기도 한다.

여기서 보타로는 LLM이 고용주와 잠재적 직원 모두에게 도움이 될 수 있는 가능성을 감지하고 있다. 고용주와 링크드인 사용자가 작성하는 내용을 개선하도록 LLM이 돕는다면, 데이터 입력의 품질이 높아지면 회사의 일자리 매칭 LLM이 훨씬 더 효과적으로 작동할 수 있기에 양쪽 모두에게 이익이 될 가능성이다.

사용자 경험
보타로는 대규모 회원 기반을 다룰 때 정확도 및 관련성 메트릭은 "잘못된 편안함을 줄 수 있다"라고 표현했다. “예를 들어, LLM이 90%를 제대로 맞힌다면 10명 중 1명은 끔찍한 경험을 할 수 있다는 뜻"이라고 그는 말했다.

유용하고 유용하며 정확한 답변을 제공하는 데에는 극도의 뉘앙스와 판단력이 필요하기 때문에 이러한 문제는 실제 비즈니스에의 배포에 걸림돌일 수 있다.

보다로는 "무엇이 좋고 나쁜지 어떻게 판단할 수 있을까? 올바른 답변을 작성하도록 어떻게 교육할까? 우리는 언어 전문가들과 많은 시간을 들여 어떻게 하면 정확한 표현을 전달할 수 있는지에 대한 가이드라인을 만들었다”라며, “응답의 일관성은 우리가 매우 자랑스럽게 생각하는 부분"이라고 말했다.

실시간 운영
링크드인의 엄청난 규모는 일자리 매칭에 또 다른 도전 과제를 제시한다. 회원 수가 10억 명에 달하기 때문에 구인 광고가 게시된 후 몇 분 안에 수천 개는 아니더라도 수백 개의 응답을 받을 수 있다. 이미 수백 명이 지원했다는 사실을 알게 되면 많은 구직자가 더 이상 지원하지 않을 수 있다. 따라서 자격 요건을 갖추지 못한 지원자가 자료를 제출하기 전에 일치하는 멤버를 신속하게 찾도록 도와야 한다. 그 후에도 해당 회원이 알림을 보고 충분히 빠르게 반응하도록 유도해야 하기도 한다.

고용주 입장에서는 빨리 응답하는 지원자가 아니라 적합한 지원자를 찾는 것이 더 어렵다. 구인 기업이 연봉 범위를 공개하는 것을 꺼리는 경우, 자격을 갖춘 지원자가 해당 직무에 관심을 가지지 않을 수 있기 때문에 더 복잡해진다. 이는 LLM이 해결할 수 없는 문제라고 보타로는 설명했다.

API 및 RAG
링크드인의 방대한 데이터에는 개인, 고용주, 기술 및 코스워크에 대한 많은 고유 정보가 포함되어 있다. 그러나 기초 LLM은 이에 대한 교육을 받지 못했다. 그 결과, 실시간으로 저장 및 전달되는 이러한 자산을 추론이나 응답 생성 활동에 사용할 수 없다.

검색 증강 생성(RAG)이 이에 대한 일반적인 해결 방법이다. 기업은 내부 API 파이프라인을 설정함으로써 추가적인 컨텍스트를 통해 LLM 프롬프트를 '증강'하여 LLM의 응답을 더 잘 안내하고 보호할 수 있다. 

보타로에 따르면 현재 링크드인의 데이터 대부분은 RPC API를 통해 노출되는데, 이는 사람이 프로그래밍 방식으로 호출하기에는 편리하지만 LLM 친화적이지 않다.

이 문제를 해결하기 위해 링크드인의 엔지니어들은 API에 "기술을 래핑”(wrapped skills)했다. API가 수행하는 작업과 사용 시기에 대해 LLM 친화적으로 설명하고, 구성 세부 정보, 입력 및 출력 스키마, 각 API의 LLM 버전을 기본(실제) RPC 버전에 매핑하는 모든 논리를 제공했다고 링크드인은 설명하고 있다.

링크드인의 엔지니어팀은 성명서에서 "이와 같은 기술을 통해 LLM은, 프로필 보기와 같은 다양한 작업을 수행할 수 있다. 기사/사람/직업/기업을 검색하고 내부 분석 시스템을 쿼리할 수도 있다. 동일한 기술이 빙 검색 및 뉴스와 같은 링크드인 이외의 API를 호출하는 데도 사용된다”라고 밝혔다. ciokr@idg.co.kr
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.