2초 분량 샘플로 감쪽같이 흉내?!··· 메타, 텍스트-음성 생성형 AI '보이스박스' 공개

2023.06.21 김달훈 | CIO KR

메타(Meta)가 새로운 생성형 AI인 보이스박스(Voicebox)를 공개했다. 텍스트를 입력하면 이미지를 만들어주는 오픈AI의 달・이(DALL・ E)처럼 보이스박스 역시 텍스트 입력으로 음성 콘텐츠를 생성한다. 일단 6개 언어를 지원하는 보이스박스는 비회귀적 플로우 매칭 모델(non-autoregressive flow matching model)이라는 첨단 음성 생성 모델을 적용했다.

영어, 프랑스어, 독일어, 스페인어, 폴란드어, 포르투갈어를 지원하는 보이스박스는 주어진 텍스트를 기반으로 음성을 합성하고, 음성 속에 섞인 일시적인 잡음을 제거하며, 음성 마음대로 콘텐츠를 편집(변형)한다. 또한, 서로 다른 언어 간에 오디오 스타일을 전송하고, 텍스트를 기반으로 다양한 음성 샘플을 생성할 수 있다.

보이스박스는 텍스트를 기반으로 음성 오디오를 생성하는 AI로, 단일 언어 및 다국어 제로샷 텍스트 음성 합성, 스타일 변환, 일시적 노이즈 제거, 콘텐츠 편집, 다양한 샘플 생성에 사용할 수 있다. (자료 : Meta)

메타데모랩(voicebox.metademolab.com)이 샘플 오디오를 공개하고 있다. 메타 AI 팀은 6만 시간 분량의 데이터로 영어 전용 보이스박스를 교육하고, 나머지 언어는 5만 시간으로 데이터로 보이스박스를 교육했다.

이렇게 학습을 통해 똑똑해진 보이스박스는 섬뜩함을 느끼게 할 정도다. 불과 2초 분량의 음성 샘플만 있으면, 억양, 음색, 톤 등을 거의 완벽하게 일치시킨 음성을 합성해서 주어진 텍스트 문장을 그대로 발음하는 오디오 파일을 생성한다. 2분이 아니라 2초다. 이 정도 길이의 음성 파일을 기반으로 인컨텍스트 학습(in-context learning)을 통해 상황에 맞는 텍스트-음성 합성(In-context text-to-speech synthesis)을 할 수 있다.

이를 제로 샷 텍스트 음성 합성(Zero-shot text-to-speech synthesis)이라 하는데, '음성, 배경 소음, 말하기 스타일 등 모든 측면에서 레퍼런스와 일관성 있는 음성을 생성한다'는 것이 메타의 설명이다. 어딘가에 남겨진 있는 2초 이상의 누군가의 목소리가 있다면, 그것을 기반으로 입력한 텍스트로 그 사람이 말한 것처럼 음성 파일을 만들 수 있다는 뜻이다.

일시적인 잡음 제거(Transient noise removal)는 대화나 연설 가운데 섞인 잡음만 콕 집어서 제거하는 기능이다. 음성 파일 중간에 시끄러운 자동차 경적, 개 짖는 소리, 비행기 소음 등 다양한 형태의 잡음이 들어간 경우, 다시 녹음할 필요 없이 보이스박스를 통해 잡음만 지울 수 있다. 잡음이 들어가지 않음 음성을 기반으로 해당 부분의 내용을 잡음이 없는 상태로 그대로 생성하고 이어주는 것이다.

콘텐츠 편집(Content editing)도 가짜 뉴스의 위험성에 대해 잘 알고 있는 사람들이 볼 때는 당황스럽다. 예를 들어 원래 말한 내용 중간에 "나는 서울에 가려고 했다'는 음성이 기록된 부분을 '나는 집에서 자고 있었다"로 어렵지 않게 바꿀 수 있다. 긍정적인 활용 사례로 본다면 대화나 강의 내용을 녹음하다가 잘 못 말한 부분이 있을 때 다시 녹음할 필요 없이 그 부분만 쉽게 수정할 수 있다.

다국어 스타일 전송(Cross-lingual style transfer)도 눈 여겨 볼만하다. 예를 들어 독일어 프롬프트로 영어를 생성할 수 있는데, 이는 독일어 발음을 분석해 억양이나 톤을 그대로 반영해 영어로 발음하는 목소리를 만들어 낸다. 이를 활용하면 영어로 촬영된 다큐멘터리 해설을 기반으로, 스페인어나 독일어 등의 다른 언어로 된 해설을 해당 성우 목소리로 바꾸어 더빙할 수 있다.

다양한 음성 생성(Diverse speech generation) 말 그대로 주어진 조건이나 자료 없이 다양한 오디오 스타일의 음성을 생성하는 것이다. 텍스트로 주어진 내용을 성별, 나이, 음색, 억양 등 다양한 형태의 사람 목소리로 생성할 수 있다. 오디오북, 시나리오 등 텍스트로 주어진 어떤 내용이든 성우나 배우 없이 얼마든지 원하는 음성 파일로 만들 수 있다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기

메타 보이스박스 메타랩 음성 생성형 AI

“유료 VPN, 분명한 가치 있다” VPN 선택 가이드

VPN (가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인 정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.

평점 - 댓글 -개

평점