블로그 | 파훼될 위기의 RSA 암호화?··· “No, Just No”

RSA 암호화 알고리즘이 위기에 저한 것처럼 묘사한 논문이 등장해 눈길을 끌었다. 곧이곧대로 믿으면 곤란하다.
 

기업 보안 담당자는 생산, 영업, 지원, 데이터 보존, 커뮤니케이션 등의 여러 비즈니스 영역에 적절한 암호화를 선택하고 적용해야 한다. 이 선택 과정에는 사용 편의성과 접근성이 크게 작용하기 마련이다. 최근 중국 연구진이 발간한 보고서 하나가 보안 전문가들의 이목을 집중시킨 배경이다. 양자 알고리즘으로 RSA 암호화 알고리즘(RSA cryptographic algorithm)을 파괴할 가능성을 제시해서였다.

양자 컴퓨팅은 많은 기대를 모으고 있는 기능을 갖춘 기술이다. 미국 정부는2023 회계연도에 양자 정보 과학(QIS) 연구 및 개발에 8억 4,400만 달러에 이르는 막대한 투자를 하고 있다. 최근 발표된 ‘국가 양자 이니셔티브에 대한 2023년 연례 보고서( 2023 annual report on the National Quantum Initiative)’는 시중의 이목을 집중시키도 했다. 미국의 적들은 이 보고서의 ‘기밀’ 버전의 내용을 파악하기 위해 탐색 중인 것으로 전해지고 있다.

양자 혁신을 기대하며 정보를 비축하는 미국
사실 미국만 투자하는 것이 아니다. 특히 중국과 러시아는 양자 기술에 크게 투자하고 있는 두 국가다. 이러한 국가들은 향후 양자 기술을 활용해 해독할 수 있을 것이라는 기대 속에서 암호화된 커뮤니케이션을 대량으로 저장하고 있는 것으로 알려졌다. 

이례적인 경우는 아니다. 제2차 세계대전 당시의 베노나 프로젝트(Venona project)도 이와 비슷한 방식으로 진행되었다. 미국과 영국은 전쟁 기간과 그 이후에도 소련의 통신을 감청했고, 암호학적 돌파구를 찾자 이전에는 비밀이었던 통신 내용을 판독할 수 있었다. 이후 스파이 사건이 도미노처럼 터져 나오기 시작했었다.

이번 중국의 보고서는 RSA 암호화가 단기적으로 위험하다는 내용을 담고 있다. 이미 여러 QIS 측면 중에서도 일단 양자 컴퓨터에 대응하는 암호화 기술에 대한 연구가 활발하다. 미국의 경우 2022년 중반의 표준화를 위한 4가지 양자 내성 암호 알고리즘(four quantum resistant cryptographic algorithms) 개발을 위해 전략적으로 투자하고 있다. 이른바 ‘포스트 양자(post-quantum) 암호화 세계’를 향한 노력이다. 

글로벌 양자 게임에서 우위를 유지
국가 보안 각서 10(NSM10, The National Security Memorandum 10)의 내용은 CISO들이 확인할 필요가 있는 것으로 간주되곤 한다. 이 각서는 바이든 정부가 사이버 보안 분야에서 주요 접근 방식으로 삼고 있는 범정부적 접근 방식에 중점을 두고 있다. 주요 목표는 “미국이 필요한 인재를 갖추어 이들이 QIS의 최전선에 머물며 취약한 암호화 시스템을 효과적으로 업데이트하고 보호하도록 하는 것”이다.

‘초전도 양자 프로세서(superconducting quantum processor)에서 서브선형 자원으로 정수 분해하기’라는 이번 중국 보고서의 결론이 비과학자 및 비수학자(필자와 같은)에게 불길하게 들리는 것도 바로 이러한 배경 때문이다. 

이러한 보고서는 CISO가 현재 있는 것, 있을 수 있는 것, 이론을 현실로 만들기 위해 지평선 너머 있는 것들이 무엇인지를 분류하기 위해 정보 소스를 확장할 필요가 있다는 점을 시사한다. 또 중국 연구자들이 RSA를 해독하기 위한 시도한 사례가 이번이 처음이 아니라는 점도 주목할 만하다.

RSA를 해독할 수 있다는 주장을 반박하다
그러나 텍사스 대학교의 슐룸베르거 100주년 컴퓨터 과학 석좌교수이자 ‘데모크리토스 이후 양자 컴퓨팅(Quantum Computing Since Democritus)’의 저자인 스콧 애런슨은 자신의 블로그 ‘카고 컬트 양자 팩터링(Cargo Cult Quantum Factoring)’에서 중국 보고서를 간결한 세 단어로 요약했다. “아니, 그냥 아니야”(No. Just no)라고 그는 표현했다. 

그는 다양한 수학 시스템과 알고리즘에 대한 그의 지식에 기반에 중국 논문을 반박했다(비꼬거나 유머를 곁들인 과학을 즐긴다면 읽어볼 만한 가치가 있다). 그의 지적의 핵심은 RSA 암호화 시스템이 ‘단기적인 양자 컴퓨터’를 사용해 위험에 처해 있는 듯한 인상을 해당 논문이 전달했다는 것이다.


애런슨은 중국 문서를 능숙하게 분석하여 장황한 논문에서 ‘완곡히 말하는(mealymouthed)’ 핵심 단어인 ‘아마도’를 뽑아냈다. 즉, 이것도 가능할 수 있고 저것도 가능할 수 있다는 뜻이다(돼지가 날 수도 있지 않은가?). 그는 중국 저자들의 결론에서 “알고리즘의 양자 속도 향상은 QAOA의 모호한 수렴으로 인해 불분명하다는 점을 지적해야 한다”라는 표현도 인용했다.

아론슨은 마지막으로 저자들을 조롱하며 “고전적인 슈노르(Schnorr)의 알고리즘을 노트북에서 실행하는 것과 비교했을 때, 이 접근 방식이 어떤 이점을 얻으려면 기적이 일어나야 할 것 같다”라고 말했다. 

그리고 “후자가 RSA를 해독할 수 있었다면 이미 했을 것이다”라고 그는 결론 내렸다.

그는 마지막으로 “내가 25년 동안 본 것 중 가장 적극적으로 오해를 불러일으키는 양자 컴퓨팅 논문 중 하나다”라고 표현했다.

CISO와 다른 사람들이 주목해야 할 점은 중국의 보고서를 읽으면 하늘이 무너질 것처럼 느끼기 십상이라는 것이다. 그러나 수학이 어떻게 작동하는지에 대해 조금이라도 아는 사람들이 연구를 분석하고 분리하기 전까지는 하늘은 우리 머리 위에 제자리를 지키고 있었다. 

결론은 이렇다. 양자 분야에서 횡행하는 각종 주장에 비판적인 시각을 가질 필요가 있다. ciokr@idg.co.kr