4일 전

딥러닝과 AI로 이미지 품질 개선한 엔비디아 DLSS 2.0 알아보기

Brad Chacos | PCWorld
엔비디아가 혁신적인 딥러닝 슈퍼 샘플링(Deep Learning Super Sampling: DLSS) 기술을 한 단계 더 발전시킨 DLSS 2.0을 발표했다.
 
미디어의 관심은 레이트레이싱(그리고 다이렉트X 12 얼티밋(DirectX 12 Ultimate) 통합)에 쏠려 있지만 레이트레이싱은 지포스 RTX 20 시리즈 그래픽 카드가 가진 매력의 한 부분일 뿐이다. DLSS는 최신 GPU 내부의 전용 텐서 코어를 활용, 머신 러닝으로 프레임율을 향상하고 게임 플레이 해상도를 높여준다. 즉, 성능에 큰 부담이 되는 기술인 레이트레이싱을 보완하는 역할로 매우 중요한 기능이다.
 
엔비디아가 내놓은 완전히 새로운 DLSS 2.0은 첫 버전에 대한 거의 모든 불만 사항을 해결했다. 엔비디아는 DLSS 2.0이 훨씬 더 빠르고 보기 좋으며, 한계가 적고, 개발자가 다루기에도 더 쉽다고 주장한다.
 
엔비디아는 나아가 DLSS 2.0이 일부 사례에서 원본 품질보다 더 나은 이미지를 원래의 렌더링보다 더 빠른 프레임율로 제공할 수 있다고 주장한다.
 
시간이 지날수록 더 향상되는 성능은 DLSS의 핵심적인 강점 중 하나다. DLSS는 슈퍼컴퓨터에서 출력되어 드라이버 업데이트를 통해 게임 PC의 그래픽 카드로 전달되는 정보를 활용하므로 게임이 출시된 후 장기간 동안 학습을 통해 성능을 개선할 수 있다. 실제로 배틀필드 V(Battlefield V)와 메트로: 엑소더스(Metro: Exodus)가 처음 출시된 시점에서 DLSS 1.0의 효과는 미미했지만 출시 이후 큰 폭으로 개선됐다.
 
곧 컨트롤(Control)과 멕워리어 5(MechWarrior 5)에 적용될 DLSS 2.0은 시작부터 훨씬 더 나을 것으로 보인다. 업그레이드는 이미 독립적인 테스트를 통해 확인됐다. 엔비디아는 울펜슈타인: 영블러드(Wolfenstein: Youngblood)와 딜리버 어스 투 더 문(Deliver Us to the Moon)에 조용히 DLSS 2.0을 적용해서 뛰어난 효과를 확인했다. 내용은 아래 하드웨어 언박스드(Hardware Unboxed) 영상에서 확인할 수 있다.
 


DLSS 1.0 Vs. DLSS 2.0

DLSS 1.0은 이론은 좋지만 실제 상황에서는 비틀거리는 경우가 많았다.
 
물론 프레임율을 개선하는 효과가 있었지만 엔비디아가 애초에 게이머들에게 약속한 ‘시각적 품질 저하 없는 성능 향상’이 제대로 지켜지지 않는 경우도 있었다. 예를 들어 BFV와 메트로: 엑소더스는 처음 DLSS가 구현됐을 때 화면 전체에 마치 바셀린을 바른 듯한 화질 저하를 일으켰다. 게다가 DLSS 1.0은 특정 그래픽 카드의 기능과 연결된, 특정 프리셋 해상도에서만 작동했다. 게임이 더 낮은 해상도를 지원하더라도 그래픽 카드의 텐서 코어에 가해지는 부담이 워낙 커서 프레임 렌더링에 사용할 성능 여분은 그만큼 줄었다. 결국 엔비디아의 토니 타마시도 기자 간담회에서 1080p 해상도에서의 성능 타협이 “최선은 아닐 수도 있다”고 인정했다.
 
DLSS 1.0은 분명 신기한 기능이었지만 지포스 RTX 2080 Ti가 공개될 당시 약속했던 혁명적인 기술과는 거리가 한참 멀었다.
 
ⓒNVIDIA

DLSS 1.0은 각 게임별 학습만 가능하므로 엔비디아는 DLSS 1.0 기술을 통합한 각각의 게임에 슈퍼컴퓨터의 역량을 온전히 쏟아 부어야 했다. 게다가 타마시에 따르면 대부분의 게임은 완벽하게 결정론적(deterministic)이지 않다. 즉, 게임의 해상도 설정만 변경해도 일부 시스템(입자 등)의 동일성이 유지되지 않는다. 결과적으로 엔비디아가 슈퍼컴퓨터를 학습할 때 사용한 저해상도 이미지가 초고해상도 “실사급” 이미지와 정확히 일치하지 않을 수 있고 이 경우 데이터는 쓸모 없게 된다.
 
DLSS 1.0의 작동을 위해서는 엔비디아 측이 짊어지는 부담이 상당했다. 엔비디아가 DLSS를 지원할 것이라고 예고한 게임의 상당수에서 DLSS 도입 계획이 취소된 데에는 이런 이유도 작용했을 것이다.
 
ⓒNVIDIA

DLSS 2.0은 “근본적으로 다른” AI 모델을 사용한다. 엔비디아는 새 모델이 이전 모델에 비해 2배 더 빠르다고 주장한다. DLSS 2.0은 일정 시간 동안 여러 프레임에서 가져온 데이터를 누적해서 고품질 출력 프레임을 생성한 다음 이 프레임을 모델로 돌려보내 다음 프레임을 위한 정보로 사용한다. AI 모델로 들어가는 데이터의 양이 증가한 만큼 엔비디아는 훨씬 더 높은 품질의 이미지를 생성할 수 있다. 더 좋은 점은 DLSS 2.0에 게임별 학습이 아닌 범용 네트워크를 사용할 수 있다는 것이다.
 
ⓒNVIDIA
 
그 결과, 엔비디아의 주장대로라면 DLSS 2.0은 네이티브 해상도의 화질을 그 절반의 픽셀로 제공한다. 같은 화질로 훨씬 더 고성능을 구현하거나 화질과 게임 속도, 두 가지 모두를 개선할 수도 있다는 의미다(아래 비교 참조).
 
ⓒNVIDIA
ⓒNVIDIA

또한 엔비디아는 새로운 AI 모델이 그래픽 카드의 텐서 코어를 더 효율적으로 사용하므로 DLSS 2.0은 1.0에 비해 2배 더 빠르다고 주장한다. 프레임율이 개선될 뿐만 아니라 DLSS 1.0 게임에서 흔히 볼 수 있는 짜증스러운 해상도 제약의 필요성도 사라진다. 지포스 RTX 그래픽 카드를 갖고 있다면 원하는 대로 DLSS 2.0 게임을 즐길 수 있다. 삶의 질 측면에서 중대한 개선이다.
 
DLSS 2.0은 다양한 수준의 이미지 업스케일을 기반으로 세 가지 품질 모드를 제공한다. 성능 모드는 4X 이미지 업스케일을 사용해 프레임 속도를 더 높이고, 품질 모드는 2X 업스케일로 최적의 시각적 품질을 구현한다. 균형 모드는 둘 사이의 절충 모드다. 비교하자면 DLSS 1.0에서는 2X 업스케일이 최대치였으나 지금은 텐서 코어 성능 최적화 덕분에 최소 옵션으로(화질에 초점을 둔 품질 모드) 제공된다.
 
DLSS 2.0 기술의 업스케일링 방식은 아래 품질 모드에서 볼 수 있듯이 세밀한 디테일을 기본 렌더링보다 더 선명하게 표시할 수도 있다. 또한 DLSS 2.0은 움직이는 사물 렌더링에도 훨씬 더 뛰어나다. 타마시는 컨트롤에서 그물망 게이트 뒤의 회전하는 팬을 예시로 들었다. 직접 볼 수 있듯이 DLSS 1.0에 비해 DLSS 2.0이 훨씬 더 선명하다.
 
ⓒNVIDIA
ⓒNVIDIA
ⓒNVIDIA
 
DLSS 2.0은 게임별 학습이 아닌 범용 AI 모델을 사용하지만 엔비디아에 따르면 개발자가 여전히 능동적으로 이 기술을 통합해야 한다. 타마시는 게임이 이미 일시적 안티 앨리어싱(temporal anti-aliasing: TAA)을 지원한다면 DLSS 2.0 통합은 간단하다고 말했다. TAA를 지원하지 않는다면 DLSS 2.0을 활성화하는 과정은 TAA를 구현하는 과정과 비슷하다. 에픽(Epic)의 언리얼 엔진(Unreal Engine)은 곧 DLSS를 표준 분기로 추가한다.

앞서 언급했듯이 울펜슈타인: 영블러드와 딜리버 어스 투 더 문은 이미 DLSS 2.0을 지원한다. 엔비디아는 멕워리어 5와 컨트롤(이미 실시간 레이트레이싱의 대표적인 게임)도 곧 이 기술을 포함하도록 업데이트될 것이라고 말했다. 이번 주 후반에 컨트롤의 더 파운데이션(The Foundation) DLC가 출시될 때 기본 게임의 DLSS 구현도 패치를 통해 1.0에서 2.0으로 업그레이드된다. 패치가 무척 기다려진다. editor@itworld.co.kr



4일 전

딥러닝과 AI로 이미지 품질 개선한 엔비디아 DLSS 2.0 알아보기

Brad Chacos | PCWorld
엔비디아가 혁신적인 딥러닝 슈퍼 샘플링(Deep Learning Super Sampling: DLSS) 기술을 한 단계 더 발전시킨 DLSS 2.0을 발표했다.
 
미디어의 관심은 레이트레이싱(그리고 다이렉트X 12 얼티밋(DirectX 12 Ultimate) 통합)에 쏠려 있지만 레이트레이싱은 지포스 RTX 20 시리즈 그래픽 카드가 가진 매력의 한 부분일 뿐이다. DLSS는 최신 GPU 내부의 전용 텐서 코어를 활용, 머신 러닝으로 프레임율을 향상하고 게임 플레이 해상도를 높여준다. 즉, 성능에 큰 부담이 되는 기술인 레이트레이싱을 보완하는 역할로 매우 중요한 기능이다.
 
엔비디아가 내놓은 완전히 새로운 DLSS 2.0은 첫 버전에 대한 거의 모든 불만 사항을 해결했다. 엔비디아는 DLSS 2.0이 훨씬 더 빠르고 보기 좋으며, 한계가 적고, 개발자가 다루기에도 더 쉽다고 주장한다.
 
엔비디아는 나아가 DLSS 2.0이 일부 사례에서 원본 품질보다 더 나은 이미지를 원래의 렌더링보다 더 빠른 프레임율로 제공할 수 있다고 주장한다.
 
시간이 지날수록 더 향상되는 성능은 DLSS의 핵심적인 강점 중 하나다. DLSS는 슈퍼컴퓨터에서 출력되어 드라이버 업데이트를 통해 게임 PC의 그래픽 카드로 전달되는 정보를 활용하므로 게임이 출시된 후 장기간 동안 학습을 통해 성능을 개선할 수 있다. 실제로 배틀필드 V(Battlefield V)와 메트로: 엑소더스(Metro: Exodus)가 처음 출시된 시점에서 DLSS 1.0의 효과는 미미했지만 출시 이후 큰 폭으로 개선됐다.
 
곧 컨트롤(Control)과 멕워리어 5(MechWarrior 5)에 적용될 DLSS 2.0은 시작부터 훨씬 더 나을 것으로 보인다. 업그레이드는 이미 독립적인 테스트를 통해 확인됐다. 엔비디아는 울펜슈타인: 영블러드(Wolfenstein: Youngblood)와 딜리버 어스 투 더 문(Deliver Us to the Moon)에 조용히 DLSS 2.0을 적용해서 뛰어난 효과를 확인했다. 내용은 아래 하드웨어 언박스드(Hardware Unboxed) 영상에서 확인할 수 있다.
 


DLSS 1.0 Vs. DLSS 2.0

DLSS 1.0은 이론은 좋지만 실제 상황에서는 비틀거리는 경우가 많았다.
 
물론 프레임율을 개선하는 효과가 있었지만 엔비디아가 애초에 게이머들에게 약속한 ‘시각적 품질 저하 없는 성능 향상’이 제대로 지켜지지 않는 경우도 있었다. 예를 들어 BFV와 메트로: 엑소더스는 처음 DLSS가 구현됐을 때 화면 전체에 마치 바셀린을 바른 듯한 화질 저하를 일으켰다. 게다가 DLSS 1.0은 특정 그래픽 카드의 기능과 연결된, 특정 프리셋 해상도에서만 작동했다. 게임이 더 낮은 해상도를 지원하더라도 그래픽 카드의 텐서 코어에 가해지는 부담이 워낙 커서 프레임 렌더링에 사용할 성능 여분은 그만큼 줄었다. 결국 엔비디아의 토니 타마시도 기자 간담회에서 1080p 해상도에서의 성능 타협이 “최선은 아닐 수도 있다”고 인정했다.
 
DLSS 1.0은 분명 신기한 기능이었지만 지포스 RTX 2080 Ti가 공개될 당시 약속했던 혁명적인 기술과는 거리가 한참 멀었다.
 
ⓒNVIDIA

DLSS 1.0은 각 게임별 학습만 가능하므로 엔비디아는 DLSS 1.0 기술을 통합한 각각의 게임에 슈퍼컴퓨터의 역량을 온전히 쏟아 부어야 했다. 게다가 타마시에 따르면 대부분의 게임은 완벽하게 결정론적(deterministic)이지 않다. 즉, 게임의 해상도 설정만 변경해도 일부 시스템(입자 등)의 동일성이 유지되지 않는다. 결과적으로 엔비디아가 슈퍼컴퓨터를 학습할 때 사용한 저해상도 이미지가 초고해상도 “실사급” 이미지와 정확히 일치하지 않을 수 있고 이 경우 데이터는 쓸모 없게 된다.
 
DLSS 1.0의 작동을 위해서는 엔비디아 측이 짊어지는 부담이 상당했다. 엔비디아가 DLSS를 지원할 것이라고 예고한 게임의 상당수에서 DLSS 도입 계획이 취소된 데에는 이런 이유도 작용했을 것이다.
 
ⓒNVIDIA

DLSS 2.0은 “근본적으로 다른” AI 모델을 사용한다. 엔비디아는 새 모델이 이전 모델에 비해 2배 더 빠르다고 주장한다. DLSS 2.0은 일정 시간 동안 여러 프레임에서 가져온 데이터를 누적해서 고품질 출력 프레임을 생성한 다음 이 프레임을 모델로 돌려보내 다음 프레임을 위한 정보로 사용한다. AI 모델로 들어가는 데이터의 양이 증가한 만큼 엔비디아는 훨씬 더 높은 품질의 이미지를 생성할 수 있다. 더 좋은 점은 DLSS 2.0에 게임별 학습이 아닌 범용 네트워크를 사용할 수 있다는 것이다.
 
ⓒNVIDIA
 
그 결과, 엔비디아의 주장대로라면 DLSS 2.0은 네이티브 해상도의 화질을 그 절반의 픽셀로 제공한다. 같은 화질로 훨씬 더 고성능을 구현하거나 화질과 게임 속도, 두 가지 모두를 개선할 수도 있다는 의미다(아래 비교 참조).
 
ⓒNVIDIA
ⓒNVIDIA

또한 엔비디아는 새로운 AI 모델이 그래픽 카드의 텐서 코어를 더 효율적으로 사용하므로 DLSS 2.0은 1.0에 비해 2배 더 빠르다고 주장한다. 프레임율이 개선될 뿐만 아니라 DLSS 1.0 게임에서 흔히 볼 수 있는 짜증스러운 해상도 제약의 필요성도 사라진다. 지포스 RTX 그래픽 카드를 갖고 있다면 원하는 대로 DLSS 2.0 게임을 즐길 수 있다. 삶의 질 측면에서 중대한 개선이다.
 
DLSS 2.0은 다양한 수준의 이미지 업스케일을 기반으로 세 가지 품질 모드를 제공한다. 성능 모드는 4X 이미지 업스케일을 사용해 프레임 속도를 더 높이고, 품질 모드는 2X 업스케일로 최적의 시각적 품질을 구현한다. 균형 모드는 둘 사이의 절충 모드다. 비교하자면 DLSS 1.0에서는 2X 업스케일이 최대치였으나 지금은 텐서 코어 성능 최적화 덕분에 최소 옵션으로(화질에 초점을 둔 품질 모드) 제공된다.
 
DLSS 2.0 기술의 업스케일링 방식은 아래 품질 모드에서 볼 수 있듯이 세밀한 디테일을 기본 렌더링보다 더 선명하게 표시할 수도 있다. 또한 DLSS 2.0은 움직이는 사물 렌더링에도 훨씬 더 뛰어나다. 타마시는 컨트롤에서 그물망 게이트 뒤의 회전하는 팬을 예시로 들었다. 직접 볼 수 있듯이 DLSS 1.0에 비해 DLSS 2.0이 훨씬 더 선명하다.
 
ⓒNVIDIA
ⓒNVIDIA
ⓒNVIDIA
 
DLSS 2.0은 게임별 학습이 아닌 범용 AI 모델을 사용하지만 엔비디아에 따르면 개발자가 여전히 능동적으로 이 기술을 통합해야 한다. 타마시는 게임이 이미 일시적 안티 앨리어싱(temporal anti-aliasing: TAA)을 지원한다면 DLSS 2.0 통합은 간단하다고 말했다. TAA를 지원하지 않는다면 DLSS 2.0을 활성화하는 과정은 TAA를 구현하는 과정과 비슷하다. 에픽(Epic)의 언리얼 엔진(Unreal Engine)은 곧 DLSS를 표준 분기로 추가한다.

앞서 언급했듯이 울펜슈타인: 영블러드와 딜리버 어스 투 더 문은 이미 DLSS 2.0을 지원한다. 엔비디아는 멕워리어 5와 컨트롤(이미 실시간 레이트레이싱의 대표적인 게임)도 곧 이 기술을 포함하도록 업데이트될 것이라고 말했다. 이번 주 후반에 컨트롤의 더 파운데이션(The Foundation) DLC가 출시될 때 기본 게임의 DLSS 구현도 패치를 통해 1.0에서 2.0으로 업그레이드된다. 패치가 무척 기다려진다. editor@itworld.co.kr

X