방송 인코더 비교: x264 vs NVENC vs AMF vs QSV
- NVIDIA는 NVENC, AMD는 AMF, 인텔은 QSV를 쓰는 것이 기본 선택이다.
- RTX 20번대 이후 NVENC는 x264 medium급 화질을 CPU 부담 없이 낸다.
- HEVC·AV1 같은 신형 코덱은 같은 화질을 더 낮은 비트레이트로 송출할 수 있다.
인코더는 방송 화면을 압축해 송출 가능한 데이터로 만드는 장치입니다. OBS 설정에서 어떤 인코더를 고르느냐에 따라 화질과 컴퓨터 부하가 크게 달라집니다.
네 가지 인코더
- x264 (CPU): 소프트웨어 인코딩. CPU 성능을 소모하며, 프리셋을 느리게 할수록 화질이 좋아집니다. 게임과 병행하면 CPU 병목이 생기기 쉽습니다.
- NVENC (NVIDIA): 그래픽카드에 내장된 전용 인코딩 칩. RTX 20번대 이후 세대는 x264 medium급 화질을 CPU 부담 거의 없이 냅니다. 현재 방송용 사실상의 표준입니다.
- AMF (AMD): 라데온 그래픽카드의 하드웨어 인코더. 최신 세대에서 품질이 크게 개선되었습니다.
- QSV (Intel): 인텔 내장그래픽·아크 GPU의 인코더. 특히 아크 GPU의 AV1 인코딩 품질이 좋은 평가를 받습니다.
선택 기준은 간단합니다
NVIDIA 그래픽카드가 있으면 NVENC, AMD면 AMF, 그것도 아니면 QSV 또는 x264 순으로 고려하면 됩니다. 게임 방송이라면 하드웨어 인코더가 거의 항상 정답입니다. 게임이 CPU와 GPU를 쓰는 동안 인코딩은 별도 회로가 처리하므로 프레임 손실이 최소화됩니다.
x264가 여전히 의미 있는 경우
송출 전용 PC를 따로 두는 듀얼 PC 구성이라면, 남는 CPU 자원으로 x264 slow 프리셋을 돌려 동일 비트레이트에서 더 좋은 화질을 얻을 수 있습니다. 다만 단일 PC에서는 하드웨어 인코더 대비 이점이 크지 않습니다.
H.264 vs HEVC vs AV1
코덱도 세대교체 중입니다. 같은 화질 기준으로 HEVC와 AV1은 H.264보다 낮은 비트레이트로 송출할 수 있습니다. 유튜브는 HEVC·AV1 송출을 지원하며, 플랫폼별 지원 여부를 확인하고 쓸 수 있다면 화질 이득이 큽니다.
자주 묻는 질문
Q. 인코더 때문에 게임 프레임이 떨어지기도 하나요?
하드웨어 인코더(NVENC 등)는 전용 회로를 쓰지만, 인코딩 전후 처리에 GPU 자원을 일부 사용합니다. 게임이 GPU를 100% 사용 중이면 이 처리가 밀려 방송 화면이 버벅입니다. 게임 프레임 제한(예: 모니터 주사율로 제한)을 걸어 GPU에 10~20% 여유를 만드는 것이 정석 해법입니다.
Q. AV1으로 송출하면 뭐가 좋아지나요?
같은 화질을 더 낮은 비트레이트로 낼 수 있어, 업로드가 느린 환경에서 특히 유리합니다. 다만 AV1 하드웨어 인코딩은 최신 세대 GPU(RTX 40번대, 아크 등)가 필요하고, 플랫폼의 수신 지원 여부도 확인해야 합니다. 조건이 맞는다면 화질 이득이 분명한 선택지입니다.
Q. 인코더를 바꾸면 시청자가 차이를 느끼나요?
같은 세대의 하드웨어 인코더 간(NVENC vs AMF 최신 세대) 차이는 일반 시청자가 구분하기 어렵습니다. 체감 차이가 나는 것은 구세대 하드웨어 인코더나 과부하 상태의 x264에서 최신 NVENC로 바꿀 때, 그리고 H.264에서 AV1으로 코덱을 바꿀 때입니다. 인코더 튜닝에 시간을 쏟기보다 비트레이트 안정성과 조명·마이크 개선에 같은 시간을 쓰는 것이 시청자 만족도에는 더 크게 작용한다는 점도 균형 있게 기억할 필요가 있습니다.
한 걸음 더: 인코딩 화질을 결정하는 다른 요소들
인코더 종류만큼 중요한 것이 함께 설정하는 세부 옵션들입니다. '키프레임 간격'은 플랫폼 권장값(보통 2초)에 맞춰야 하며, 어긋나면 플랫폼이 재인코딩하면서 화질이 손해를 봅니다. 'B-프레임'은 압축 효율을 높여 같은 비트레이트에서 화질을 개선하지만 아주 약간의 지연을 더합니다. NVENC의 '심리 시각 튜닝'은 사람 눈에 민감한 부분에 데이터를 더 배분하는 옵션으로 켜두는 것이 일반적으로 유리합니다. 프로파일은 특별한 이유가 없으면 high로 둡니다. 그리고 의외의 복병이 '게임 캡처 대상의 HDR 설정'입니다. 게임을 HDR로 돌리면 SDR로 송출되는 방송에서 색이 물 빠진 것처럼 보이는 문제가 생길 수 있어, 방송 중에는 SDR로 두거나 OBS의 HDR 톤매핑 설정을 확인해야 합니다. 세부 옵션의 합이 인코더 선택만큼의 차이를 만듭니다.
인코더 설정 체크리스트
- 내 그래픽카드의 하드웨어 인코더 세대를 확인했는가. NVENC는 RTX 20번대 이후가 방송 권장 세대다.
- OBS 출력 설정에서 인코더가 하드웨어(NVENC/AMF/QSV)로 선택되어 있는가.
- NVENC 프리셋을 P5~P6 수준으로 잡았는가. 최고 품질 프리셋은 부하 대비 이득이 작다.
- 심리 시각 튜닝, 룩어헤드 같은 부가 옵션을 켠 뒤 게임 프레임에 영향이 없는지 확인했는가.
- HEVC나 AV1 송출을 고려한다면 플랫폼의 수신 지원 여부를 먼저 확인했는가.
- 듀얼 PC 구성이 아니라면 x264 slow 같은 무거운 프리셋을 욕심내지 않았는가.
- 설정 변경 후 짧은 테스트 방송으로 실제 화질과 부하를 비교했는가.