![[넷츠프레소 AQ 딥다이브] K-EXAONE-236B 모델을 4비트(NVFP4)로 양자화하는 법](https://cdn.prod.website-files.com/69d764b1be3398a43fb536b5/6a4740d00fa7eefe5f90f954_00_K-EXAONE_%EA%B5%AD%EB%AC%B8(%EC%8D%B8%EB%84%A4%EC%9D%BC).png)
최근 오픈소스 양자화 도구가 빠르게 발전하고 있습니다. 그러나 실제 상용 서비스 배포 환경은 0.1초의 연산 속도와 0.1%의 정확도 손실마저 쉽게 허용되지 않는 엄격한 영역입니다. 여기에 파편화된 하드웨어 규격까지 충족해야 하는 복잡한 제약이 맞물리면, 아무리 단일 도구 하나하나가 강력하더라도 얽혀있는 변수들을 정밀하게 통제하며 한계를 돌파하기는 어렵습니다.
AI 모델 최적화 플랫폼 넷츠프레소(NetsPresso®)의 양자화 모듈 AQ(Advanced Quantizer)는 여러 양자화 기법을 상황에 맞게 자유롭게 조합하고 단일 흐름으로 융합하는 최적화 엔진입니다. 특정 모델 구조나 하드웨어에 매이지 않고, 흩어진 오픈소스 기법을 하나의 설정으로 엮습니다. 이를 통해 기존 방식으로는 타협할 수밖에 없었던 복잡한 제약까지 더 정교하게 제어합니다.
이 글에서 다루는 사례는 LG AI연구원의 프론티어급 MoE 모델 'K-EXAONE-236B-A23B'를, 퓨리오사AI 데이터센터용 신경망 처리 장치(NPU)의 서빙 환경에 맞춰 넷츠프레소 AQ를 활용하여 NVFP4(마이크로스케일 4비트 부동소수점)로 양자화한 작업입니다. 그 결과 원본 BF16 수준의 정확도를 유지하면서 모델 크기를 약 3.5배 압축해 냈으며, 산출물은 추가 커널 없이 vLLM 환경에서 그대로 서빙됩니다.
맹목적인 알고리즘 적용이 아닌, 모델의 구조적 특성을 진단하고 기법을 융합해 나간 넷츠프레소 AQ의 엔지니어링 과정을 지금부터 하나씩 짚어보겠습니다.
※ 넷츠프레소가 양자화부터 배포까지 잇는 전체 흐름은 이곳에서 확인하실 수 있습니다.
전문가 혼합 구조(MoE) 모델은 내부에 다수의 전문가(Expert) 네트워크를 두고, 입력에 따라 일부만 선택적으로 활용합니다. 이번 K-EXAONE-236B-A23B도 이름 그대로, 전체 236B 파라미터 중 토큰당 23B만 활성화하는 MoE 모델입니다.
이러한 구조는 거대한 체급에 비해 추론 효율을 크게 높여 주지만, 4비트 양자화 단계에서는 도리어 가장 큰 제약 조건으로 돌아옵니다. 가중치(Weight) 분포가 레이어(Layer)와 전문가마다 크게 상이하여, 제한된 정밀도를 모델 전체에 균일하게 할당하기 어렵기 때문입니다.
이번 사례도 약 2,270억 개에 이르는 전문가 가중치를 전수 분석한 결과, 절댓값이 0.1을 넘는 이상치(Outlier)의 비율이 앞쪽 레이어 대비 마지막 두 레이어(46, 47)에서 최대 약 250배에 이르렀습니다. 이렇게 쏠린 이상치는 NVFP4 블록 스케일을 왜곡시켜 주변 가중치의 정밀도까지 무너뜨립니다.
거대 MoE 모델에서 전문가나 레이어별로 분포가 엇갈리고 이상치가 발생하는 것은 양자화 난도를 높이는 보편적인 문제입니다. 이때 이상치가 집중되는 위치는 모델별 구조와 학습 방식에 따라 상이하게 나타나며, K-EXAONE 사례에서는 마지막 두 레이어에 집중되는 특성을 보였습니다. 이처럼 프론티어급 모델들은 저마다 고유한 이상치 분포 지도를 가지기 때문에, 이를 얼마나 정밀하게 진단하고 통제하느냐가 양자화의 공통된 핵심 과제입니다.
이런 쏠림이 확인되면 보통은 해당 레이어나 전문가를 양자화 대상에서 제외해 고정밀도(BF16 또는 INT8)로 남기거나, 가중치 민감도에 따라 비트를 다르게 할당하는 혼합 정밀도(Mixed Precision) 같은 우회 기법으로 비켜 갑니다.
그러나 이번 양자화는 런타임에서의 추가 커널이나 예외 처리 없이, 표준 NVFP4 서빙 경로를 그대로 준수해야 했습니다. 이를 위해 기존의 우회 기법을 배제한 채, 47개 MoE 레이어 전체에 동일한 최적화 정책을 적용하고 오직 NVFP4 단일 포맷으로만 모델을 구성해야 했습니다.
여기에 NVFP4 데이터 타입 자체의 특성도 난이도를 더했습니다. NVFP4는 블록 스케일에 전역 스케일이 결합된 이중 스케일(Double-scale) 구조를 가지고 있어, 정교하게 제어하지 않으면 정밀도가 쉽게 손상되기 때문입니다. 결국 우회로가 차단된 상태에서 까다로운 포맷 제약까지 동시에 해결해야 하는 과제였습니다.
우회로가 모두 차단된 표준 NVFP4 규격 안에서 정밀도를 지키기 위해, 넷츠프레소 AQ는 필요한 여러 알고리즘을 조합해 단일 흐름으로 엮어내는 오프라인 융합(Fusion)을 수행합니다. 보완적인 변환들을 따로 적용해서는 규격 준수와 오차 방어라는 상충하는 목표를 동시에 잡기 어렵지만, 이들을 하나의 흐름으로 맞물리면 그 둘을 함께 충족할 수 있기 때문입니다.
AQ는 추론(런타임) 시점에 부가 연산을 더해 오차를 줄이는 대신, 양자화 직전에 가중치의 좌표계 자체를 변환하여 그 보정 효과를 가중치 내부에 미리 녹여 둡니다. 좌표계 회전으로 분포를 다듬는 이 발상은 최근 KV 캐시 압축으로 주목받은 TurboQuant와 닿아 있습니다. 다만 TurboQuant는 이를 런타임에서 수행한다는 점이 다릅니다.
일반적으로 성질이 다른 여러 변환을 추론 연산의 개입 없이 순차적으로 엮어내면, 원본 모델의 함수가 훼손되거나 부가 연산을 유발해 표준 서빙 경로를 벗어나는 리스크가 발생합니다. 넷츠프레소 AQ는 바로 이 위험을 통제하는 데 특화되어 있습니다. 이번 최적화에 적용된 세 갈래 오프라인 변환 기법은 다음과 같습니다.
이렇게 묶어낸 산출물은 일반적인 NVFP4 모델과 똑같이 저장되고, 추가 커널 없이 vLLM의 네이티브 경로에 그대로 올라갑니다.
이 변환들은 모두 가중치 자체에 녹아듭니다. 추론 시점에 따로 실행되는 변환이 없다는 뜻으로, 공개된 모델 카드의 런타임 변환 항목이 비어 있는 데서도 확인됩니다.
이렇게 만든 양자화본의 정확도를 원본 BF16과 비교했습니다. 세 벤치마크는 각각 과학 추론(GPQA Diamond), 지시 이해(IFBench), 수학 문제 해결(AIME 2025)을 평가합니다.
세 벤치마크 모두 양자화 전후 차이가 오차 범위 안에 있습니다. 즉, 크기를 약 3.5배 압축하면서도 정확도는 원본 BF16과 동등한 수준을 그대로 지켜냈습니다. 혼합 정밀도나 민감 레이어 제외 같은 우회 기법을 일절 쓸 수 없는 조건에서 거둔 결과라는 점에서 특히 의미가 있습니다.
이는 넷츠프레소 AQ의 조합 방식이 프론티어급 MoE 모델에도 유효함을 보여줍니다. 같은 방식은 다른 MoE 모델이나 NPU 서빙으로도 확장할 수 있습니다.
압축된 만큼 모델 적재에 필요한 메모리도 줄어, 같은 규모의 모델을 더 적은 메모리로 서빙할 수 있습니다. 특히 LLM, 그중에서도 MoE 모델의 추론은 연산량보다 메모리 대역폭이 병목(memory-bound)이라, 모델 크기를 줄이는 것만으로도 추론 속도가 약 1.5~2배 빨라집니다. 데이터센터 인프라에서는 같은 가속기 메모리로 더 많은 요청을 처리할 여지도 생깁니다.
AQ(Advanced Quantizer)는 AWQ·GPTQ·AutoRound·QuaRot·SpinQuant·SVDQuant 등 표준 양자화 알고리즘을 필요에 따라 엮어 쓰는 넷츠프레소의 최적화 엔진입니다. 특정 구조에 매이지 않고 LLM·MoE·VLM·오디오·디퓨전 모델까지 폭넓게 다룹니다. 이런 알고리즘들은 보통 서로 다른 오픈소스로 흩어져 있고 인터페이스와 포맷도 제각각이라, 함께 쓰려면 하나씩 설치하고 단계마다 데이터를 변환해 손으로 이어 붙여야 합니다.
AQ는 이 과정을 하나의 흐름으로 통합합니다. 이렇게 최적화한 산출물은 추가 커널 없이 지정한 포맷 그대로 상용 환경에 서빙됩니다. 넷츠프레소 AQ의 강점은 조건이 너그러운 일반적인 양자화는 물론, 이번 K-EXAONE 사례처럼 표준 NVFP4 규격을 지키며 우회로가 모두 막힌 환경까지 같은 파이프라인으로 처리한다는 점입니다.
프론티어 MoE 모델 양자화를 비롯한 모델 경량화·최적화·배포를 도입 환경에 맞춰 적용하고 싶다면 넷츠프레소에 문의해 보세요.
※ 이 글의 벤치마크 수치는 특정 모델·하드웨어·설정 조합에서의 결과이며, 실제 성능은 환경에 따라 달라질 수 있습니다.
.webp)
