라즈베리파이에서 Llama를 8배 빠르게: KCC 2026 온디바이스 AI 최적화 경진대회

지난 6월, 노타는 제주에서 열린 한국정보과학회 KCC 2026 현장에서 '넷츠프레소를 활용한 온디바이스 AI 최적화 경진대회'를 열었습니다. 20개 팀이 지원한 대회에서 우승팀은 라즈베리파이 위에 Llama-3.2-1B 모델을 올려 응답 속도를 8배 이상 높였습니다. 메모리 사용량도 8배 이상 줄였습니다. 물론 품질 기준을 지키면서 얻은 수치입니다.

흥미로운 지점은 결과보다 참가팀의 구성입니다. 우승팀을 비롯해 본선에 오른 팀 대부분은 대규모 언어 모델(LLM) 최적화를 정식으로 다뤄본 경험이 많지 않았습니다. 그럼에도 단 30분의 교육만으로 넷츠프레소의 사용법을 익히고, 그 위에서 세 가지 모델(Llama-3.2-1B, Qwen2.5-0.5B, SmolLM2)을 최적화해 까다로운 품질 게이트를 통과하는 데 성공했습니다. 최적화 경험이 부족한 팀들이 어떻게 단기간에 실무 수준의 지표를 달성할 수 있었는지, 그 바탕이 된 넷츠프레소의 역할을 짚어보겠습니다. 

온디바이스 최적화가 어려운 진짜 이유

이번 경진대회의 과제를 "라즈베리파이에서 LLM을 실사용 수준의 속도로 구동하는 것"으로 설정한 데에는 명확한 배경이 있습니다. 바로 기기 자체에서 인공지능을 구동하는 '온디바이스 AI'의 부상입니다. 온디바이스 AI는 클라우드를 거치지 않기 때문에 응답 지연이 없고, 데이터 프라이버시가 보장되며, 네트워크 통신 비용도 발생하지 않습니다. 이러한 강력한 이점은 최근 거대 모델인 LLM 영역으로까지 빠르게 확장되고 있습니다.

하지만 서버용 LLM을 스마트폰이나 라즈베리파이 같은 엣지 디바이스에 그대로 올릴 수는 없습니다. 이러한 소형 기기에는 막강한 서버용 GPU가 없을뿐더러, 가용 메모리도 수십 분의 일에 불과하기 때문입니다. 모델이 무거우면 메모리에 적재(Load)조차 되지 않고, 억지로 구동하더라도 토큰 생성 속도가 느려 실제 서비스에 활용할 수 없습니다. 결국 양자화 같은 경량화 기법과 디바이스 최적화 런타임을 정교하게 조합해, 거대 모델과 소형 기기 사이의 물리적 간극을 좁히는 과정이 필수적입니다. 

압축 알고리즘, 실행 런타임, 커널, 그리고 성능 측정 도구들이 저마다 파편화된 오픈소스 프로젝트에서 파생됩니다. 하나를 변경하면 다른 쪽에서 호환성 충돌이 발생하고, 에러의 원인을 디버깅하기도 까다롭습니다. 요컨대 '모델 양자화부터 실제 디바이스에서의 토큰 생성'까지 파이프라인 전체를 관통해 보는 경험 자체가 거대한 진입 장벽인 셈입니다. 이번 대회는 참가팀들이 바로 이 막막한 엔드투엔드(End-to-End) 과정을 직접 돌파해 보도록 설계되었습니다. 

30분 교육, 하나로 이어진 파이프라인

일반적인 환경이라면 이 장벽을 넘기 위한 파이프라인을 구축하는 데에만 막대한 시간과 시행착오가 소모됩니다. 하지만 모델 최적화 경험이 적고 넷츠프레소 사용조차 처음이었던 참가팀들이 이 문턱을 넘는 데 필요한 것은 넷츠프레소와 단 30분의 교육이 전부였습니다. 

흩어져 있던 양자화 알고리즘과 그래프 최적화, 품질 검증 그리고 디바이스 실행용 내보내기(export) 작업이 넷츠프레소 안에서는 하나의 파이프라인으로 이어집니다. 도구와 도구를 잇는 일이 사라진 만큼, 참가팀은 최적화 실험 자체에 집중할 수 있었습니다.

‍"양자화 같은 개념을 잘 몰랐는데, 처음부터 배포까지 알아서 해주니까 사용자 편의성에 있어서는 따라올 제품이 없다고 생각이 들었습니다." 
— DKE (우수상) 

참가팀들이 마주한 예선 과제는 녹록지 않았습니다. 세 개의 소형 LLM을 최적화해 모델별 품질 게이트(원본 대비 PPL 유지율 0.75, 정확도 유지율 0.80 이상)를 통과해야 했습니다. 지표가 하나라도 기준에 미달하면 해당 모델은 0점 처리되고, 게이트를 넘긴 모델에 한해서만 응답 속도와 메모리 효율로 평가받았습니다.

까다로운 기준이었지만, 대부분의 팀들은 넷츠프레소를 활용해 세 모델 모두 게이트를 통과하는 레시피를 찾아냈습니다. 사용성 설문에서도 도구가 직관적인지 묻는 문항이 5점 만점에 4.25점으로, 15개 정량 문항 중 최상위를 기록했습니다.

단 한 줄의 설정, 22가지 조합의 탐색

직관적인 파이프라인은 실험의 속도 또한 끌어올렸습니다. 넷츠프레소에서는 단 한 줄의 설정 변경만으로 알고리즘 조합을 교체하고, 최적화 단계마다 품질 게이트 통과 여부를 바로 가늠할 수 있습니다. 아래는 예선에 쓰인 것과 같은 형태의 설정 일부입니다. 

# run.yaml — 예선 반복 실험에 쓰인 것과 같은 형태의 설정 (일부)
steps:
  - advanced_quantize:
      algorithm: AWQ           # AUTOROUND·SMOOTHQUANT·GPTQ 등으로 교체하며 탐색
      scheme: W4-A8_dynamic
  - graph_optimize: null       # 그래프 최적화는 별도 설정 없이 자동 적용
  - graph_quantize:
      scheme: W4-A8_dynamic    # 품질이 무너지면 W8-A8_dynamic으로 완화

‍

단일 환경에서 설정값만 변경하며 단계별 결과를 즉각적으로 확인하는 구조적 이점 덕분에 참가팀들은 제한된 기간 속에서도 체계적인 엔지니어링을 수행할 수 있었습니다. 대표적으로 넷츠프레소 파이프라인을 효율적으로 가동한 세 가지 사례는 다음과 같습니다. 

• 사례 1: 22가지 알고리즘 조합 교차 테스트 
  예선 기간 동안 무려 22가지의 알고리즘 조합을 테스트한 팀이 있었습니다. 이들은 AWQ, AutoRound, SmoothQuant, GPTQ 등 다양한 양자화 알고리즘과 그래프 최적화를 교차 적용하며 체계적인 탐색망을 구축했습니다. 우선 8비트로 기준 품질을 확보한 뒤 4비트로 압축률을 한계까지 끌어올리고, 품질 저하가 발생하면 다른 알고리즘으로 복구하는 식의 고도화된 시나리오를 가동했습니다.

• 사례 2: 모델 체급별 유연한 압축 전략 
  또 다른 팀은 모델 체급에 맞춘 유연한 압축 전략을 구사했습니다. 세 모델에 동일한 기본 옵션을 적용했을 때 상대적으로 큰 Llama만 품질 게이트를 통과하자, 모델마다 견딜 수 있는 압축 강도가 다르다는 점을 바로 파악했습니다. 이후 설정 파일에서 모델별 압축 강도만 신속하게 조정하여 세 모델 모두 기준을 통과시켰습니다.

• 사례 3: 파이프라인 가시성을 활용한 원인 구간 디버깅 
  품질 저하의 원인을 짚어낸 디버깅 사례도 눈에 띕니다. 이들은 한 모델의 품질이 기준을 밑돌자 파이프라인을 단계별로 점검해, 양자화 알고리즘까지는 품질이 유지되지만 마지막 그래프 양자화 단계에서 무너진다는 것을 짚어냈습니다. 해당 단계만 8비트로 완화하자 0.75를 밑돌던 품질 유지율이 단숨에 0.97 이상으로 회복되었습니다. 

이러한 효용성은 참가자 대상의 설문 지표로도 뒷받침됩니다. '반복 실험 적합성' 문항에서 5점 만점에 4.25점을 기록하며 높은 만족도를 나타냈습니다.

검증된 파이프라인 위에 쌓은 본선 성과

온라인 세션과 예선을 거치며 도구에 적응한 참가팀들은, 본선에서 한층 높은 자유도를 마주했습니다. 과제는 단일 지정 모델(Llama-3.2-1B)을 라즈베리파이 5(Arm Cortex-A76 4코어) 위에서 ExecuTorch 런타임과 XNNPACK 백엔드로 구동하는 것으로 구체화되었습니다. 모델 재학습이나 구조 변경은 금지됐지만, 양자화 설정부터 추론 러너와 커널까지 전 계층에 걸친 폭넓은 최적화가 허용됐습니다.  최종 성능은 실제 디바이스에서 첫 응답 지연(TTFT)과 토큰 생성 속도(TPOT)를 실측해 평가했습니다. 

본선에서도 각 팀은 예선에서 구축한 넷츠프레소 기반의 파이프라인을 그대로 이어받았습니다. 이 파이프라인이 검증된 기준선(baseline)이 되어준 덕분에, 팀들은 남은 시간을 본선 고유의 추가 최적화에 온전히 쏟을 수 있었습니다. 그 결과 우승팀은 품질 기준을 지키면서 토큰을 8배 이상 빠르게 생성하고, 첫 응답 지연을 3.8배 줄였으며, 메모리 사용량을 8배 이상 절감했습니다.

‍"(대상을 수상하는 데) 1차 과제에서 얻은 인사이트와 전략들을 2차 때 충분히 활용한 것이 큰 부분으로 작용했습니다."
‍— 에코프루너 (대상) 

대상 팀의 후기처럼, 예선 단계에서 통합 파이프라인을 다루며 얻은 인사이트와 시간적 여유는 본선에서 더 깊이 있는 최적화 기법을 시도할 수 있는 기반이 되었습니다. 파편화된 도구를 세팅하는 데 쓰이던 시간을 줄이고 최적화 탐색 자체에 집중한 환경이, 참가팀들의 성능 지표 향상으로 이어진 모습입니다. 

처음 해보는 사람도, 검증된 결과로

대회의 결과는 학계의 관심으로도 이어졌습니다. 참가자들이 단기간에 유의미한 성능 개선을 이뤄내는 과정을 지켜본 후, 넷츠프레소 기반의 실습을 정규 수업에 도입하고 싶다는 교수진의 문의가 이어지기도 했습니다.

직접 파이프라인을 다뤄본 참가자들의 설문 지표도 이를 뒷받침합니다. '실제 연구나 업무에 다시 사용할 의향'을 묻는 문항에서 5점 만점에 평균 4.12점으로 응답했고, 동료 추천 의향 역시 4.0점을 기록했습니다.

통제된 대회 환경에서 검증해 낸 결과지만, 참가팀들이 다루고 해결한 문제는 실제 산업 현장의 온디바이스 배포 과정과 정확히 맞닿아 있습니다. 이는 넷츠프레소가 기업 실무 환경에 어떤 가치를 제공하는지 선명하게 보여줍니다.

전문적인 최적화 인력이나 대규모 R&D 리소스가 부족하더라도, 파편화된 도구를 통합한 파이프라인이 초기 환경 구축에 드는 시행착오를 대폭 줄여줍니다. 여기에 단계별 결과를 바로 확인할 수 있는 직관적인 가시성이 디버깅을 돕고 실험 주기를 단축합니다. 경험이 적은 팀도 실제 배포 수준의 최적화 지표에 빠르고 안정적으로 도달할 수 있음을 이번 대회가 증명했습니다.

※ 대회 현장과 수상팀 인터뷰는 유튜브 영상에서 볼 수 있습니다.