“낮은 사양의 하드웨어에서도 최신 LLM 적용이 현실로” 노타, LLM 최적화 서비스 오픈

▶ 기존 하드웨어 교체 없이 LLM 적용 가능해 고객사 비용 부담 낮춰
▶ 디바이스 사양에 관계없이 높은 성능을 유지하면서 빠른 LLM 추론

AI 최적화 및 경량화 기술 기업 노타(대표 채명수)가 낮은 사양의 디바이스에서도 대규모 언어모델(LLM)을 구현할 수 있는 LLM 최적화 서비스를 오픈했다고 25일 밝혔다.

이번에 선보인 LLM 최적화 서비스는 디바이스 사양에 관계없이 대규모 언어모델(LLM)과 비전-언어모델(VLM)을 최적화해 모델의 성능은 유지하면서 빠른 추론 속도를 가능하게 하는 것을 강점으로 한다.

생성형 AI가 하드웨어에 빠르게 적용되는 시장 환경에 맞춰 클라우드 또는 온디바이스 환경에 관계없이 최적화 개발을 할 수 있어 가전제품, 모빌리티 등 하드웨어 교체 비용이 부담되는 기업에서 최신 성능의 LLM 서비스 적용이 가능하다.

LLM 최적화 서비스는 ▲다양한 칩셋에서 호환가능 ▲복잡한 파라미터를 가진 LLM의 높은 최적화 난이도 극복 ▲LLM 경량화로 메모리/연산 효율 향상 ▲LLM 사용에 따른 디바이스 전력 비용 절약 ▲LLM 사용에 따른 클라우드 운영비용 절감 등의 효과를 제공하며, 이를 통해 제품에서 빠른 추론 속도와 높은 LLM 성능을 구현할 수 있다.

더불어 기존 사양의 하드웨어를 그대로 사용하기 때문에 별도의 인프라 투자 없이 새로운 LLM 모델을 적용할 수 있다는 점에서 비용 효율성이 높고 기술 경쟁력 확보에도 유리하다.

채명수 노타 대표는 “LLM 최적화 서비스는 다양한 AI 모델을 실제 하드웨어에 최적화해 온 노타의 경험을 기반으로 개발되었다”며 “별도의 하드웨어 교체 없이 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고, 동시에 한층 향상된 사용자 경험을 제공할 수 있다는 점에서 차별화된 의미가 있다”라고 말했다.

노타는 LLM 최적화 서비스 오픈을 기념해 홈페이지를 통해 무료 컨설팅 이벤트를 진행중이다. LLM 최적화 서비스 홈페이지(https://netspresso.ai/llm)에 접속 후 문의하기를 통해 신청 가능하다.

한편 정부 주도의 'AI 국가대표(독자 AI 파운데이션 모델 개발 프로젝트)' 정예팀으로 선정된 노타는 국가적 차원에서 AI 최적화 및 경량화 기술력을 인정받았다. 최근 증권신고서가 통과, 연내 코스닥 상장을 목표로 하고 있다.