인턴 기간에 엔비디아 해커톤에서 우승하고, ICML 워크샵에 1저자 논문을 올린 사람이 있습니다. 바로 노타 NetsPresso 팀에서 6개월간 리서치 인턴으로 함께한 이건호 님인데요. 마지막 출근을 하루 앞둔 날, 그의 노타 인턴 생활 6개월에 관한 이야기를 들어보았습니다.
첫 출근 전에 이미 와봤던 회사
2년 전, 연구실과 노타 교류 행사로 인해 건호님은 이미 노타 오피스를 방문했었다고 하시는데요, 그래서인지 노타에 대한 내적 친밀감을 일찍부터 쌓으신 듯 했습니다.
"우선 첫인상이 너무 좋았어요. 잘 갖춰진 오피스는 물론, 삼성역이라는 위치도 좋았거든요. 그리고 그 좋은 첫인상이 나중에 인턴으로 지원한 이유 중 하나로 자리 잡았죠."
건호 님은 한양대학교 최정욱 교수님의 AIHA(AI Hardware & Algorithms) 연구실에서 양자화(Quantization)를 연구하는 박사 과정생입니다. 연구실은 AI 시대의 병목을 푸는 연구를 하는 곳으로, ICML에서 NVFP4 논문을 내는 등 많은 연구 성과를 내고 있는데요. 이러한 배경을 가진 건호님이 노타 인턴으로 지원하기로 마음을 먹은 이유는 세 가지였습니다. 다양한 경험, 산업계의 실제 수요, 그리고 *MoE입니다.
"연구실에서는 주로 Dense 모델만 보고 있었는데, MoE는 상대적으로 어렵고 아직 연구가 덜 된 분야거든요. 이걸 직접 다뤄보자는 게 노타 인턴을 지원하게 된 결정적인 계기였습니다."
그렇게 2년 전 손님으로 둘러봤던 오피스에 구성원 중 하나로 출근하게 되면서 건호님의 첫 인턴십이자 회사생활이 시작되었습니다. 건호님이 입사하던 시기는 노타가 곧 맡게 될 국가 과제가 2차 연도로 접어들던 무렵이었다고 하네요. 이런 시기에 건호님 같은 인재가 함께 한다는 것이 노타에겐 너무나 반가운 소식이었습니다.
"인턴 기간 동안 제 주요 업무는 국가 과제인 '독자 AI 파운데이션 모델(독파모)'에서 MoE 경량화 연구를 주로 진행하는 것이었습니다"
앞으로 하게 될 일에 대해 큰 기대를 가진 만큼 "내가 잘 할수 있을까"하는 걱정과 처음 도전하는 과정에 대한 걱정까지. 여러가지 복합적인 감정이 들었다고 설명하는 건호님의 모습이, 제가 노타에 처음 출근하던 날과 비슷해 동질감을 느끼기도 했습니다.
*MoE(Mixture of Experts)는 필요한 전문가(expert)만 골라 쓰는 구조로, 파라미터 전체를 매번 사용하는 Dense 모델과 대비됩니다.
문제를 만드는 곳에서, 문제를 푸는 곳으로
첫 회사 생활에서 건호 님이 발견한 학교와 회사의 차이는 명확했습니다.
"학교는 내가 문제를 만들고 내가 해결하지만, 회사는 주어진 문제를 내가 푸는 곳이에요. 'MoE를 이 정도 성능 저하 안으로 압축한다'는 목표가 정해져 있고, 그걸 달성해야 하죠. 제가 경험해 보지 못한 제약이 들어오는 건데, 어렵다기보다는 다르게 느껴졌어요."
실용성을 대하는 관점도 달랐습니다.
"연구실에서는 아무래도 지연 시간(latency)보다 정확도를 조금 더 중점적으로 보게 되거든요. 회사에서는 vLLM 같은 서빙 프레임워크에서 실제로 돌아가는지, 프랙티컬한 부분을 많이 본다는 게 처음에 딱 느껴졌어요. 들어오자마자 맡은 일도 여러 서빙 프레임워크의 양자화 포맷을 비교하는 거였고요."
그 과정에서 배운 것이 있습니다.
"100의 노력을 들여 99점을 만드는 일도 물론 중요하죠. 다만 회사에서는 그 절반의 노력으로 95점을 빠르게 만드는 편이 더 필요한 순간이 많더라고요. 그것이 전문성이라는 것을 새롭게 배우기도 했습니다."
건호님이 근무하셨던 팀은 CPU, GPU, NPU 등 다양한 프로세서(xPU)에서 AI 모델이 돌아가게 만드는 팀입니다. 모델을 압축하고, 디바이스에 배포해서, 태스크를 완성하는 것까지가 하나의 프로세스죠. 그 프로세스 안에 있으면서 건호 님이 얻은 건 기술적 경험만이 아니었습니다.
"우리가 만드는 것이 쓸모 있는 기술이라는 확신을 얻었습니다. 실제로 니즈가 있고 우리는 고객을 위해 제품을 만들고 있다는 것을 체감했죠."
유독 느리게 흘렀던 두 달
건호님의 인턴 기간이 처음부터 끝까지 순탄하기만 했던 건 아닙니다. 합류 한두 달 무렵까지 연구 결과가 원하는 대로 나오지 않아 조바심이 났던 건 사실이었다고 말씀해주셨는데요.
"초기에 되게 지지부진하다고 생각했어요. 인턴 기간 안에 성과를 내지 못하면 어쩌나 걱정했죠. 잘 하고 싶던 마음에 그렇게 느꼈던 것 같은데 지금 돌아보면 당연한 과정이에요. 여러가지를 시도한다는 것 자체가 중요한 가치인거죠. 그렇게 다양한 시도 중에 가능성이 있는 부분을 찾아내 그걸 키워서 논문이 되는 건데, 그때는 마음만 급했던 것 같아요."
막힌 구간을 지나오는 과정에서 건호님이 시도한 방법은 두 가지가 있었고, 그중 첫번째는 바로 대화였습니다. 건호님이 정체되었다고 느끼는 순간 가장 가까이에서 협업한 한철님과의 열띤 논의가 큰 도움이 되었다고 이야기해주셨는데요.
"문제를 푸는 다양한 방법에 대해 한철님과 논의 하면서 각자의 관점을 많이 공유하려고 신경썼어요. 가능한 것들과 중요한 것들, 쉽게 시도 할 수 있는 것들과 시간이 걸리는 것들을 구분해나갔죠. 특히 한철님의 큰 그림에 맞춰보는 것이 저에겐 가능성의 실마리가 되었어요. 여러 이야기를 나누며 각자가 할일들을 분배했고 우리는 같은 목표를 향해 나아가고 있다는 안정감도 느꼈어요"
그리고 다른 하나는 시야를 바꾸는 일이었습니다.
"연구 초기에는 스코프를 작게 잡고 하나하나 뜯어가면서 보려고 했어요. 그렇게 하니까 잘 안 보이더라고요. 그래서 아예 크게 그려서 그림 한 장으로 만들어봤는데, 거기서 물음표랑 느낌표가 나왔어요. 그걸 가지고 연구를 확장해 나간 거죠."
건호님이 물음표와 느낌표를 찾을 수 있던 건 초기에 충분히 다져놓은 고민들이 있어서 그런게 아닐까 생각이 들었는데요. 이러한 시간을 지나며 남은 결론을 건호님은 이렇게 말합니다.
"결국 지지부진하더라도 끈기있게 끝없이 파다보면 좋은 결과를 낼 수 있는 힌트를 찾아낼 수 있다고 믿어요."
엔비디아 해커톤, 그리고 우승
독파모를 진행하며 엔비디아와의 협업이 이어지던 중, 좋은 기회가 하나 열렸습니다. 바로 엔비디아의 Nemotron 생태계를 소개하는 데브데이의 일환으로 마련된 해커톤이었죠.
"참가할 수 있는 트랙이 세 가지였는데, 그중 데이터셋 생성(Dataset Generation) 트랙을 골랐어요. 데이터셋 관점에서 MoE 양자화 성능을 올리려는 선행 연구들이 있었고, 팀에서도 이미 여러 번 얘기해 온 주제였거든요. 해커톤에서 나온 아이디어를 독파모로 그대로 연결 지을 수 있겠다고 판단했고, 회사에서도 숙소를 비롯해 적극적으로 지원해 주신 덕분에 준비에만 집중할 수 있었습니다."
짧은 기간 안에 결과를 만들어야 하는 만큼, 준비 과정은 그 자체로 밀도가 높았습니다.
"기존 연구들의 한계가 뭘까, 다르게 해볼 수 있는 지점은 어디일까 하는 논의를 많이 했어요. 엔비디아 대회니까 엔비디아가 제공하는 툴을 쓰는 게 좋겠다는 한철 님의 제안으로 어떤 툴이 있고 저희 아이디어에 어떻게 활용할 수 있을지도 미리 확인해 봤고요."
그 과정에서 건호 님이 배운 건 기술만이 아니었습니다.
"한철 님을 보면서 '셀링(Selling)'이란 무엇인지를 배웠어요. 심사위원이 좋아할 포인트를 어떻게 어필하는지를 아주 가까이에서 본 거죠. 회사에는 고객사가 있고, 노타에는 Customer-Centric이라는 LP(Leadership Principles)가 있잖아요. 학교에서 발표할 땐 '내가 최고'라는 것에 방점이 찍히지만, 산업에서는 이 기술이 어떻게 쓰이고 어떻게 팔릴 수 있는지를 함께 이야기해야 하거든요."
연구자에서 한 발 더 나아가, 이걸 어떻게 설득력 있게 보여줄지까지 고민한 흔적이 느껴지는 답변이었습니다.
우승의 지분(?)을 묻자 돌아온 답은 이랬습니다.
"작은 부분부터 같이 참여한 팀원들과 머리를 맞대고 합의해 가면서 맞춰 나갔어요. 어느 하나를 제 것이라고 하기가 애매할 만큼요."
그렇게 합의된 결과는 우승으로, 그리고 독파모의 실제 성과로 이어졌습니다.
우승 이후 건호 님에게 돌아온 것은 해커톤 경험에 대한 질문보다 뜻밖의 이야기들이었습니다.
“엔비디아의 힘을 체감할 수 있었어요. 워낙 유명한 회사인 데다 엔비디아 코리아 측에서 PR까지 나가니까 주변에서 먼저 알아보고 연락을 주시더라고요. 학교에서는 교수님도 잘했다고 해주셨어요. 이 일을 계기로 제가 노타에서 인턴을 하고 있다는 걸 주변에서 많이 알게 됐고, 그게 하나의 전환점이 된 것 같아요.”
두 편의 논문, 그리고 100B 모델을 다루는 경험
독파모에서 이어온 MoE 경량화 연구는 이후 ICML 워크샵 논문 두 편의 밑바탕이 됐습니다. 두 편 모두 MoE 라우팅을 다루고, 한 편은 한철 님이, 한 편은 건호 님이 1저자입니다.
"두 논문의 출발점은 각자 달랐어요. 두 편을 써보는 것이 목표였고 한철 님의 시각으로 시작된 논문과 제 관점과 방법론으로 시작된 논문이었죠. 그렇게 각자 연구하되 피드백을 나누는 과정에서 시너지가 났다고 생각이 들어요."
서로의 원고를 읽어주는 과정은 그 자체로 훈련이었습니다.
"논문을 쓰다 보면 내 논문의 시각에 갇혀요. 나한테는 너무 당연한 얘기인데 남들이 보면 이해가 안 가는 부분이 있거든요. 그걸 객관적으로 바라보는 것도 논문 쓰는 스킬인데, 한철 님과 수많은 피드백을 주고받으며 보완할 수 있었어요."
회사에 있었기에 가능한 연구이기도 했습니다.
"평소 엣지 디바이스에 들어가는 모델은 몇 빌리언(B) 규모인데, 독파모는 100B에서 200B를 왔다 갔다 하잖아요. 그 정도 모델을 다루려면 GPU도 그만큼 필요한데, 학교보다 훨씬 넉넉하게 지원받을 수 있었어요. 학교에서는 자원 여건상 예전 모델이나 작은 모델로 리포트하게 되는 경우가 많아요. 이번 ICML에 나온 논문들만 봐도 100B~200B급 모델까지 리포트한 경우는 많지 않고요. 저는 이번에 100B급 모델까지 리포트했고, 벤치마크도 그 모델들의 테크니컬 리포트에서 실제로 쓰이는 것들 위주로 했어요. AI를 다루는 회사에 있었기 때문에 이런 경험이 가능했죠."
채택 소식을 들었을 때의 기분은 환호보다 안도에 가까웠습니다.
"논문은 짧아도 몇 개월씩 걸리는 작업이라, 안 되면 그 기간을 다시 겪어야 하잖아요. 일단 '잘 마무리가 됐다'는 안도의 마음이 제일 컸어요."
이제는 빠지면 섭섭한 구성원이 되어
성과만 놓고 보면 화려한 6개월이었지만, 정작 건호 님과 이야기를 나누다 보면 그보다 자주 등장하는 건 팀 이야기였습니다. 우승도 논문도 결국 누군가와 함께 만든 결과였고, 그 사이 건호 님은 어느새 '인턴'이라는 수식어보다 '동료'라는 말이 더 잘 어울리는 사람이 되어 있었습니다. 실제로 건호 님이 일했던 방식을 들여다보면, 흔히 생각하는 인턴상과는 조금 달랐습니다. 논의에서 출발해 일을 나눠 가졌고, 맡은 연구 안에서는 결정을 스스로 내렸죠.
"제 논문은 처음부터 끝까지 제가 진행했으니, 제 연구 안에서의 의사결정 권한은 100%였어요."
이러한 건호님의 모습은 노타의 LP, Be Proactive와 겹쳐 보였습니다. 인턴에게도 그것이 요구되느냐고 묻자, 돌아온 답은 요구라기보다 결과적으로 얻게 되는 모습에 가까웠습니다.
"결국 리서치를 하다 보면 프로액티브해지는 것 같아요. 문제를 해결하려면 앞서 나가야 되는 거니까요."
가장 기억에 남는 하루로는 대부도로 떠난 팀 트립을 꼽았습니다. 다같이 몸을 움직이며 놀기도 하고, 또 테라스에서 멍을 때리기도 했습니다. 특별히 할 일을 정해두지 않고, 그저 하늘을 가로지르는 비행기를 눈으로 좇으며 시간을 흘려보낸 하루였다고 합니다.
"아무 생각 없이 지낼 수 있어서 좋았어요. 인턴이라고 다른 것도 없었고요. 그냥 팀원의 일원으로 다녀온 거죠."
자기 방식대로 하루를 보낼 수 있었던 건, 그만큼 편하게 스며들 수 있는 문화가 뒷받침됐기 때문일 겁니다. 건호 님이 조직 문화에서 가장 신선하다고 느낀 지점도 여기서 이어집니다. 바로 투명함이었습니다.
"채널이든 미팅 내용이든 대부분의 진행 상황이 투명하게 공유 됩니다. 그래서 제가 직접 하지 않는 일도 제목만 보면 뭘 하는지 알 수 있어요. 저희 팀이 하는 일에 다른 팀 동료 분들도 코멘트와 피드백을 아끼지 않는데요, '저걸 나도 참고해야겠다', '내가 저건 알려줄 수 있겠다' 하는 것들이 오가는 게 인상적이었습니다."
노타에서 중요하게 생각하는 가치인 Trust와 Step out of your comfort zone이 실제로 작동하는 장면입니다. 첫 회사 생활에서 겪은 온보딩에 대해 건호 님이 남긴 말은 이랬습니다.
"다른 회사에 있어본 적이 없어서 비교 대상은 없지만, 노타는 '사람'에 신경을 많이 쓴다는 게 느껴졌어요."
돋보기에서 광각으로
인턴 기간 동안 가장 늘었다고 느끼는 것을 묻자, 건호 님은 엔비디아 해커톤 우승이나, 논문 채택의 성과같은 눈에 보이는 결과보다 과정을 꼽았습니다.
"논문을 혼자서 처음부터 끝까지 써본 거요. 학교에서는 프레이밍 같은 걸 교수님이나 시니어들이 많이 도와주세요. 그분들은 그걸 정말 많이 해봤고 방향을 잘 잡아주시니까요. 이번에는 스토리텔링과 논문의 방향을 혼자 계속 고민하면서 '이런 식으로 논문의 이야기가 구성되는구나'를 직접 경험했어요. 이렇게 혼자 고민해 본 것 자체가 큰 경험이었습니다."
학교로 돌아가면 연구를 대하는 방식도 달라질 것 같다고 했습니다.
"최신 벤치마크와 최신 모델을 직접 타깃해서, 실제로 임팩트가 남는 연구, 사람들이 가려운 곳을 긁어줄 수 있는 연구를 해야겠다는 생각을 하게 됐어요."
아쉬운 점은 없었는지, 6개월이 더 주어진다면 무엇을 해보고 싶은지 물었습니다. 답은 모두 자신이 맡은 구간의 앞과 뒤를 향해 있었습니다.
"독파모에 참여하고 있으니 실제로 모델이 만들어지는 것도 옆에서 볼 수 있겠구나 기대했었어요. 그런데 저희가 맡은 건 이미 만들어진 모델을 압축하는 쪽이었거든요. 모델이 개발되는 과정까지는 보지 못한 게 조금 아쉬웠습니다. 반대편도 궁금하고요. 솔루션은 그 서비스 자체를 만드는 팀이잖아요. 벤치마크 성능이 잘 나오는 것과 서비스는 다르니까요. 연구는 여러 번 시도해서 가장 좋은 결과를 찾아가는 쪽이라면, 서비스는 100번 잘하는 것보다 한 번 실수하지 않는 게 더 중요하잖아요. 기술이 연구 레벨에서 멈추지 않고 실제 서비스로 넘어갔을 때 달라지는 부분들을 경험해 보고 싶어요."
노타에서의 6개월을 한마디로 정의해 달라는 요청에 건호 님은 ‘렌즈’에 비유했습니다.
"학교가 돋보기라면, 노타에서의 경험은 광각이에요. 학교는 하나에 집중하지만 회사는 변화를 계속 따라가잖아요. 새로운 모델이 나오면 뭐가 달라졌는지 바로 캐치해서 작업이 시작되니까요. 학교에서의 6개월보다 훨씬 빠르고, 훨씬 많은 경험을 한 6개월이었습니다."
마지막으로, 노타에 들어올 다음 인턴들에게 남긴 말입니다.
"빠르게 변화하는 AI 시대에, 어쩌면 가장 빠르게 대응하고 있는 회사가 바로 노타입니다. 특히 경량화라는 측면에서는 최전선에 있는 회사 중 하나니까, 여기 와서 그 속도를 직접 느껴봤으면 좋겠습니다."
건호 님은 이 인터뷰 다음 날 6개월의 인턴십을 마치고 한양대학교 AIHA 연구실로 돌아갔습니다. '내 연구가 실제로 쓰일 수 있는가'를 고민하는 또 다른 연구자를, 노타는 기다리고 있습니다.
