|
인공지능(AI) 전문 스타트업 스퀴즈비츠의 김형준 대표는 지난주 '인텔 비전 2024'가 열린 미국 애리조나주 피닉스에 다녀왔다.
인텔과 네이버가 AI 칩 동맹을 맺기로 한 가운데 인텔 칩 '가우디' 기반의 소프트웨어(SW)를 함께 연구하기 위해서다.
경량화는 AI 모델과 이를 구동시키는 반도체 사이 최적의 궁합을 찾아주는 만큼 AI 밸류체인을 잇는 핵심 기술로 꼽힌다.
창업 3년 차 신생 기업이지만 삼성, 네이버, 카카오 등 국내 AI 대표 주자에게 모두 투자받은 이유다.
김 대표는 연구원 출신 창업가다.
포스텍 석박사 때 AI 반도체 설계와 경량화 기술을 연구했다.
연구 분야 특성상 산학 프로젝트를 진행하는 등 기업들과 협업할 일이 많았다.
그때마다 업계가 경량화 기술에 얼마나 갈증을 느끼고 있는지 몸소 느꼈다.
산업 현장에서 이런 갈증을 해소하기 위해 연구 동료들과 2022년 스퀴즈비츠를 창업했다.
스퀴즈비츠의 대표 기술은 양자화를 통한 AI 압축이다.
32비트의 데이터를 그보다 단순한 8비트, 4비트 단위로 가볍게 만들면서도 모델 성능은 유지하는 기술이다.
쉽게 말해 8자릿수 숫자끼리 곱하는 연산에서 숫자를 반올림해 맨 앞자리 숫자만 남겨두면 계산이 훨씬 빨라지는 원리다.
김 대표는 "AI 모델의 성능을 떨어뜨리지 않는 덜 중요한 정보를 날려 모델을 가볍게 만들면서도 성능을 최대한 유지할 수 있는 게 강점"이라고 설명했다.
이런 방식으로 AI 모델 '스테이블 디퓨전'을 안드로이드 스마트폰에서 빠르게 구동하는 데 성공했다.
스테이블 디퓨전은 텍스트를 그림으로 옮겨주는 AI로 매개변수(파라미터) 10억개 이상의 초거대 모델이다.
매개변수가 클수록 AI 성능이 좋지만 구동하는 데 많은 인프라가 필요하다.
때문에 주로 클라우드 환경에서 그래픽처리장치(GPU)로 구동한다.
스퀴즈비츠는 이를 클라우드 접속 없이 스마트폰에서 실행할 수 있도록 경량화했다.
이미지 품질 등 성능을 유지하면서도 모델을 가볍게 만들어 7초 만에 이미지를 생성했다.
지난해 2월 퀄컴이 스냅드래곤8 2세대 칩에서 스테이블 디퓨전을 구동하는 데 15초가 걸린 것보다 빠른 속도다.
기술을 상용화하기 위해 지난 3월 '아울라이트'도 출시했다.
스퀴즈비츠의 노하우를 서비스형소프트웨어(SaaS) 형태로 적용할 수 있는 AI 경량화 툴킷이다.
고객사는 이를 통해 AI 추론 속도를 평균 3.6배, 메모리 사용량을 평균 4배 개선할 수 있다는 설명이다.
김 대표는 "미국 실리콘밸리에서도 GPU 비용 때문에 적자인 AI 스타트업들이 많다"며 "AI 모델을 빠르게 업데이트하고 경량화 노하우를 쌓을 수 있다는 점에서 스타트업들의 반응이 좋다"고 말했다.
대부분의 기업들이 엔비디아 GPU를 사용하기 때문에 아울라이트도 여기에 맞게 최적화시켰다.
향후에는 엔비디아 외에도 인텔 중앙처리장치(CPU), 국내 반도체 회사의 신경망처리장치(NPU) 등으로 확장할 계획이다.
고객사에게 다양한 선택지를 주기 위해서다.
김 대표는 "반도체와 SW 설계 경험을 모두 갖춘 만큼 양쪽의 가교 역할을 하고 싶다"며 "이를 통해 인프라 비용을 낮추고 지속가능한 AI가 만들어질 수 있도록 지원할 것"이라고 강조했다.
최유리 기자 yrchoi@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제 무단전재 배포금지> | 
등록안내
