내 PC·스마트폰을 AI 서버로…연산비용 68% 아낀다

KAIST, 스펙엣지 개발

연산에 주변기기 동원해

데이터센터 의존도 낮춰

기존 데이터센터의 인공지능(AI) 연산 방식(왼쪽)과 데이터센터 및 엣지 서버를 함께 활용하는 ‘스펙엣지’ 연산 방식 비교. 사진 제공=KAIST

PC와 스마트폰처럼 일상에서 쓰는 작은 기기를 인공지능(AI) 서버로 활용할 수 있는 기술이 국내에서 개발됐다. 데이터센터의 연산 부담을 줄일 뿐 아니라 단순히 데이터센터로만 연산할 때보다 비용을 크게 줄일 수 있는 것으로 나타났다.

한국과학기술원(KAIST)은 한동수 전기및전자공학부 교수 연구팀이 저렴한 소비자급 그래픽처리장치(GPU)를 활용해 대규모언어모델(LLM) 인프라 비용을 크게 낮출 수 있는 신기술 ‘스펙엣지’를 개발했다고 28일 밝혔다. 연구성과는 이달 2일(현지 시간) 미국 캘리포니아주 샌디에이고에서 열린 AI 분야 국제 학회 ‘신경정보처리시스템학회(NeurIPS)에서 채택됐다.

스펙엣지는 데이터센터 GPU와 PC나 소형서버 같은 엣지(말단 기기) GPU가 역할을 나눠 연산하는 기술이다. 이를 통해 기존 데이터센터 GPU만 사용했을 때보다 토큰당 비용을 67.6% 줄일 수 있는 것으로 나타났다. 토큰은 AI가 문장을 만들어내는 최소 단위다.



연구팀은 특히 이처럼 데이터센터 GPU와 엣지 GPU를 연결하는 방식이 일반적인 인터넷 속도만으로도 문제없이 작동할 수 있음을 확인했다. 엣지 GPU가 단어를 생성하면 이를 데이터센터 GPU가 검증하는 통신 과정이 필요하다. 연구팀은 검증 작업을 효율화함으로써 엣지 GPU가 데이터센터의 응답을 일일이 기다리지 않고도 빠르게 작업을 수행할 수 있는 ‘추측적 디코딩’ 기법을 도입했다.

한 교수는 “데이터센터를 넘어 사용자의 주변에 있는 엣지 자원까지 LLM 인프라로 활용하는 것이 목표”라며 “이를 통해 AI 서비스 제공 비용을 낮추고 누구나 고품질 AI를 활용할 수 있는 환경을 만들고자 한다”고 말했다.

내 PC·스마트폰을 AI 서버로…연산비용 68% 아낀다