“지금까지 엔비디아·AMD 등에 관심이 쏠린 것은 인공지능(AI) ‘훈련’을 위한 그래픽처리장치(GPU)가 가장 중요했기 때문입니다. 하지만 생각의 사슬(Chain of Thought)이 대중화될수록 추론을 훨씬 효율적으로 빠르게 수행할 수 있는 새 하드웨어가 중요해질 것입니다.”
세계 4대 AI 석학으로 꼽히는 앤드루 응 스탠퍼드대 교수는 최근 서울경제신문과 만나 “AI 계층(스택)의 기초를 담당하는 반도체에서 한국 기업들은 매우 큰 강점을 지녔다”며 이같이 말했다.
응 교수는 ‘생각의 사슬’이 적용된 추론형 AI의 대중화로 AI 반도체 인프라의 판도가 바뀔 것으로 내다봤다. 응 교수는 딥러닝에 GPU를 처음 사용하기 시작한 연구자 중 하나로 알려져 있는데 그런 그가 추론형 AI 시대를 맞아 반도체 패러다임 교체를 전망하는 것이다.
응 교수의 설명에 따르면 사전 학습에 집중했던 지금까지의 생성형 AI 개발에는 막대한 데이터를 빠르게 처리해낼 대량의 GPU가 필수였다. GPU 시장 지배자이던 엔비디아가 글로벌 반도체 기업 시가총액 1위에 오르게 된 이유다. 하지만 학습 이후 실제 AI 작동 과정에서 추론의 비중이 높아질수록 상대적으로 학습에 강한 GPU의 중요성은 줄어든다. 엔비디아 H100, 블랙웰 등 AI 가속기도 추론에 훌륭한 성능을 뽐내지만 ‘가성비’가 나쁜 까닭이다.
응 교수가 바라보는 미래는 추론 특화반도체(ASIC)다. 추론 전용으로 설계된 ASIC은 범용 AI 작업에 유리한 GPU보다 생산비는 물론 전력 소모량, 즉 운영비도 적다. 엔비디아·AMD 등 대형 GPU 제조사 대비 선택지가 넓다는 것 또한 장점이다.
응 교수는 “삼바노바·세레브라스·그래프코어·그로크와 같은 스타트업들의 반도체 혁신에 매우 흥분하고 있다”며 “이러한 회사들의 다양한 추론 전용 반도체가 AI 모델의 속도를 훨씬 빠르게 만들고 있고 결과적으로 더 많은 ‘생각의 사슬’ 작업을 가능하게 할 것”이라고 내다봤다.
이는 삼성전자와 SK하이닉스를 비롯한 한국 반도체 업계에 기회 요인이기도 하다. 응 교수가 언급한 그래프코어와 그로크는 삼성전자가 투자한 회사다. 그로크는 일부 AI 칩셋을 삼성전자 파운드리에서 제조한다. 엔비디아 설계-TSMC 제조 일변도의 AI 가속기 생태계에 균열이 가고 삼성전자 등 타 파운드리의 고객사가 늘어나는 구도가 펼쳐질 수도 있는 것이다. 또 리벨리온·퓨리오사AI 등 추론 특화 AI 칩셋을 개발 중인 국내 스타트업 역시 판로 확대가 기대된다.
추론 칩 대중화는 고대역폭메모리(HBM) 등 메모리 생태계에도 긍정 요인이다. 삼성전자는 리벨리온에 HBM3E 12단을, SK하이닉스는 퓨리오사AI에 HBM3를 공급 중인 것으로 알려져 있다. 또 저가형 추론 칩에는 HBM 외 그래픽메모리(GDDR)가 적용되는 사례도 많아 HBM 일변도이던 메모리 수요 확대 또한 예상된다.
응 교수는 “추론형 AI가 가져올 반도체 혁신이 한국과 미국, 세계 각지에서 창출할 기회에 매우 흥분하고 있다”며 “최근 한국 내부적으로 몇 가지 문제와 변화가 생겨 외국인 직접투자가 감소하고 있으나 나를 비롯한 실리콘밸리의 모두는 장기적으로 한국에 대해 매우 낙관적”이라고 강조했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
beherenow@sedaily.com
