“구름을 좀 넣어볼까. 양떼구름을 넣으면 좋겠다.”
“눈 앞에 섬이 보이면 괜찮겠는데.”
23일(현지 시간) 스트리밍 라이브로 진행된 메타 플랫폼(옛 페이스북)의 인사이드더랩 행사에 마크 저커버그 메타 최고경영자(CEO)가 상반신만 보이는 삼차원(3D) 아바타 형태로 동료 아바타와 나타났다. 저커버그 아바타가 ‘빌더봇(Builder Bot)’을 부르고 이 같은 사항들을 주문하자 저커버그가 원하는 환경이 구현됐다. 이어 동료 아바타가 “여기에는 피크닉 테이블과 음료를 놓고 파도 소리가 들리면 더 그럴 듯 하겠다”고 덧붙이자 적막했던 주변 환경에 파도 소리가 더해졌다.
저커버그 CEO는 “메타 플랫폼은 사람들이 원하는 세계를 묘사하고 이를 구현할 수 있는 새로운 타입의 생성형 인공지능(AI) 모델을 만들고 있다”며 이 같은 프로토타입을 포함한 AI 프로젝트 ‘ 카이라오케(CAIRaoke)’를 공개했다. 저커버그 CEO는 이를 어시스트형 기기 구축을 위한 엔드투엔드 신경 모델이라고 언급했다.
카이라오케 프로젝트는 사람들이 실제로 눈 앞에 타인이나 세계가 실재하는 것처럼 인식하기 위해 ‘1인칭 시점 인식’ 기능을 강화하고 있다. 또 사람이 미리 분류한 데이터 없이도 가공되지 않은 데이터를 갖고 스스로 패턴과 맥락을 파악하는 ‘자기 지도 학습(self-supervised learning)’ 모델을 채택, 차기 생성형 AI(Generative AI) 모델에 주력하고 있다. AI에게 특정 개념을 학습시키는 게 아니라 데이터 원본을 제공하고 나머지 부분을 예측하도록 유도해 그 과정에서 AI도 추상적인 표현을 배울 수 있도록 하겠다는 것이다. 자기지도학습이 메타버스 구축에 필요한 이유는 이용자들이 메타버스 환경에서 경험할 복잡성과 다양성을 정형화된 틀 안에서 처리하기 쉽지 않기 때문이라는 설명이다. 이를 위해 현재 13개 대학과 연구 협력을 진행하고 있다. 저커버그 CEO는 “이 연구가 발전하면 당신은 고유한 세계를 만들고 탐험하며 동시에 다른 사람들과 쉽게 목소리만으로 소통할 수 있다”고 강조했다. 이 소통에는 음성을 보완하는 표현, 바디랭귀지 등도 포함된다. 프로토타입 ‘빌더 봇’에 대해서는 구체적인 고도화 계획과 시점은 밝히지 않았다.
메타 플랫폼이 내세운 건 텍스트가 아닌 음성 인식을 통한 AI 프로젝트다. 사람들이 쉽게 소통할 수 있도록 목표 두 가지를 내세웠다. 하나는 어느 언어를 쓰는 이용자든 소통에서 소외되지 않도록 모든 언어를 통·번역할 수 있는 시스템을 개발한다는 것이다. 저커버그 CEO는 “3년 전에는 30개 언어 번역이 가능했지만 현재는 100개까지 늘었다”며 “오스트리아부터 우간다까지 모든 이들이 쉽게 소통할 수 있게 하겠다”고 설명했다. 눈에 띄는 점은 해당 언어로 학습할 데이터가 많지 않아도 번역기 고도화가 가능하다는 점이다. 이는 AI가 사람에 의해 분류된 데이터를 가지고 학습 과정을 거치기보다는 가공되지 않은 데이터를 가지고 스스로 학습하는 ‘자기 지도 학습(self-supervised learning)’을 취하기 있기 때문에 가능하다는 설명이다. 이뿐만 아니라 모든 언어를 쓰는 사람들의 대화를 발화된 통째로 즉각 번역하는 시스템을 구축해 전 세계인 이용자들도 별도의 장벽 없이 실시간으로 대화를 주고받을 수 있도록 해, 몰입감 높은 경험을 제공하겠다고 밝혔다.
이어 저커버그 CEO는 10년 가까이 메타버스에 투자해 온 방향성을 유지하는 한편 개방적이고 책임감 있는 플랫폼 구축을 목표로 프라이버시와 투명성 보장에 중점을 두겠다고 강조했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
madein@sedaily.com
