카카오(035720)가 이미지·영상 등 멀티모달 생성형 인공지능(AI)의 안전성과 신뢰성을 검증할 수 있는 ‘AI 가드레일 모델’을 개발한다.
이상호 AI 세이프티·퀄리티 성과리더는 24일 경기 용인시 카카오 AI 캠퍼스에서 열린 기술 콘퍼런스 ‘이프 카카오’에서 “기술 발전 속도에 부합하는 더욱 안전한 안전벨트를 개발하겠다”며 이같이 밝혔다.
카카오는 올해 5월 텍스트 중심의 ‘AI 가드레일 모델’을 개발해 오픈소스로 공개했다. 사용자의 발화나 AI 답변에서 증오, 괴롭힘, 성적 콘텐츠 등 유해성을 탐지하는 ‘카나나 세이프가드’, 개인 정보나 지식재산권 등 법적 측면에서 문제점을 탐지하는 ‘카나나 세이프가드-사이렌’, AI 서비스를 악용하려는 사용자의 공격을 탐지하는 ‘카나나 세이프가드-프롬프트’ 등 3종이다. 카나나 세이프가드는 한국어, 한국 문화를 반영한 자체 구축 데이터셋을 활용해 개발됐다.
카카오는 세이프가드를 현재 출시했거나 출시 예정인 AI 서비스에 탑재하고 있다. 계열사 AI 서비스 적용도 준비 중이다.
카카오는 국내외 기관·단체와 외부 협력도 강화한다. ‘AI 얼라이언스’에 국내 기업 최초로 가입했다. 유엔개발계획(UNDP), 유엔아동기금(UNICEF), 유엔글로벌콤팩트(UNGC) 등 유엔(UN) 유관기관 등과의 교류를 통해 국제 표준을 위한 노력을 이어가고 있다. 국내 AI 안전성 전담 연구기관인 AI 안전연구소와의 협력을 통해 안전성 평가, 데이터 구축, 기술 개발과 관련 공동 연구도 진행 중이다.
카카오는 지난해 10월에는 AI 위험 관리 체계 ‘카카오 AI 세이프티 이니셔티브’를 수립했다. 이 체계는 책임 있는 AI를 위한 가이드라인이라는 윤리 원칙을 기초로 작동한다. 2018년 국내 기업 최초로 수립한 알고리즘 윤리헌장을 개정한 것으로 AI 모델의 전 생애주기에서 발생할 수 있는 리스크에 선제 대응하는 것이 목적이다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
kim@sedaily.com
