사람도 착시를 하듯 완벽한 것처럼 보이는 인공지능도 데이터를 조금만 조작하면 착시를 할 수 있다는 사실은 인터넷에서 ‘적대적 사례(adversarial example)’라는 검색어를 넣으면 쉽게 찾을 수 있다. 그중 가장 유명한 ‘판다-긴팔원숭이(panda-gibbon)’ 사례를 살펴보자. 사람이 쉽게 판다라고 판단하는 영상에 대해 인공지능도 60% 미만의 신뢰도로 판다라고 판단했다. 여기에 거의 차이를 느끼지 못할 정도로 약간의 데이터 변형을 하면 사람들은 대부분 판다라고 인식하지만 인공지능은 99% 이상의 신뢰도로 긴팔원숭이라고 잘못 판단했다. 또한 ‘1화소 공격(one-pixel attack)’이라 부르는 예에서도 공격자가 교묘하게 전체 영상에서 단지 1화소의 값만 바꿨는데 인공지능은 배를 비행기로 인식하는 등의 오류를 보였다. 테슬라와 우버의 자율주행 모드 사망 사고 역시 인공지능의 오류 가능성 및 오류로 인해 발생할 수 있는 비극을 보여주는 사례다.
미국의 유명한 수학자이자 데이터 과학자인 캐시 오닐의 명저 ‘대량살상 수학무기’에는 공정함 및 개인의 이익과 권리 보호를 목적으로 빅데이터와 수학적 알고리즘을 결합하는 것이 오히려 인종차별·빈부격차·지역차별 등 불평등을 확대하고 민주주의를 위협할 수 있음을 보여주는 많은 사례가 있다. 편향된 알고리즘에 기반한 인공지능의 판정으로 범죄자로 분류되고 서류심사에서 탈락해 대출이 거부되는 상황이 발생할 수도 있다.
테슬라 자율주행서 사망 사고 등
데이터 잘못 읽어내 비극 잇달아
신뢰도보다 판단 근거에 주목
설명 가능한 AI연구 더 활발해질듯
압도적인 성능과 편리함에도 앞서 살펴본 것처럼 인공지능에 한계나 약점이 있는 것도 분명한 사실이다. 인공지능이 왜 그런 결정을 했고 과정은 타당했는지를 보여주지 못한다면 나날이 강력해지면서 빠르게 확산되는 인공지능 시스템에 대한 수용과 신뢰에 걸림돌이 생겨 깊은 우려의 대상이 될 수 있다. 그래서 AI 내부의 블랙박스를 들여다보려는 시도가 일부 진행돼왔는데 지난 2017년 미 국방성 방위고등연구계획국(DARPA)이 설명 가능한 인공지능(Explainable AI·일명 XAI) 프로젝트를 공식적으로 발족시키면서 설명 가능한 AI에 대한 연구가 촉진되고 있다.
법률·국방·금융·자율주행처럼 인공지능이 내린 결정이나 예측에 사용자의 높은 신뢰가 요구되는 분야에서 ‘설명 가능한 인공지능’은 필수적이라고 할 수 있다. 이를 위해 인과관계에 대해 설명이 가능한 새로운 인공지능 모델, 데이터의 패턴이나 시간 변화에 따른 양상을 보여주는 시각화 기술이나 음성을 통한 설명 등 인터페이스 기술, 사람의 심리적인 의사결정 메커니즘에 대한 분석기술들이 활발하게 연구될 것이다. 우리나라도 국가전략 프로젝트로 울산과학기술원을 중심으로 지난해 가을 ‘설명가능인공지능연구센터’가 설립돼 활발한 연구를 하고 있다.
향후 고양이 영상을 보여주면 단순하게 “몇%의 신뢰도로 고양이”라고 말하는 것이 아니라 “털이나 수염의 형태, 귀의 모양을 고려했을 때 고양이”라고 설명하는 인공지능이 대세를 이룰 것으로 기대한다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
