생성형 인공지능(AI)을 도입하는 기업들이 증가하면서 안전하고 규제에 맞게 AI를 사용하는 방법에 대한 논의가 지속되고 있다. 대부분 AI를 이미 도입하고 난 후 활용 단계에서의 안전성에 대한 논의다. 그러나 AI 모델이 데이터를 학습하고 개발되며 운영하는 과정 전반에 걸쳐 새로운 보안 취약점들이 만들어진다. 이에 AI 도입의 모든 단계에서 보안성을 확보하는 것은 필수다.
AI 도입의 첫 번째 단계는 모델을 학습시키기 위한 데이터를 수집하고 처리하는 것이다. 이 단계에서는 AI 모델에 공급하기 위한 수많은 데이터를 수집해야 할 뿐 아니라 데이터 과학자, 엔지니어, 개발자 등 다양한 사람들에게 접근 권한을 제공해야 한다. 모든 데이터를 한곳에 중앙집중화하고 보안 경험이 없는 이해관계자들에게 데이터에 대한 접근 권한을 부여하는 데는 필연적으로 위험이 따른다. 학습 데이터를 잘못 취급하면 비즈니스의 근간이 되는 지식재산(IP)이 노출될 수 있으며 AI 모델에 방대한 데이터를 활용한다는 것은 기업의 개인정보 보호 문제와 기타 민감한 정보 유출과 같은 다양한 위험으로 이어질 수 있다.
다음은 모델 개발 과정이다. AI 애플리케이션 개발은 데이터 과학 팀이 오픈소스 AI 모델 저장소에서 사전 학습된 AI 모델을 용도에 맞춰 변경하며 시작되는 경우가 대부분이다. 문제는 이렇게 제공되는 모델들에는 포괄적인 보안 기능이 없는 경우가 많다는 것이다. 자체적으로 AI 모델을 구축할 리소스나 전문 지식이 없는 기업은 이미 온라인에 구축돼 서비스되는 AI를 활용할 가능성이 높다. 공격자 또한 이러한 방식이 AI의 주요 소비 모델이 될 것이라는 점을 인지하고 있기 때문에 온라인에서 전송되는 데이터에 접근하고 이를 악용하기 위한 표적으로 삼는다.
AI 모델 운영 단계에서는 공격자가 메시지를 조작해 모델 자체의 안전망을 해제하고 편향된 허위 정보와 기타 유해한 정보가 포함된 응답을 생성해 모델이 오작동하도록 유도할 수 있다. 모델을 도난당할 위험도 있다. 공격자가 AI에 대한 명령어인 프롬프트를 만들고 결과값을 수집, 대상 모델의 동작을 모방하는 대리 모델을 교육하는 경우다. 두 경우 모두 모델의 정상적인 운영을 방해해 기업 평판에 큰 손상을 입히고 높은 리소스 비용을 유발해 기업에 재무적 손실이 발생할 수 있다.
그렇다면 기업들은 어떻게 대응해야 할까. 공격자들이 AI라는 신무기를 활용하듯 기업에도 AI는 방어 무기다. 기업들은 AI로 무장한 보안 전문가를 통해 데이터 검색 및 분류, 미사용 데이터 및 전송 과정에서의 암호화, ID 및 액세스 관리를 더욱 엄격하게 해야 한다. AI 모델 전반의 취약성, 악성 소프트웨어(멀웨어), 손상 등을 지속적으로 스캔하는 것도 중요하다. 또 전 직원의 보안 인식을 제고하고 데이터 과학자 및 연구원들이 보안팀과 긴밀히 협력해 적절한 보호 장치를 마련하는 것은 기본이다.
AI가 불러오는 혁신은 눈부시지만 신기술에는 미처 파악하지 못한 위험도 도사리고 있다. AI에 대한 가능성이 가장 높은 공격을 파악하고 신속하게 보호하는 데 방어 우선순위를 둔다면 보안 위험에 대한 두려움 때문에 AI 도입을 피하지 않고 AI가 가진 잠재력을 극대화할 수 있는 현명한 활용 방법을 찾을 수 있을 것이다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
yjy@sedaily.com
