중국어 데이터 접근 차단…바이두, 구글 콘텐츠 수집 막았다

美 레딧도 계약 체결한 구글 제외 다른 검색엔진 색인화 막아

사진=로이터 연합뉴스

중국 포털사이트 바이두가 미국 검색 업체 구글이 자사 콘텐츠를 수집하는 것을 막은 것으로 나타났다. 인공지능(AI) 서비스를 고도화하는 과정에서 데이터가 중요한 자산이 되자 이를 자유롭게 사용하는 관행에 브레이크를 건 것이다.

24일 홍콩 사우스차이나모닝포스트(SCMP)는 바이두 온라인 백과사전 '바이두 바이커'의 'robots.txt' 최신 버전을 확인한 결과 구글과 마이크로소프트 빙(Bing)의 웹 크롤러(웹사이트를 돌아다니며 콘텐츠를 색인화해 검색 결과에 나타나도록 하는 자동화 프로그램)가 차단됐다고 전했다.



robots.txt는 웹 크롤러에 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 규약이다. 인터넷 아카이브 서비스인 웨이백 머신(Wayback Machine)에 따르면 차단 시기는 지난 8일께로 보인다.

이번 조치는 AI 모델 훈련을 위한 방대한 데이터에 대한 수요가 급증하는 가운데 온라인 자산을 보호하려는 바이두의 노력을 보여준다고 SCMP는 짚었다.

이와 관련해 미국 온라인 커뮤니티 기업 레딧은 지난달 구글을 제외한 다른 검색 엔진이 자사 사이트 게시물을 색인화하는 것을 차단했다. 앞서 구글은 자사 AI 모델을 훈련하기 위해 레딧과 수백만 달러 규모 계약을 체결했다.