인간 통제 를 벗어난 인공지능(AI) 모델이 잇따라 논란의 중심에 서고 있다.

구글은 위성 항공 사진 서비스 구글 어스에 도입한 AI 이미지 편집 기능이 허위정보 양산 우려에 휩싸이자 하루 만에 이를 철회했다.

오픈 AI 등은 에이전트 AI 모델이 외부 플랫폼을 해킹하거나 내부 시스템을 이탈하는 사례가 확인돼 홍역을 치르고 있다.

구글은 지난달 31일(현지시간) 구글 어스에 AI 이미지 생성 도구 나 노 바나나 2를 통합한 기능에 대해 강력한 안전장치를 마련하는 동안 해당 기능을 일시 중지(rolling back) 한다 고 밝혔다.

구글 어스에서 이용자들이 텍스트를 입력해 위성 사진에서 AI 생성 이미지를 추가하거나 편집하고, 다운로드 공유까지 허용한 기능을 선보인 지 하루 만이다.

구글 어스의 AI 기능 출시 직후부터 AI로 조작한 가짜 이미지 가 남발될 수 있다는 우려가 커졌다.

SNS에선 이란 핵발전소, 가자 지구의 폭탄 분화구 등 허위 위성 사진 생성 사례가 퍼져나갔다.

특히 오픈 소스 기반 정보 분석을 하는 전문가들은 AI 생성 위성 사진의 위험성을 경고했다.

전쟁 재난 등으로 접근이 어려운 세계 각지의 정보를 취득하기 위해 활용돼 온 구글 어스 자료의 신뢰성이 무너졌다는 것이다.

전문가들은 AI 워터마크를 표시했더라도 구글 어스 내부에 AI 도구를 통합한 것은 경솔했다고 지적한다.

샘 스톡웰 앨런 튜링연구소 선임연구원은 수십년 동안 언론인과 조사관들이 의심스러운 이미지를 검증하는데 사용해 온 기준인 구글 어스에 생성형 도구를 통합하는 것은 가짜를 판별해내는 척도를 훼손하는 것 이라고 비판했다.

브래디 애프리크 미국기업연구소(AEI) 연구분석가는 파이낸셜타임스에 사람들이 이미지를 스크롤하거나 공유할 때 AI 생성 이미지 여부를 확인하는 경우가 거의 없다 고 말했다.

앞서 메타도 지난달 AI 이미지 도구 뮤즈 이미지 를 출시했다가 이용자 반발로 사흘 만에 취소했다.

AI 모델이 인간 통제를 벗어나 외부 플랫폼을 해킹하는 일도 잇따라 나타나고 있다.

로이터통신은 오픈 AI가 자사 에이전트 모델이 안전을 위해 마련해 둔 격리구역(샌드박스)을 빠져나간 사례를 추가로 확인했다고 31일 보도했다.

앞서 오픈 AI의 GPT 모델은 사이버보안 내부 시험 중 오픈 소스 개발자 플랫폼허깅페이스 를 해킹한 것으로 드러나 충격을 줬다.

인간의 개입 지시 없이 AI 모델이 자율적으로 외부 플랫폼에 침투해 공격을 벌인 것이다.

허깅페이스는 나흘 넘는 시간 동안 1만 7600건의 공격이 발생했다고 밝혔다.

앤트로픽도 클로드모델이 외부 시스템에 무단 접근한 사례를 확인했다.

AI 업계에선 판도라의 상자가 열렸다 는 반응이 나온다.

고성능 AI 모델의 출현으로 AI를 활용한 사이버 공격이 현실이 됐고, 외부로부터의 보호는 물론 내부 네트워크 시스템의 예상치 못한 행동을 제어하는 게 과제로 떠올랐다.

CNBC는 1일 일련의 AI 해킹 사건에 대해 에이전트 AI가 목표 달성을 위해 극단적이고 예측 불가능한 방식을 사용할 수 있다는 점을 보여줬다고 지적했다.

김유진 기자 yjkim@kyunghyang.com