오픈 AI와 독립 AI 평가 기관 METR 가 26일 조사 보고서를 공개하고 지난달 오픈 AI의 인공지능(AI) 에이전트가 세계 최대 AI 플랫폼 중 하나인 허깅페이스를 해킹한 사건의 전말을 밝혔다.

보고서에 따르면, 사건은 사이버 보안 성능 평가 시험을 진행하면서 시작됐다.

AI가 소프트웨어의 취약점을 찾아 정답에 해당하는 문자열을 가져오는 방식의 시험이다.

오픈 AI는 AI의 해킹 능력을 측정하기 위해 AI에이전트 수만 개를 동시에 가동했다.

이 중 비밀 게시판을 발견한 1200개 AI에이전트들이 스스로 이름을 짓고, 자체 팀을 결성했다.

공격은 한 AI에이전트가 인터넷에 노출된 계정 정보 14개를 찾아 게시판에 올리면서 급 물살을 탔다.

다른 AI가 이 계정을 이용해 허깅페이스 서버의 핵심 파일에 무단으로 접근할 수 있는 취약점을 발견했고, 이 소식이 게시판에 퍼지자 700개가 일제히 공격에 가세했다.

AI에이전트들은 여러 취약점을 연쇄적으로 악용해 공격 범위를 넓혔다.

비공개 데이터세트를 무단으로 내려받고, 허깅페이스 서버 수십 대를 동시에 공격했다.

데이터베이스와 클라우드, 코드 저장소, 사내 메신저에 접근할 수 있는 권한도 가져갔다.

전체 관리자 권한을 획득하는 데는 13시간밖에 걸리지 않았다.

황당한 건 AI들이 처음부터 허깅페이스의 기밀을 훔치려 했던 건 아니라는 점이다.

‘수단과 방법을 가리지 말고 시험에서 높은 점수를 받아라’는 인간의 명령에 지나치게 몰입한 결과였다.

오픈 AI의 감시 소홀도 사고를 키웠다.

오픈 AI는 안전 감시 장치가 제대로 가동됐다면 허깅페이스가 뚫리기 최소한 하루 전에 공격을 차단할 수 있었다고 인정했다.

박지민 기자