인공지능(AI) 성능을 끌어올린 핵심 기술로 평가받는 강화 학습 이 AI 안전성 논란의 중심에 섰다.

최근 오픈 AI의 모델이 사이버 보안 내부 테스트 중 격리 환경을 뚫고 허깅페이스 플랫폼과 다른 회사 서버를 해킹한 사실이 드러나면서 다.

AI가 스스로 판단하고 행동하는 범위가 넓어지면서 AI에 어디까지 권한을 부여할지가 새로운 과제로 떠오르고 있다.

◆ AI 키운 지도 학습 강화학습 그동안 생성형 AI는 방대한 데이터를 학습한 뒤 지도 학습과 강화학습 등을 거쳐 답변의 정확도를 높여 왔다.

지도 학습은 사람이 만든 정답 사례를 바탕으로 AI가 질문에 적절한 답을 생성하는 방법을 익힌다.

예를 들어 AI에 수만 장의 강아지 사진을 학습시키면서 강아지 라는 라벨을 붙여 공통 특징을 익히게 하면 학습을 마친 AI는 라벨이 없는 새로운 동물 사진이 입력돼도 강아지인지를 정확하게 분류해낼 수 있다.

이후 강화 학습을 통해 사람이 선호하는 답변과 올바른 추론 방식에 높은 점수를 주면서 모델의 행동을 다듬는다.

두 학습 방식은 AI가 배우는 재료부터 다르다.

지도 학습은 사람이 정답을 표시한 데이터를 제공하고 AI의 예측과 정답 간 차이를 줄이는 방식이다.

이미지 분류와 문서 분석처럼 정확한 분류와 예측이 필요한 업무에 주로 활용된다.

다만 학습 데이터에 편향이 있으면 AI의 결과에도 같은 편향이 반영될 수 있다.

그러나 강화 학습에는 정답지가 없다.

AI는 현재 상황에서 행동한 결과에 따라 보상이나 벌칙을 받고 이를 반복하며 가장 큰 누적 보상을 얻는 전략을 스스로 학습한다.

알파고 가 대표적이다.

게임 규칙만 알려주고 스스로 게임을 하면서 발전하도록 강화 학습을 적용한 AI다.

강화학습은 정답을 미리 정하기 어려운 환경에서 강점을 보인다.

자율주행차처럼 도로 상황에 맞춰 주행 전략을 바꾸거나 로봇과 같이 작업 환경에 따라 움직임을 조정하는 경우에 적합하다.

예를 들어 차선을 잘 지켜 안전하게 이동하면 보상을 주고, 차선을 벗어나거나 장애물에 부딪치면 벌칙을 부여해 위험 상황에 대처하는 능력을 기른다.

◆ 강화 학습이 야기한 보상 해킹 강화학습 시장은 빠르게 성장하고 있다.

시장조사 업체 리서치네스터에 따르면 전 세계 강화학습 시장 규모는 지난해 1226억 달러(약 175조원)에서 2035년에는 19조 100억 달러(약 2경 7305조원)까지 성장할 것으로 예상된다.

연평균 성장률이 65.6%에 달한다.

스스로 실행하는 AI 에이전트, 자율주행, 피지컬 AI 확산이 시장 성장을 이끌고 있다.

하지만 강화학습은 보상 기준이 잘못 설계되면 의도하지 않은 행동을 학습할 수 있다는 한계도 있다.

AI업계에서는 이를 보상 해킹(Reward Hacking) 이라고 부른다.

목표 자체보다 보상 체계의 허점을 이용해 높은 점수만 얻으려는 행동으로, 오픈 AI와앤트로픽 같은 주요 AI 기업에서 차세대 AI의 주요 위험 가운데 하나로 지목하고 있다.

최근 발생한 오픈 AI 모델의 허깅페이스 플랫폼 해킹 사례가 대표적이다.

사이버 보안 문제를 풀도록 설정된 모델은 문제 자체를 정상적으로 해결하는 대신 정답이 저장된 서버의 위치를 추론해 접근했다.

문제를 풀라고 했더니 정답지를 훔치러 간 셈이다.

특히 인터넷이 차단된 환경에서도 새로운 취약점을 찾아 다른 시스템으로 이동할 수 있는 경로를 만들어냈다.

주어진 목표를 가장 빠르게 달성할 방법을 찾는 과정에서 예상 밖 행동을 선택한 사례인 것이다.

강화학습 관점에서 보면 보안 평가에서는 취약점을 찾아내는 것이 높은 보상으로 연결되자 모델은 샌드박스 안에서 문제를 푸는 대신 정답이 있는 서버를 추론하고 외부 시스템으로 이동할 수 있는 경로를 스스로 탐색했다.

사람이라면 규칙 위반으로 인식할 행동도 AI는 목표 달성에 유리한 선택지 가운데 하나로 판단한 것이다.

◆ 피해 기업의 대응 체계도 허점앤트로픽은 오픈 AI의 보안 사고 이후 인터넷 접속 가능성이 있었던 보안 평가 14만 1006건을 다시 점검했다.

그 결과 미토스와 내부 연구용 모델이 실제 기업 3곳의 운영망에 무단으로 접근한 사실을 확인했다.

앤트로픽의 사고는 오픈 AI 사례와 달리 모델이 취약점을 뚫고 격리망을 빠져나간 것은 아니었다.

앤트로픽과 외부 평가 업체 간착오로 시험망에 인터넷 통로가 열려 있었고, 모델은 인터넷에 연결돼 있지 않다 는 지시를 받았기 때문에 검색 과정에서 만난 실제 시스템도 모의 훈련의 일부로 판단했다.

일반 서비스에 적용되는 공격 차단 감시 장치도 평가 모델에는 설치돼 있지 않았다.

오픈 AI의 보안 사고 이후 피해 기업의 대응 체계도 허점을 드러냈다.

허깅페이스는 오픈 AI 모델이 자 사 시스템에 침입하며 남긴 1만 7000여 건의 기록을 상용 AI로 분석하려 했지만, 공격 명령과 악성 코드가 안전장치에 걸렸다.

앤트로픽의 클로드는 안전을 이유로 분석을 거부했다.

결국 허깅페이스는 사용자가 직접 통제할 수 있는 중국산 오픈 소스 모델 GLM-5.2 를 자체 서버에서 가동해 공격 경로와 침입과정을 재구성했다.

사이버 공격에 활용될 가능성이 있다는 우려가 제기된 오픈 소스 모델이 오히려 사고 대응 도구로 쓰인 역설적인 장면이다.

박성배 기자