정부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 2차 평가에서 탈락한 AI 스타트업 모티프테크놀로지스(모티프)가 평가 결과에 공식 이의를 제기했다.

1차 평가에서 모델 ‘ 독자성’ 논란이 불거진 데 이어 2차에서는 평가 기준과 점수 공개를 둘러싼 잡음이 이어진 것이다.

정부가 대규모 AI 지원 사업을 여럿 추진하는 만큼 평가 기준과 선정 근거를 더 투명하게 공개해야 한다는 목소리가 커지고 있다.

??글로벌 벤치마크 1위가 탈락… 점수 공개 논란 모티프는 27일 임정환 대표 명의로 입장문을 내고 과학기술정보통신부에 독파모 2차 평가 결과에 이의를 제기하는 한편 업체별 세부 점수와 재심의를 요구한다고 밝혔다.

이 회사는 이번 이의 제기결과에 관계없이 독파모 3차 단계에는 참여하지 않겠다고 밝혔다.

18일 발표된 독파모 2차 평가에서는 AI의 성능평가 지표인 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산해 LG AI연구원과 SK텔레콤, 업스테이지 3곳이 다음 단계에 진출했다.

모티프는 글로벌 AI 성능지표인 ‘아티피셜 애널리 시스 인텔리전스 인덱스(AAII)’에서 참여 모델 중 최고점을 받았지만, 종합평가에서는 최하위로 탈락했다.

정부는 2차 발표 때 각 평가 영역에서 △ 모든 참여 기업의 평균 점수 △ 1, 4위 간 점수 차 등 두 가지만 공개했다.

평가에서 떨어진 업체의 ‘ 낙인 효과’를 막기 위해서라는 이유에서였다.

하지만 1차 평가 때보다도 공개 범위가 줄면서 평가 기준의 불투명성 논란이 커졌다.

그러자 뒤늦게 글로벌 벤치마크에서 모티프, 전문가 평가에서 LG AI 연구원, 전문 사용가 평가에서 SK텔레콤이 각각 1위였다고 밝혔다.

하지만 여전히 업체별 세부 점수와 총점은 공개하지 않았다.

모티프는 벤치마크 평가 배점 산정과 전문가 평가 방식에 문제를 제기했다.

유일하게 외부로 공개된 AAII 점수로는 모티프가 47점으로 가장 높고, 이어 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점) 순이다.

모티프는 “모델 간에 47점과 31점이라는 상당한 차이에도 불구하고 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경을 구체적으로 설명할 필요가 있다”고 주장했다.

이에 대해 김경만 과 기정통부 인공지능정책실장은 “ 규정에 따라 15일 이내 검토를 거쳐 전담기관 등을 통해 최종 결정을 내릴 것”이라고 밝혔다.

??AI 공모 잇따르는데… 평가 투명성 과 제독파모는 올해 1월 1차 평가 때도 논란을 겪었다.

당초 1곳만 탈락할 예정이었지만 네이버클라우드가 독자성 기준을 충족하지 못해 NC AI까지 2곳이 탈락했다.

당시 외부 기술을 어디까지 활용해야 독자 모델로 인정할지를 두고 기준이 모호하다는 지적이 나왔다.

정부는 현재 ‘ 모두의 AI’와 ‘ 사이버 보안 특화 AI 파운데이션 모델’ 등 그래픽 처리장치(GPU)와 예산을 지원하는 AI 사업을 여럿 진행하고 있다.

사업 목적에 따라 평가 기준이 달라질 수 있지만, 한정된 국가 자원을 특정 기업에 지원하는 것인 만큼 평가 기준과 선정 근거를 투명하게 공개해 공정성을 확보해야 한다는 지적이 나온다.

이경전 경희대 빅 데이터응용학과 교수는 “ 공정하고 투명한 평가가 이뤄지려면 전문가 평가위원과 평가 근거 등을 가능한 범위에서 공개할 필요가 있다”고 말했다.

전혜진 기자 sunrise@donga.com < 독자 AI 파운데이션 모델>