구글 딥마인드, ‘세계 첫’ 이중맹검 AI 평가 시범 도입

구글 딥마인드가 외부 평가자가 시험 문항을 미리 볼 수 없고, 모델 제공자도 평가용 프롬프트를 볼 수 없는 ‘이중맹검(double-blind)’ 방식의 AI 평가를 시범 도입했다고 밝혔다. 회사는 싱가포르 AI 안전연구소, 오픈마인드(OpenMined), AVERI, MLCommons와 협력해 자사 생성형 모델인 제미나이 플래시 라이트(Gemini Flash Lite)를 비공개 벤치마크로 시험했다고 설명했다.

딥마인드는 이번 방식이 고성능 AI 모델 평가의 신뢰도를 높이기 위한 조치라고 강조했다. AI 모델이 이미 시험 문제를 접한 상태에서 평가를 받으면, 이른바 ‘벤치마크 오염’이 발생해 실제 성능보다 점수가 부풀려질 수 있기 때문이다. 특히 정책 당국, 연구자, 기업은 AI가 실제로 어느 정도의 능력과 안전성을 갖췄는지 정확히 확인할 필요가 있지만, 평가 문항이 사전에 노출되면 결과의 의미가 약해진다는 것이다.

그동안 외부 평가는 주로 비공개 계약이나 로그를 남기지 않는 방식으로 문항 유출을 막아왔다. 그러나 이번에는 구글 클라우드의 기밀 컴퓨팅 기술인 ‘컨피덴셜 스페이스(Confidential Space)’를 활용해 기술적·암호학적 보호 장치를 더했다. 이를 통해 평가자는 제미나이 모델의 가중치를 볼 수 없고, 구글도 평가용 질문을 확인할 수 없도록 했다고 회사는 밝혔다.

구글 딥마인드는 과거 고위험 AI 평가에서는 평가 문항을 넘기면 모델 제공자가 사전에 내용을 볼 수 있고, 반대로 모델 가중치를 넘기면 지식재산권이 노출되는 식의 절충이 필요했다고 설명했다. 이번 시범은 이런 한계를 줄여 독립 기관이 민감한 데이터를 보호한 채 고도화된 AI를 검증할 수 있는 길을 열었다는 평가다.

딥마인드는 특히 사이버보안이나 정부 기관이 수행하는 민감한 평가에서 이런 방식의 필요성이 크다고 봤다. 회사는 이번 시범이 더 안전하고 신뢰할 수 있는 AI 시스템을 만들기 위한 새로운 평가 기준이 되길 기대한다고 밝혔다.