메타 FAIR, GPU 쓰기 전 실험 고르는 AI 모델 ‘RPM’ 공개

메타의 AI 연구조직 FAIR와 옥스퍼드대, 유니버시티칼리지런던(UCL) 연구진이 머신러닝 실험을 실행하기 전에 우선순위를 매기는 ‘AI 연구 선호 모델(RPM·Research Preference Models)’을 제안했다. 연구진은 후보 실험의 최종 점수를 직접 예측하기보다, 실행하지 않은 여러 후보 가운데 어떤 실험을 먼저 돌릴지 고르는 방식이 더 유효하다고 봤다. GPU 연산 시간이 많이 드는 연구 환경에서, 어떤 실험을 실행하느냐가 연구 성과를 좌우한다는 판단이다.

이번 연구는 AI 연구 에이전트가 아이디어를 생성하고 코드까지 작성할 수 있게 됐지만, 실제 검증에는 여전히 많은 계산 자원이 필요하다는 문제의식에서 출발했다. 하나의 후보 실험을 학습·평가하는 데 몇 시간에서 며칠의 GPU 시간이 들 수 있어, 에이전트가 제안한 수많은 후보를 모두 실행하기는 어렵다. 연구진은 이 지점을 ‘연구 선호’로 정식화해, 실행 전 후보를 비교·선택하는 모델을 설계했다.

RPM은 언어모델을 그대로 활용하되 추가 미세조정 없이 고정된 사전학습 모델을 사용한다. 연구진은 언어모델이 메트릭이나 실행 결과를 절대값으로 예측하는 데는 신뢰도가 낮다고 보고, 대신 후보 간 상대적 선호를 판단하는 데 초점을 맞췄다. 이를 위해 공개된 프레임워크 AIRA-dojo와 벤치마크 AIRS-Bench를 활용했다. 기반 모델은 Qwen3.6-27B 오픈웨이트를 사용했다.

AIRA-dojo는 진화적 트리 탐색 방식으로, 부모 노드를 고르고 Draft, Improve, Debug 같은 연산자를 적용해 다음 후보를 만든다. 기존 방식에서는 생성한 후보를 바로 실행했지만, RPM은 자식 노드를 만들 때만 개입한다. 한 번에 하나의 후보를 실행하는 대신 같은 연산을 15회 병렬로 적용해 15개 후보를 만든 뒤, 이들 사이를 토너먼트 방식으로 비교해 승자를 실행한다. 비교에는 탐색된 트리의 맥락과 각 노드의 검증 점수가 함께 사용된다.

연구진은 두 가지 형태의 RPM을 제시했다. 하나는 후보 계획, 코드, 탐색 이력을 바탕으로 판단하는 추론 전용 모델이고, 다른 하나는 샌드박스 환경에서 실제 소규모 파일럿 실험까지 수행하는 에이전틱 모델이다. 실험은 20개의 공개 텍스트·표 데이터 과제에서 진행됐고, 과제당 단일 H200 GPU 한 장으로 24시간, 10개 시드 조건이 적용됐다. 연구진은 성능 향상이 더 강한 판단 모델 때문이 아니라, 실험 선택층에서 비롯된 것이라고 설명했다.

결과적으로 RPM은 기준선보다 더 적은 시간에 같은 수준의 성능에 도달했다. 추론 전용 RPM은 기준선의 최종 성능 0.684에 14.88시간 만에 도달했고, 에이전틱 RPM은 15.50시간이 걸렸다. 연구진은 두 방식 모두 기준선 대비 개선 확률이 약 0.59 수준이라고 밝혔다. 또 WinoGrande와 SVAMP에서는 새로운 최고 성능을 기록했다고 보고했다. 다만 이 결과는 특정 설정과 벤치마크에 한정된 것으로, 실제 연구 전반에 그대로 일반화할 수 있는지는 추가 검증이 필요하다.