메타·UIUC, 소형 AI 에이전트 하네스 학습 기술 공개…클로드 오퍼스 4.5급 성능

메타와 미국 일리노이대학교 어배너-샴페인(UIUC) 연구진이 AI 에이전트가 외부 메모리와 도구를 어떻게 사용할지 스스로 판단하도록 학습시키는 새 기술 ‘에보하네스-RL(EvoHarness-RL)’을 공개했다. 연구진은 이 방식을 적용한 80억 파라미터급 오픈 모델 ‘큐원3-8B’가 장기 작업 벤치마크에서 앤스로픽의 ‘클로드 오퍼스 4.5’ 기본 성능에 맞먹는 결과를 냈다고 밝혔다.

이번 연구의 핵심은 AI 에이전트의 실행 환경, 이른바 ‘하네스(harness)’를 사람이 일일이 규칙으로 짜는 대신 모델이 스스로 다루도록 학습시켰다는 점이다. 하네스는 프롬프트뿐 아니라 도구, 메모리, 상태 추적기, 검증기, 실행 피드백 등을 포함하는 외부 실행 계층이다. 장시간에 걸쳐 복잡한 업무를 처리하는 에이전트는 단순 대화형 AI와 달리 현재 상태를 계속 확인하고, 하위 목표의 진행 상황을 기록하며, 과거 경험을 재사용해야 하는데, 기존에는 이런 흐름을 개발자가 수동 규칙으로 설계해왔다.

연구진은 이 한계를 줄이기 위해 하네스 구성요소를 ‘신념(Belief)·진행 상황(Progress)·경험(Experience)’의 세 상태로 정리했다. Belief는 현재 환경에 대한 인식, Progress는 완료된 작업과 남은 과제, Experience는 과거 작업에서 얻은 기술과 실패 사례를 뜻한다. 에이전트는 이를 바탕으로 현재 상태를 확인하는 ‘트랙(track)’, 진행 상황을 남기는 ‘커밋(commit)’, 과거 경험을 불러오는 ‘리콜(recall)’, 새 정보를 기록하는 ‘노트(note)’ 등 네 가지 메타 행동을 수행한다.

학습은 두 단계로 진행됐다. 먼저 지도학습(SFT)으로 모델이 BPE 구조와 행동 방식을 익혔고, 이후 비용을 고려한 강화학습(GRPO)을 적용해 외부 상태를 확인하는 일이 실제로 필요한지 판단하도록 했다. 연구진은 하네스 접근 자체도 자원을 쓰는 행동으로 보고, 무조건 메모리를 조회하는 대신 효율적으로 판단하도록 보상 구조를 설계했다.

실험은 텍스트 기반 벤치마크 ‘ALF월드’에서 이뤄졌다. 물건을 찾고 옮기고 청소하거나 가열·냉각하는 등 여러 단계를 거치는 환경에서 기본 ReAct 방식의 큐원3-8B는 평균 성공률 47.9%에 그쳤다. 반면 BPE 하네스를 적용한 ‘에보하네스-베이스’는 56.4%, SFT를 더한 ‘에보하네스-SFT’는 68.6%, SFT와 GRPO를 결합한 ‘에보하네스-RL’은 96.9%를 기록했다. 이는 클로드 오퍼스 4.5의 기본 ReAct 성능 96.4%와 비슷한 수준이다.

연구진은 BPE 자체만으로도 성능이 크게 개선됐다고 설명했다. 별도 강화학습 없이 추론 단계에서 BPE를 제공했을 때 GPT-4.1의 성공률은 47.9%에서 70.0%로, GPT-5는 60.7%에서 85.0%로 올랐다. 클로드 오퍼스 4.5 역시 96.4%에서 98.5%로 개선됐다. 반대로 Belief, Progress, Experience 가운데 하나라도 제거하면 성능이 크게 떨어졌고, 특히 Experience를 없앴을 때는 평균 성공률이 48.6%까지 내려갔다.

연구진은 장기 작업에서 AI가 외부 상태를 언제 읽고, 언제 기록하고, 언제 과거 경험을 불러와야 하는지 자체를 학습할 수 있음을 보여줬다고 설명했다. 또 학습이 진행되면서 하네스 호출이 줄어드는 ‘하네스 어닐링’ 현상과, 중복 정보가 정리되며 저장소가 더 간결해지는 ‘하네스 진화’도 관찰됐다고 밝혔다. 이번 연구는 기업용 AI 에이전트가 복잡한 업무를 처리할 때, 사람이 만든 고정 규칙보다 학습 가능한 상태 관리 구조가 더 유연하게 작동할 수 있음을 시사한다.