Liquid AI, 온디바이스 AI 성능 측정용 오픈소스 벤치마크 ‘Pipette’ 공개

Liquid AI가 온디바이스 AI 모델의 성능을 재현 가능하게 측정하는 오픈소스 벤치마킹 도구 ‘Pipette’를 공개했다. 이 도구는 모델 자체만이 아니라 양자화 방식, 실행 런타임, 기기 하드웨어를 하나의 묶음으로 보고 성능을 평가하는 것이 특징이다. 회사는 독립 검증을 위해 Artificial Analysis와 협력했다고 밝혔다.

Pipette는 스마트폰이나 노트북 등 엣지 기기에서 AI 모델이 실제로 어떻게 동작하는지를 측정하는 데 초점을 맞췄다. 서버급 환경의 풀프리시전 조건에서 나온 모델 카드 수치가 모바일 환경의 실제 성능을 잘 반영하지 못한다는 문제의식에서 출발했다. Liquid AI는 온디바이스 성능이 개별 모델의 속성이라기보다, 모델·양자화·런타임·기기 조합의 결과라고 설명했다.

이번에 공개된 데이터셋은 30개 이상의 모델과 여러 양자화 형식, macOS·iOS·Windows·Android용 llama.cpp 빌드, 256토큰부터 8,192토큰까지의 컨텍스트 길이를 포함해 1,000개가 넘는 조합을 담고 있다. 초기 검증 결과는 M5 Max가 탑재된 맥북 프로, 아이폰 17 프로, 갤럭시 S26 울트라에서 나왔다. AMD Ryzen AI Max+ 395와 Radeon 8060S 관련 결과는 추후 공개될 예정이라고 회사는 밝혔다.

Pipette는 Apache 2.0 라이선스로 배포되며, 관리 도구인 pipette-mgmt, 클라이언트용 pipette-clients, 점수 집계용 pipette-scores와 공개 결과 데이터셋, 대시보드, iOS·안드로이드용 네이티브 벤치마크 앱을 함께 제공한다. 커뮤니티 제출 결과의 공개는 현재 베타 단계다.

성능 평가는 고정된 토큰 형태, greedy decoding, 예열 구간 제외, 5회 반복 측정, 그리고 실행 전 열 상태와 부하 조건 확인 절차를 따른다. 품질 평가는 IFBench, GPQA Diamond, MATH-500 기준으로 별도 진행되며, 현재는 H100 80GB 시스템에서 수행한 llama.cpp 평가 결과를 온디바이스 성능과 연결해 보여준다. 회사는 이를 통해 같은 모델이라도 기기와 실행 환경에 따라 체감 성능이 크게 달라질 수 있다는 점을 수치로 확인할 수 있다고 설명했다.