퍼플렉시티, 애플 실리콘용 추론 엔진 ‘릴리’ 오픈소스로 공개

퍼플렉시티가 애플 실리콘 맥에서 자사 하이브리드 컴퓨트 기능의 기반이 되는 로컬 추론 엔진 ‘릴리(Lily)’를 오픈소스로 공개했다. 릴리는 러스트(Rust)로 작성된 실행 계층과 메탈(Metal) 기반 커널을 결합한 단일 프로세스 런타임으로, PyTorch나 MLX를 거치지 않고 모델을 직접 구동하는 것이 특징이다. 현재는 Qwen3.6-35B-A3B 한 개 모델과 애플 실리콘 한정으로 설계돼 있다.

퍼플렉시티는 릴리의 공개 저장소를 통해 데모와 서버 코드를 함께 내놨다. 공개된 설명에 따르면 릴리는 OpenAI 호환 채팅 완성 API를 통해 토큰을 스트리밍하고, 생성 루프는 러스트가 관리하며, 실제 연산은 수작업으로 작성한 메탈 커널이 수행한다. 회사는 이처럼 구조를 좁게 가져간 이유가 성능이라고 설명했다. 범용성을 일부 포기하는 대신, 특정 모델과 하드웨어 조합에 맞춰 실행 계획과 커널 선택을 한 런타임 안에 묶었다는 것이다.

릴리가 겨냥한 Qwen3.6-35B-A3B는 총 350억 개 파라미터를 갖고 있으며, 토큰당 약 30억 개 정도만 활성화되는 혼합 전문가(MoE) 구조를 사용한다. 256개 전문가 중 8개를 선택하는 라우팅 방식에 더해, 모든 토큰을 보는 공유 전문가 1개가 포함된다. 또 10개 층은 그룹 쿼리 어텐션을 쓰고, 나머지 30개 층은 Gated DeltaNet 구조를 적용해 어텐션과 순환 계산이 함께 섞여 있다.

기술적으로 릴리는 4비트로 양자화된 체크포인트를 메탈 연산에 맞게 다시 풀어 쓰는 과정까지 GPU 쪽에서 처리하도록 설계됐다. 공개 자료에 따르면 이 모델의 4비트 체크포인트 크기는 19.4GB이며, 실제 사용을 위해서는 최소 32GB 이상의 통합 메모리를 가진 애플 실리콘 맥이 현실적인 기준으로 제시된다. 퍼플렉시티의 하이브리드 컴퓨트 제품 안내에는 macOS 15 이상, 최소 24GB, 권장 32GB가 적혀 있다.

퍼플렉시티는 릴리가 기존 애플 생태계의 MLX·MLX-LM 계열과 달리, 모델 구조와 실행 계획, 커널 선택을 하나의 런타임에 통합했다고 설명했다. 회사가 공개한 벤치마크에서는 릴리가 MLX-LM의 직접 생성 경로보다 빠른 결과를 보였다. M5 Max 40코어, 128GB 환경에서 256~12만8000 토큰 구간을 측정한 평균값은 프리필 4156토큰/초, 디코드 170토큰/초로, 각각 3388토큰/초와 126.4토큰/초를 기록한 비교 대상보다 높았다. 다만 이 수치는 퍼플렉시티가 제시한 자체 측정치다.

이번 공개는 대형 언어모델을 클라우드가 아닌 로컬 기기에서 더 효율적으로 돌리려는 흐름과 맞닿아 있다. 특히 애플 실리콘처럼 메모리 대역폭과 통합 메모리 구조가 성능을 좌우하는 환경에서는, 범용 프레임워크보다 특정 모델에 맞춘 최적화가 유리할 수 있다는 점을 보여준다. 다만 릴리는 현재 한 모델과 한 하드웨어 계열에 맞춰져 있어, 다른 모델이나 플랫폼으로의 확장은 확인되지 않았다.