IBM, 오픈형 추론 언어모델 ‘그라나이트 4.2’ 공개

IBM이 오픈형 추론 언어모델 패밀리 ‘그라나이트 4.2(Granite 4.2)’를 25일 공개했다. 이번 모델은 3B, 8B, 30B 파라미터 규모로 출시됐으며, 기존의 지시 수행형 모델과 달리 명시적 추론 기능을 중심으로 설계됐다.

IBM에 따르면 그라나이트 4.2의 모든 모델은 답변 전 사고 과정을 출력할 수 있고, 추론 여부를 전환하는 스위치와 간단한 질문에 짧은 추론 예산만 쓰는 저비용 모드도 제공한다. 세 모델 모두 아파치 2.0 라이선스로 배포돼 다운로드, 미세조정, 상업적 활용이 가능하다.

이번 모델은 디코더 전용의 밀집형 트랜스포머 구조를 채택했으며, 약 15조 토큰으로 처음부터 사전학습됐다. 이후 다단계 강화학습을 거쳤고, 8B와 30B 모델에는 코드 수정, 터미널 조작, 웹 검색을 실제 샌드박스 환경에서 수행하도록 학습하는 에이전틱 RL 단계가 포함됐다. 3B 모델은 기초 RL과 정렬 단계만 적용됐다.

IBM은 3B, 8B, 30B 외에 4억7000만개 파라미터 규모의 ‘그라나이트 스피치 5.0 터보 CTC’ 모델 2종도 함께 공개했다. 이 음성 모델은 LLM 백본 없이 CTC 방식으로 음성을 텍스트로 변환하며, IBM은 단일 H200에서 약 1만2600 수준의 실시간 처리 성능을 제시했다.

그라나이트 4.2는 그룹드 쿼리 어텐션, RoPE, SwiGLU MLP, RMSNorm 등을 사용하며, 3B는 40개 층과 2560 임베딩 크기, 8B는 40개 층과 4096 임베딩 크기, 30B는 64개 층과 3만2768 크기의 MLP 은닉층을 갖는다. IBM은 NeMo-RL과 NeMo-Gym을 활용해 코어위브의 NVIDIA GB200 NVL72 클러스터에서 학습을 진행했다고 밝혔다.