loo5x는 모델을 교체하거나 분류자를 추가하지 않고도 단일 GGUF 모델을 한 번 로드하여 여러 구조적 추론 모드를 수행할 수 있는 llama.cpp의 포크인 llama-modes v0.4.0을 출시했습니다.

  • BOOLEAN 모드는 예/아니오 답변을 직접 점수화합니다.
  • CHOICE 모드는 다중 토큰 레이블을 포함하여 임의로 제공된 후보를 점수화합니다.
  • SCALE 모드는 서열 또는 간격 척도를 평가하여 중앙값이나 기댓값과 같은 파생 통계와 함께 이산 분포를 반환합니다.
  • 프로젝트에는 Windows CUDA 릴리스, 로컬 React 데모 및 API 문서가 포함되어 있습니다.

이 접근 방식은 개발자가 동일한 모델 가중치를 메모리에서 재사용하여 다양한 추론 프리미티브에 사용할 수 있도록 하며, 일반 로컬 언어 모델에서 구조적 점수화를 직접 노출합니다.