버디 시스템은 로컬 Gemma 3 4B 추론에서 토큰별 불확실성을 감지하기 위해 Rust 엔트로피 모니터를 사용하며, NER-게이트드 스팬 추출 및 시맨틱 검색을 통해 불확실한 토큰만 Sonnet으로 라우팅합니다. 벤치마크 결과 $0.21로 71.4%의 정확도를 달성하여 7개의 Hugging Face 데이터셋에서 Anthropic 어드바이저 패턴($0.44에 62.9%)을 능가했으며, SQuAD v2에서는 소스 패시지 청크를 클라우드 모델로 라우팅하여 주요 개선을 이루었습니다.
버디 시스템: 계층적 LLM 추론을 위한 NER-게이트 불확실성과 함께 Rust 엔트로피 모니터
번역 English → 한국어