github llama.cpp · há 12 d · inference

llama.cpp release b9718: seleção de slots consolidada e novos builds binários

Traduzido do English → Português (BR)

A versão b9718 do llama.cpp consolida a seleção de slots em uma única função, get_available_slot, mantendo as verificações de similaridade LCP para atualizações do cache de prompts. O release inclui builds binários para macOS, Linux, Android, Windows e openEuler em múltiplas arquiteturas e opções de aceleração de hardware.

Importância 1/3 Confiança 2/3 llama.cpp Code generation Hardware & chips Inference efficiency

Ler original