Todos os artigos
media r/LocalLLaMA · há 13 h

Bonsai-8B de 1 bit da PrismML supera IBM Granite em chamada de ferramentas na CPU com gramática

Uma avaliação do modelo Bonsai-8B de 1 bit da PrismML contra o IBM Granite e outros LLMs revela que o Bonsai-8B alcança a maior precisão na chamada de ferramentas ao usar decodificação restrita por gramática. O teste, conduzido na CPU usando llama.cpp, destaca o papel crítico das restrições de saída para permitir que modelos pequenos e quantizados funcionem eficazmente em tarefas de agentes.