PrismMLの1ビットBonsai-8BがIBM GraniteをGrammarによるCPUツール呼び出しで上回る
PrismMLの1ビットBonsai-8BモデルとIBMのGraniteおよび他のLLMとのベンチマークにより、Bonsai-8Bは文法制約付きデコーディングを使用する場合に最高のツール呼び出し精度を達成することが示されました。llama.cppを使用してCPUで実施されたこのテストは、出力制約が小さな量子化モデルをエージェントタスクで効果的に機能させるためにいかに重要かを示しています。