SupraLabsは、入力プロンプトに基づいてユーザーリクエストをより小さな言語モデルまたはより大きな言語モデルにルーティングするために設計された軽量モデルであるSupra-Router-51Mをリリースしました。このモデルはわずか5100万パラメータのみを含んでおり、低遅延環境で効果的に動作させることができます。
今回のリリースには、Hugging Face上で公開されているモデルの重みとトレーニングデータセット「Prompt-Routing-Dataset」が含まれています。
このツールは、特定のタスクに対して適切なモデルを動的に選択することで、効率的なリクエストオーケストレーションを可能にします。