media Hugging Face Forums · 4日前 · open_models

オープンモデル向けの測定済みハードウェア適合を備えたAI Model Radarがローンチ

翻訳元 English → 日本語

AI Model Radarという新しいサイトは、推定値ではなく測定データを使用して、どのオープンモデルがユーザーのGPUまたはMacに実際に適合するかを判断するのに役立ちます。プラットフォームは実際の公開されたGGUFファイルに基づいて重みサイズを計算し、モデル設定からコンテキストキャッシュレイヤーごとに計算します。

51のファーストパーティモデルを追跡し、モーメンタムボード、時間別GPUレンタル中央値、コスト計算器を含みます。
ClaudeやCursorなどのツールとの統合のために読み取り専用JSON APIとMCPサーバーが利用可能です。
データはHugging Face Hub、OpenRouter、Vast.aiから取得され、1日に複数回収集されます。

このツールは、サポートされていないアーキテクチャに対して数字を捏造することなく、ローカルモデルユーザーのために正確なハードウェア互換性情報を提供することを目的としています。

重要度 1/3 信頼度 1/3 Hugging Face Forums Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10906 がサーバー内の画像後の推論を修正

llama.cpp プロジェクトはバージョン b10906 をリリースし、画像入力後の推論デコードに関するサーバーコンポーネントの修正を含んでいます。この変更により、トークン数ではなく実際の位置がドラフターに渡され、DFlash のみならずすべてのドラフターに影響します。

github llama.cpp · 18時間前 · 2 回表示

llama.cpp b10899 が Qwen 用の Vulkan 最適化と split_k サポートを追加

llama.cpp プロジェクトはバージョン b10899 をリリースし、Vulkan バックエンドに特定の性能向上を導入しました。このアップデートは、Qwen モデルファミリーの行列演算の最適化と、小規模な M における全体的なパフォーマンスの強化に焦点を当てています。

github llama.cpp · 22時間前 · 1 回表示

llama.cpp b10896 がビジョンモデルでの DFlash デコード失敗を修正

llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。

github llama.cpp · 3日前 · 2 回表示

llama.cpp が iGPU でデフォルトの遅延テンソル読み込みを無効化

llama.cpp プロジェクトは、b10867 リリースで統合 GPU (iGPU) に対するデフォルトの遅延テンソル読み込みを無効にしました。この変更は、以前の「AUTO」遅延モード設定で導入された回帰に対処するものです。

github llama.cpp · 3日前 · 4 回表示

llama.cpp b10864 がハイブリッドモデルのチェックポイント_eviction_を修正

llama.cpp プロジェクトはビルド b10864 をリリースしました。これには `create_checkpoint()` 内のチェックポイント間隔_eviction_ロジックの修正が含まれています。以前、_eviction_ルールは最も古いチェックポイントを保持し、`checkpoint_min_step` 内の後のチェックポイントを消去していました。その結果、この閾値より短いプロンプトは再開に必要なチェックポイントを失いました。これにより、ハイブリッドおよび再帰モデルは前のチェックポイントから不要にプリフィルする必要がありました。