github llama.cpp · 1時間前 · inference

llama.cpp b10081 がドラフトリポジトリを要求されたサイドカーに解決する

翻訳元 English → 日本語

llama.cpp b10081 リリースは、`--hfd` フラグが推測用サイドカーを含むリポジトリを指しているにもかかわらず、ドラフトプランが誤ってメインモデルではなくサイドカーに解決されるバグを修正します。これは、`find_best_model()` がサイドカーファイルを除外し、明示的なドラフトプランがサイドカーの発見を抑制したため発生しました。

修正により、発見されたサイドカーがドラフトとして接続され、メインプランのフォールバックパターンに従い、`llama-server -hf repo -hfd repo --spec-type draft-dflash` などのコマンドが期待どおりに動作するようになります。

このリリースには、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリが含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10080 がサーバークラッシュとUI検証エラーを修正

llama.cpp b10080 リリースは、サーバーとユーザーインターフェースコンポーネントの2つの特定のバグに対処します。サーバーは現在、X-Conversation-Id ヘッダーを含むリクエストの検証に失敗した場合、500 エラーでクラッシュする代わりに 400 ステータスコードを正しく返します。さらに、UI は以前はデフォルト設定の補完が検証に失敗する原因となっていた backend_sampling プレースホルダを送信しなくなりました。

arxiv arXiv cs.LG · 6時間前

SkewAdamは階層化オプティマイザ状態を用いてMoEトレーニングのメモリを97%削減する

研究者らは、Mixture-of-Experts (MoE) モデル用に設計されたオプティマイザであるSkewAdamを発表した。これは異なるパラメータ群に異なる状態タイプを割り当てることで、メモリ使用量を劇的に削減する。

github llama.cpp · 8時間前

llama.cpp b10078 ホスト側のミューテックスバイパスのためのVulkanキュー処理のリファクタリング

llama.cppプロジェクトはビルドb10078をリリースし、同期効率を向上させるためのVulkanバックエンドの重要なリファクタリングが含まれています。このアップデートはVK_KHR_internally_synchronized_queuesのサポートを統合し、ドライバーがサポートしている場合にホスト側のミューテックスロックを完全にバイパスするポリモーフィックインターフェースにキュー送信を抽象化できるようにします。

github llama.cpp · 15時間前

llama.cpp b10076 が int4 コピーで get_rows をベクトル化し、27% の高速化を実現

llama.cpp プロジェクトはビルド b10076 をリリースし、CUDA バックエンドの `get_rows` 操作を int4 コピーを使用してベクトル化することでパフォーマンス最適化を導入しました。この変更により、要素ごとのループから行不変の作業が持ち上げられ、連続した同種データに対してスレッドあたり 16 バイトをコピーするベクトル化パスが追加されました。

media Hugging Face Forums · 2日前 · 1 回表示

ローカルLLMによる本番環境の音声エージェントは、持続的なレイテンシとコンテキスト制限に直面している

スペインでRetell AI、Ollama、およびRTX 4000 Ada上のローカルモデルを使用して2つの本番環境音声エージェントを実行しているチームは、会話品質が向上したものの、根本的なレイテンシの問題は未解決であると報告しています。主な制約はRetell AIからの約3秒のタイムアウトです；LLMがこの時間内に最初のトークンを生成できない場合、接続が切断され、2回の再接続後に通話が終了します。