github llama.cpp · 1時間前 · inference

llama.cpp b10080 がサーバークラッシュとUI検証エラーを修正

翻訳元 English → 日本語

llama.cpp b10080 リリースは、サーバーとユーザーインターフェースコンポーネントの2つの特定のバグに対処します。サーバーは現在、X-Conversation-Id ヘッダーを含むリクエストの検証に失敗した場合、500 エラーでクラッシュする代わりに 400 ステータスコードを正しく返します。さらに、UI は以前はデフォルト設定の補完が検証に失敗する原因となっていた backend_sampling プレースホルダを送信しなくなりました。

サーバー: 検証エラー時に set_next() がスキップされた場合、on_complete() で空の next_orig を処理することで std::bad_function_call クラッシュを修正します。
サーバー: リソースリークと検出の問題を防ぐため、失敗したリクエストに対して set_req() によってインストールされたセッションを削除します。
UI: backend_sampling フィールドを hasValue() でガードし、明示的な false 値を保持しながら空文字列のプレースホルダをフィルタリングします。

これらの変更により、無効な入力によるサーバークラッシュを防ぎ、デフォルト設定がクライアントから正しく送信されることを保証することで、安定性が向上します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今ライブ

llama.cpp b10081 がドラフトリポジトリを要求されたサイドカーに解決する

llama.cpp b10081 リリースは、`--hfd` フラグが推測用サイドカーを含むリポジトリを指しているにもかかわらず、ドラフトプランが誤ってメインモデルではなくサイドカーに解決されるバグを修正します。これは、`find_best_model()` がサイドカーファイルを除外し、明示的なドラフトプランがサイドカーの発見を抑制したため発生しました。

arxiv arXiv cs.LG · 5時間前

SkewAdamは階層化オプティマイザ状態を用いてMoEトレーニングのメモリを97%削減する

研究者らは、Mixture-of-Experts (MoE) モデル用に設計されたオプティマイザであるSkewAdamを発表した。これは異なるパラメータ群に異なる状態タイプを割り当てることで、メモリ使用量を劇的に削減する。

github llama.cpp · 8時間前

llama.cpp b10078 ホスト側のミューテックスバイパスのためのVulkanキュー処理のリファクタリング

llama.cppプロジェクトはビルドb10078をリリースし、同期効率を向上させるためのVulkanバックエンドの重要なリファクタリングが含まれています。このアップデートはVK_KHR_internally_synchronized_queuesのサポートを統合し、ドライバーがサポートしている場合にホスト側のミューテックスロックを完全にバイパスするポリモーフィックインターフェースにキュー送信を抽象化できるようにします。

github llama.cpp · 14時間前

llama.cpp b10076 が int4 コピーで get_rows をベクトル化し、27% の高速化を実現

llama.cpp プロジェクトはビルド b10076 をリリースし、CUDA バックエンドの `get_rows` 操作を int4 コピーを使用してベクトル化することでパフォーマンス最適化を導入しました。この変更により、要素ごとのループから行不変の作業が持ち上げられ、連続した同種データに対してスレッドあたり 16 バイトをコピーするベクトル化パスが追加されました。

media Hugging Face Forums · 2日前 · 1 回表示

ローカルLLMによる本番環境の音声エージェントは、持続的なレイテンシとコンテキスト制限に直面している

スペインでRetell AI、Ollama、およびRTX 4000 Ada上のローカルモデルを使用して2つの本番環境音声エージェントを実行しているチームは、会話品質が向上したものの、根本的なレイテンシの問題は未解決であると報告しています。主な制約はRetell AIからの約3秒のタイムアウトです；LLMがこの時間内に最初のトークンを生成できない場合、接続が切断され、2回の再接続後に通話が終了します。