vLLM はバージョン 0.27.1 をリリースしました。これは以前の v0.27.0 リリースを基にしたパッチアップデートです。
- このアップデートでは、量子化された DSpark Markov ヘッドのサポートが導入されました。
github
vLLM
·
15時間前
·
inference
vLLM v0.27.1 で量子化された DSpark Markov ヘッドのサポートを追加
翻訳元 English → 日本語
関連記事
github
llama.cpp
·
8時間前
llama.cpp b10361でEXAONE 4.5のSWAを修正し、メタデータパスでのTENSOR_SKIPをスキップ
llama.cpp b10361リリースは、読み込み時のパラメータ順序の誤りによりLGAI-EXAONE 4.5モデルでSliding Window Attention (SWA)が無効になっていた重大なバグを修正します。
lab
Hugging Face Blog
·
12時間前
ALTK-Evolveは推論コストの大幅削減でACEと同等以上の精度を達成
エージェントの軌道を重み更新なしで再利用可能なガイドラインに変換するエージェントメモリシステムであるALTK-Evolveは、ACEと同等以上の精度を達成しつつ、大幅に少ないトークン数で使用可能である。すべてのステップで包括的なプレイブックを挿入するACEとは異なり、ALTK-Evolveはモデルの容量に基づいて関連するガイドラインのみを選択的に取得して提供する方法を採用している。
lab
NVIDIA Research
·
16時間前
·
10 回表示
DSTPが複雑なMLLM推論における視覚トークンプルーニングの失敗を緩和
研究者らは、マルチモーダル大規模言語モデル（MLLM）における既存の視覚トークンプルーニング手法の失敗の主な原因として、デコーディング中の関連視覚情報シフト（RVIS）を特定しました。これに対処するため、彼らはトレーニング不要のフレームワークであるDecoding-stage Shift-aware Token Pruning（DSTP）を提案し、視覚トークンを変化していく推論要件と整合させます。
media
MarkTechPost
·
17時間前
·
1 回表示
webAIがローカル自動形式化向けの1.7Bおよび3Bの形式論理モデルファミリー「TwIL-LM」をリリース
webAIは、ローカルハードウェアでの自動形式化を対象とした1.7Bおよび3Bパラメータの形式論理推論器2モデルからなる「TwIL-LM」をリリースした。これらのモデルは英語を一階述語論理に変換し、結論の有効性を検証するものであり、3Bバリアントはドメイン内形式論理タスクにおいてマクロゲートスコア0.4218を達成している。
media
AI News (smol.ai)
·
17時間前
MetaがMuse Glimmer 30Bのオープンウェイトモデルをリリース、Anthropicがリーマンの境界を改善
MetaはApache 2.0の下でローカルエージェント展開用に最適化された30Bの密なマルチモーダルモデルであるMuse Glimmerをリリースし、同時にMuse Spark 1.2の将来のウェイトも約束した。