Microsoft Researchは、物理AI推論がオンボードのロボットGPUでのみ実行されなければならないという前提に挑戦し、エッジまたはクラウドインフラストラクチャへのオフロードがモバイルマニピュレーションワークロードを大幅に強化することを実証した。彼らのロボティクスワークロードに対する体系的な調査により、オンボードコンピューティングに依存することが性能、バッテリー寿命、スケーラビリティを制限することが明らかになった。
Parallel は OpenAI の GPT-6 Astra を AI エージェントインフラストラクチャに統合し、以前のモデルと比較して研究時間とコードコストの両方を 50% 削減することに成功しました。同社は、新モデルによりエージェントが複雑な知識作業を大幅に高速化しながら、高品質な出力を維持できると報告しています。
研究者らが、拡散モデルやフローマッチングモデルの推論を加速するための簡素化された軌道ベース手法であるParallel Decoding Distillation (PDD)を紹介する。現在の手法が最適化が困難な変分スコア蒸留や敵対的損失に依存しているのに対し、PDDは1回のネットワーク評価で複数のノイズ除去ステップを予測する。
研究者らは、state-of-the-artなORAM-ANNシステムの設計を反転させることで帯域幅とアクセス数をバランスさせ、disk-oblivious近似最近傍（ANN）検索のコスト効率の高いアプローチであるOnyxを提案した。
NVIDIAの研究チームは、格子ベースプロトコルに固有の高いサーバー側計算とメモリトラフィックに対処することで、GPU上でのプライベート情報取得（PIR）を加速するシステムGPIRを発表しました。このシステムは、チップ内データ再利用を最大化するために、演算レベルとステージレベルのカーネルの間で動的に切り替えるステージ対応型ハイブリッド実行モデルを採用しています。
新しい研究は、プライバシー保護機械学習推論のための安全なマルチパーティ計算（MPC）および完全ホモモフィック暗号（FHE）の統一されたシステムレベルでの特性評価を示しています。この作業は、複数のCNNおよびTransformerモデルにおいて、2つのMPCバリアント—算術/バイナリ共有変換および関数秘密共有—とFHEを評価します。
OpenAIは、内部オンラインストレージプラットフォームであるHabitatをスケーリングし、ほぼ40の地理的領域にわたる10億人以上の週次ChatGPTユーザーに対して毎秒7000万件以上のリクエストを処理可能にした。このシステムは現在500ペタバイト以上のデータを扱っており、単純なPythonクライアントサイドライブラリから複雑な分散サービスへと進化している。
DeepSeekは、極限の推論効率と低コストを実現するために設計された新しいオープンウェイトのフラッグシップモデルであるV4.1-Flashをリリースしました。このモデルは、アクティブな計算量とKV/キャッシュのコストを大幅に削減するために、因果的なエンコーダ・デコーダアーキテクチャを利用しています。
DeepSeekは、新しいオープンウェイトのフラッグシップモデルであるDeepSeek v4.1-Flashをリリースしました。このモデルは、推論効率を最大化しコストを削減するために設計された新たな因果エンコーダ・デコーダアーキテクチャを採用しています。
DeepSeek AIは、100万トークンのコンテキストウィンドウと、グローバルキャッシュのフットプリントをトークンあたり890バイトに削減するFP4 KVキャッシュを備えたマルチモーダルMixture-of-ExpertsモデルであるDeepSeek-V4.1-Flashをリリースしました。このモデルは、因果的なエンコーダ・デコーダアーキテクチャとCompressed Sparse Attention 2 (CSA2) を活用し、パフォーマンスを維持しながらメモリ要件を大幅に削減しています。
vLLM プロジェクトはバージョン 0.29.0 をリリースし、密集プレフィックスキャッシュに関するコアなバグ修正を含んでいます。
v0.29.0rc5リリースでは、`prefix_cache_retention_interval`パラメータのデフォルト値がMambaモデル用に`dense`に更新されました。
Hugging Faceでの議論は、RAGシステムにおける従来のテキスト検索をLLMネイティブな潜在表現に置き換えることを提案しています。このアイデアは、インデックス作成中に文書をモデル内部の状態にエンコードし、推論時にそれらの状態を取得することで、取得されたテキストの再処理コストを回避する可能性があります。
llama.cppプロジェクトは、Hexagonバックエンドの重要な最適化を含むバージョンb11309をリリースしました。このアップデートは、ALLREDUCE操作に安全なscatterモードのサポートを追加し、Qualcomm Snapdragonデバイスでのパフォーマンスと安定性の向上を目指しています。
llama.cpp プロジェクトはバージョン b11310 をリリースし、CUDA バックエンドの IQ4_NL デ量子化ロジックの修正が含まれています。この更新は、QK_K より短いブロックを処理する際にスレッドが行の末尾を超えて読み書きする可能性のあるメモリ安全性の問題に対処します。
llama.cpp プロジェクトはビルド b11307 をリリースし、推論デコーディング中に元のバッチシーケンスを保持するためにレイヤー入力の順序を修正しました。この変更により、マスクされていない NextN 埋め込みのトークン順序が正しく維持され、テンソル分割と互換性を持つことが保証されます。
llama.cpp プロジェクトは、デコーディング中のグラフ形状の変化によって引き起こされるクラッシュに対処するビルド b11306 をリリースしました。このアップデートは、特定のスケジューリング制約下での再割り当て失敗を防ぐために `causal_attn` フラグの処理を変更します。
llama.cpp プロジェクトはビルド b11301 をリリースしました。これには、ggml および gguf コンポーネント内の整数オーバーフロー問題の修正が含まれています。このアップデートは、ゼロ要素テンザルの処理時に潜在的なエラーを防ぐための検証ロジックを改善しています。
llama.cpp プロジェクトは、CIパイプラインでThreadSanitizerによって特定された重大な並行性問題を解決するビルド b11302 をリリースしました。この更新では、複数のCPUスレッドが同じメモリ要素に誤って書き込んでいたスパースアテンションメカニズム内のデータ競合を解消しました。
llama.cpp プロジェクトはビルド b11298 をリリースし、dflash フォーマットのサポートを導入しました。このアップデートにより、モデルをこのフォーマットに変換する機能と、その後の特徴抽出機能が有効になります。