korshunov.ai
日本語
すべての記事 ページ 1 / 14
github llama.cpp · 6日前

OpenCLプロファイリング修正を含むllama.cpp b9803リリース

llama.cppプロジェクトは、不完全なバッチのシャットダウン時にプロファイリングバッチをフラッシュするOpenCLの修正を含むバージョンb9803をリリースしました。このアップデートにより、macOS、Linux、Windows、Android、openEuler向けに、さまざまなハードウェアバックエンド用のバイナリが提供されます。
github llama.cpp · 6日前

llama.cpp b9802 リリースで macOS、Linux、Windows、Android のバイナリが提供される

llama.cpp プロジェクトは、複数のオペレーティングシステムとハードウェアアーキテクチャにわたってビルド済みバイナリを提供する b9802 リリースを公開しました。このアップデートには、macOS、Linux、Windows、Android、openEuler などのプラットフォームにおける CPU、GPU、および専用 AI アクセラレータのサポートが含まれています。
lab Cohere Blog · 6日前

AIエージェントによるフォークメンテナンスの自動化

本記事では、AIコーディングエージェントを使用してソフトウェアフォークのメンテナンスを自動化する方法について説明し、vLLMのCohereによるフォークに適用しています。このアプローチは、手動介入を自動フィードバックループに置き換えることで、上流からのリリースを取り込むのに必要な時間を数週間から数日に圧縮します。
lab Microsoft Research Blog · 6日前

AI駆動の説明と実験による脳の理解

研究者らは、解釈不可能なLLMベースの脳予測モデルを、皮質機能に関する簡潔で検証可能な言語仮説に変換するフレームワークである生成因果テスト（GCT）を開発した。この手法は、モデルのパラメータを「食品の準備」など特定の脳領域が何に反応するかを記述する短いフレーズに凝縮し、その後、標的型fMRI実験を通じてこれらの説明を検証する。
lab Hugging Face Blog · 6日前

ハイブリッド言語モデルにおけるトークン予測精度の分析

最近の研究は、標準的な密なアーキテクチャと比較して、ハイブリッド言語モデルがどの特定のトークンをより正確に予測するかを調査しています。この研究は、稀な単語やコードスニペットなどの異なるトークンタイプ全体での予測誤差の分布を理解することに焦点を当てています。損失地形を分析することで、著者たちはハイブリッドモデルがスパースデータ領域における長距離依存性の捕捉に優れていることを特定しました。知見は、エキスパートミキシングメカニズムが推論中により効率的なパラメータ利用を可能にすることを示唆しています。この精度の向上は、トレーニングコーパスで低頻度のトークンにおいて特に顕著です。論文は、さまざまなベンチマークデータセット全体のパフォーマンス指標の詳細な内訳を提供しています。これらの結果は、多様な言語構造を効果的に処理するためのハイブリッドアーキテクチャの可能性を浮き彫りにしています。
lab Cohere Blog · 7日前

CohereがカスタムMCPサーバー経由でNorthとWizを活用しインシデント対応を自動化

Cohereは、エンタープライズAIプラットフォーム「Cohere North」を用いてセキュリティエージェントを開発し、カスタムModel Context Protocol (MCP)サーバーを通じてクラウドセキュリティプラットフォームのWizと統合しました。このアーキテクチャでは、8つの原子型ツールを介してNorthからWizのGraphQL APIへ接続し、単一のプロンプトからインシデント対応ワークフローを自動化します。本システムは、攻撃チェーンを評価し、インターネットへの公開度合いや権限レベルに基づいてリスクをランク付けすることで、毒性のある組み合わせによる被害範囲（blast radius）分析を約20秒で実行します。さらに、問題の詳細取得、Linearチケットの作成、Wizステータスの更新、構造化されたインシデント対応レポートのドラフト作成により、エンドツーエンドの調査プロセスも自動化しています。加えて、毎週月曜朝に手動介入なしでセキュリティ姿勢（security posture）のブリーフを生成する定期的な自動化機能も備えています。この統合により、各発見事項に対して以前必要だった30分〜2時間のトリアージループが解消され、エンジニアは生のアラートではなく評価内容の評価に集中できるようになります。
github llama.cpp · 7日前

llama.cpp b9788がデュアルGPU環境向けにSYCLテンソル並列化を追加

llama.cppのリリースb9788は、SYCLバックエンドにおいて--split-mode tensorフラグ経由でテンソル並列化のサポートを導入しました。この実装は、meta-backendにcomm_init、comm_free、およびcomm_allreduce_tensor関数を追加することで、デュアルGPU間の通信を可能にします。2つのデバイスでは、小さなテンソルにはFP32の直接memcpyを、大きなテンソルにはBF16圧縮を使用するリングアールリデューズ戦略を採用しています。本コードは、プロセスあたりのシングルデバイスという制限があるOneCCLを回避し、代わりに永続バッファを使用してSYCLプールの不変条件を維持します。デュアルIntel Arc Pro B70 GPUでのパフォーマンステストでは、Llama-3.3-70BおよびQwen3-Coder-Next-80B-A3Bモデルにおいてレイヤーモードと比較して大幅な高速化が確認されました。本アップデートには、CPU、CUDA、ROCm、Vulkan、SYCLの各ターゲット向けに、macOS、Linux、Windows、Android、openEuler用の新しいバイナリが含まれています。
github llama.cpp · 7日前

llama.cpp b9789 リリースは MoE 量子化を修正し、マルチプラットフォームバイナリを提供

llama.cpp プロジェクトは、マルチトークン予測を用いた Mixture of Experts (MoE) モデルの量子化に関する重要な修正を含むバージョン b9789 をリリースしました。このアップデートは、これらの特定のモデルアーキテクチャを適切に処理するために、プルリクエスト #24986 で特定された問題を解決します。本リリースでは、macOS 向け Apple Silicon および Intel の事前ビルド済みバイナリ、および iOS 向け XCFramework が提供されます。Linux ユーザーは、CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL バックエンド向けの Ubuntu ビルドをダウンロードできます。Windows サポートには、CPU、CUDA 12.4 および 13.3、Vulkan、OpenVINO、SYCL、HIP の各バリアントが含まれます。Android arm64 や openEuler などの追加プラットフォームも、特定のハードウェア構成でサポートされています。
lab OpenAI News · 7日前

OpenAIの研究、AIエージェントが仕事を変革していることを示す

OpenAIからの新しい研究論文は、人工知能エージェントが仕事の性質を根本的にどのように変えているかを示しています。この研究は、これらのエージェントが以前よりも長く、より複雑なタスクを実行する能力に焦点を当てています。この技術的進歩は、幅広い職業役割全体で生産性を拡大したと評価されています。調査結果は、自動化を通じて労働の組織化と実行方法に大きな変化が生じることを示唆しています。AIエージェントが複雑なワークフローを処理することで、ユーザーはより高い効率を達成できるようになっています。論文は、自律型システムが現代の雇用にもたらす影響が増大していることの証拠となっています。
github llama.cpp · 7日前

SYCLにおけるconv_3dの失敗したユニットテストケースを修正

llama.cppリポジトリは、SYCLバックエンドに関する特定の問題に対処しました。conv_3d演算に関連する失敗したユニットテストケースを修正するためのプルリクエストが提出されました。この更新はGitHub上のggml-org/llama.cppプロジェクトを対象としています。この変更により、以前にこれらのテストの正常な実行を妨げていたエラーが解消されました。この修正により、SYCLベースのハードウェアアクセラレーションを利用するユーザーにとっての安定性が向上します。
github llama.cpp · 7日前

llama.cpp b9786 リリースで OpenCL の非連続行サポートが追加

llama.cpp プロジェクトはバージョン b9786 をリリースし、OpenCL による正規化での非連続行のサポートを導入しました。このアップデートは、ggml-org チームによるハードウェア互換性と各種プラットフォームでのパフォーマンス向上に向けた継続的な開発の一環です。本リリースでは、macOS Apple Silicon、Intel Mac、および iOS XCFrameworks のバイナリが提供されます。Linux ユーザーは、CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL のバックエンドを使用して、Ubuntu x64、arm64、s390x アーキテクチャのビルドにアクセスできます。Android では arm64 CPU デバイスのサポートが利用可能で、Windows では CPU、CUDA 12 および 13、Vulkan、OpenVINO、SYCL、HIP を含む広範なオプションが提供されます。また、本リリースでは macOS と openEuler プラットフォームにおける KleidiAI のビルドが無効化されていることも記載されています。
github llama.cpp · 7日前

llama.cpp b9785 リリース: ハードニングされたキャップチェックとマルチプラットフォームバイナリ

llama.cpp プロジェクトはバージョン b9785 をリリースしました。これは、プルリクエスト #24973 で詳述されているように、キャップチェックを強化するコード変更が含まれています。このアップデートでは、macOS Apple Silicon、Intel Mac、および XCFramework 経由の iOS 向けにプリビルドバイナリが提供され、Apple Silicon 上では KleidiAI サポートが無効になっています。Ubuntu を含む Linux ディストリビューションは、x64、arm64、s390x アーキテクチャ全体で CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL バックエンドをサポートしています。Android ユーザーは arm64 CPU バイナリにアクセスでき、Windows では CPU、OpenCL Adreno、CUDA 12 および 13、Vulkan、OpenVINO、SYCL、HIP を網羅する広範なオプションが提供されます。本リリースには、ACL Graph サポートを備えた x86 と aarch64 プロセッサを対象とした openEuler 向けビルドも含まれています。プラットフォーム固有のリリースとは別に、ローカルモデル推論を容易にするスタンドアロン UI パッケージも利用可能です。