すべての記事
media r/LocalLLaMA · たった今 ライブ

DGX SparkとStrix Haloによる分散プロンプト処理

あるユーザーが、prefillingにDGX Sparkを、トークン生成にStrix Haloボックスを用いた分散推論パイプラインを実証し、ロングコンテキストワークロードで大幅な高速化を実現しました。計算集約的なプロンプト処理をDGXにオフロードし、Strixのメモリ帯域幅をデコーディングに活用することで、Strix単独で実行した場合に見られるパフォーマンス低下を克服しています。

arxiv arXiv cs.CL · 5時間前

LACUNA: LLMアンラーニングの局所化精度を評価するためのテストベッド

研究者らは、モデルパラメータからの知識の真に消去されたかどうかを評価する際のギャップに対処するため、グランドトゥルースのパラメータレベルの局所化を特徴とする初のアンラーニングテストベッドであるLACUNAを紹介した。このテストベッドは、マスク付き継続的プリトレーニングを通じて、1Bおよび7BのOLMoベースモデルの定義済みパラメータに合成個人のPIIを注入する。

media r/LocalLLaMA · 6時間前

OpenLumaraがOpenAIエンドポイント経由で任意のUIとローカルモデルを接続

オープンソースフレームワークのOpenLumaraは、KoboldLiteやOpenWebUIなど、OpenAIエンドポイントと通信できる任意のユーザーインターフェースへの接続をサポートするようになりました。このアップデートにより、ユーザーは好みのフロントエンドを変更せずに、トークン効率の高いハーネスを既存のワークフローに統合できます。

lab Anthropic News · 8時間前

AnthropicがFable 5のサイバーセキュリティ対策とジェイルブレイク枠組みを詳細に説明

AnthropicはClaude Fable 5を世界中で再展開し、そのサイバーセキュリティ安全分類器および提案されたAIジェイルブレイク重大度枠組みに関する詳細情報を公開した。同社は政府との間でジェイルブレイクリスクについて議論するための一貫した用語体系の確立を目指しつつ、より広範なコミュニティからのフィードバックを求めている。

blog Simon Willison · 8時間前

DSPyを使用してDatasette AgentのSQLシステムプロンプトを評価・改善する

Simon WillisonはClaude CodeとFable 5モデルを使用して、Datasette Agentのシステムプロンプトの評価と最適化を自動化しました。これは特に読み取り専用SQLクエリ実行機能に焦点を当てています。このプロセスには、最新のDatasette alpha版とDSPyのインストールが含まれ、エージェントがスキーマ情報をどのように処理するかにおける弱点の特定を目指しました。

media r/LocalLLaMA · 9時間前

RTX 3090でのローカルベンチマーク - Qwen3.6 27b vs Ornith

あるユーザーが、RTX 3090上でinspect-aiフレームワークを使用してQwen3.6 27b、Gemma4 26B A4B QAT、およびOrnith1.0 35B MoEを比較し、ローカルモデルのパフォーマンスを評価しました。 テストの結果は、一般知識、グラウンディング、コーディングのベンチマークで混合したものであり、Qwen3.6がスコアで一般的にリードしましたが、OrnithはDROPのような特定分野で強みを見せました。