korshunov.ai
日本語
すべての記事 ページ 1 / 22
media r/LocalLLaMA · 4時間前

DGX SparkとStrix Haloによる分散プロンプト処理

あるユーザーが、prefillingにDGX Sparkを、トークン生成にStrix Haloボックスを用いた分散推論パイプラインを実証し、ロングコンテキストワークロードで大幅な高速化を実現しました。計算集約的なプロンプト処理をDGXにオフロードし、Strixのメモリ帯域幅をデコーディングに活用することで、Strix単独で実行した場合に見られるパフォーマンス低下を克服しています。
arxiv arXiv cs.CL · 7時間前

スケーリングはLLMを用いた社会シミュレーションを改善するのか？

本研究は、現在の言語モデルのスケーリングパラダイムが、意見モデリング、行動シミュレーション、長期予測にわたる社会シミュレーションの忠実度のギャップを埋められるかを調査する。10^18から10^20 FLOPsまでの固定計算予算でDCLMコーパス上で訓練された85個のQwen3トランスフォーマーモデルを用い、著者らは計算規模とシミュレーション精度の関係を分析した。
arxiv arXiv cs.CL · 7時間前

TestEvo-Bench: テストとコードの共進化のための実行可能かつライブなベンチマーク

著者らは、テスト自動化エージェントがコードとテストの共進化をどの程度適切に処理できるかを評価するために設計されたライブベンチマークであるTestEvo-Benchを紹介します。既存のベンチマークの限界に対処し、実際のコミット履歴と環境設定に基づいた実行可能なタスクを提供します。
arxiv arXiv cs.CL · 8時間前

トレーニング不要な概念局所化によるタイプグラフィック攻撃に対する堅牢性 toward

著者は、CLIPベースの視覚エンコーダーにおけるタイプグラフィック攻撃を緩和するためのトレーニング不要な手法を提案します。この手法では、無関係なテキストが視覚的表現を語彙的意味に偏らせます。サンプリングに基づく解釈とサーキットマイニングを使用することで、この望ましくない語彙情報を符号化する特定のVision Transformerコンポーネントを分離します。
arxiv arXiv cs.CL · 8時間前

誰も見ていないときにLLMエージェントが語るもの: マルチエージェント討論における社会的構造と潜在的目的の出現

本研究は、社会的構造がLLMエージェントの公的な表現にどのように影響するかを、デュアルチャネル討論フレームワーク内で、公開発言とオフ・ザ・レコード（OTR）応答を比較することで調査する。この研究は、アライメント誘発設定がこれらのチャネル間の体系的な分岐を引き起こし、10モデルおよび複数のシナリオにわたって意思決定の分岐が約3%のベースラインから約40%まで上昇することを示している。
arxiv arXiv cs.CL · 9時間前

LLMのオンライン安全モニタリング

本記事は、デプロイメント時の大規模言語モデルにおける不安全な出力の持続性に対処し、リアルタイムのモニタリングソリューションを提案します。外部モデルからの検証者信号を閾値処理によってアラーム判断に変換するシンプルなモニターを導入し、閾値はリスク制御を通じてキャリブレーションされます。
arxiv arXiv cs.CL · 9時間前

Program-as-Weights: 曖昧な関数向けのプログラミングパラダイム

本記事では、自然言語の仕様をコンパイルしてコンパクトでローカル実行可能なニューラルアーティファクトに変換し、大規模言語モデルAPIを置き換えるパラダイムであるProgram-as-Weights (PAW)を紹介します。このアプローチは、基盤モデルを入力ごとの問題解決者ではなくツールビルダーとして扱うことで、局所性、再現性、コストの改善を目指します。
arxiv arXiv cs.CL · 9時間前

LACUNA: LLMアンラーニングの局所化精度を評価するためのテストベッド

研究者らは、モデルパラメータからの知識の真に消去されたかどうかを評価する際のギャップに対処するため、グランドトゥルースのパラメータレベルの局所化を特徴とする初のアンラーニングテストベッドであるLACUNAを紹介した。このテストベッドは、マスク付き継続的プリトレーニングを通じて、1Bおよび7BのOLMoベースモデルの定義済みパラメータに合成個人のPIIを注入する。
media r/LocalLLaMA · 9時間前

OpenLumaraがOpenAIエンドポイント経由で任意のUIとローカルモデルを接続

オープンソースフレームワークのOpenLumaraは、KoboldLiteやOpenWebUIなど、OpenAIエンドポイントと通信できる任意のユーザーインターフェースへの接続をサポートするようになりました。このアップデートにより、ユーザーは好みのフロントエンドを変更せずに、トークン効率の高いハーネスを既存のワークフローに統合できます。