すべての記事
media Hugging Face Forums · 10日前

能力は重みにない:MLP重み投影に関する実証的な否定的結果

ある実証的研究により、1つのTransformerモデルから別のモデルへのMLP重みの投影が意味的能力を転送できないことが判明しました。テストされたすべての変体が未変更のホストモデルよりも劣ったパフォーマンスを示し、重み投影に構造的な制限があることを示唆しています。この結果はベンチマークに基づくモデル能力に関する公的な主張に疑問を投げかけ、そのような主張が実際の内部重みの幾何学を反映していないことを示しています。

media Hugging Face Forums · 10日前

The Clockwork Dark: ローカルファーストのAIナラティブRPGエンジン

The Clockwork Darkは、ローカルファーストでAI駆動のナラティブRPGエンジンであり、すべてのゲームメカニクスを決定論的状態マシンで解決します。物語を語る2つの自律型LLMを搭載しており、1つは忍耐強い世界の声として、もう1つは信頼できない神のようなアシスタントとして機能します。プレイヤーには、侵食する超自然的な腐敗と戦うか、パン屋での静かな生活を受け入れるかの選択があり、両方の経路が有効なエンディングとして扱われます。

media Hugging Face Forums · 10日前

Dockerコンテナは実行中だが「起動中」に無限に固まる

あるユーザーが、rocker/r2u上のR/Shinyを含むDockerコンテナが正常にビルドされ、ログに'Listening on http://0.0.0.0:7860'と表示されるものの、スペースが「starting」状態のままになりアクセスできないと報告しています。コードのエラーがないにもかかわらず問題が続いており、ユーザーはより広範な注意を求めています。これはHugging Face側のプラットフォームの問題である可能性があると指摘しています。

media Hugging Face Forums · 10日前

OLMo-coreとEngraft graftの小規模デバッグ比較

ベースのOLMo3 600MモデルとDeepSeekスタイルのEngraft graftを適用したバージョンの間で200ステップのトレーニング比較を行い、トレーニングおよび評価損失が低下し、勾配ノルムの安定化が速くなり、初期学習行動が改善されていることが示されました。レイヤー1と5に注入されたEngraft graftは、学習可能パラメータを約17億に増加させますが、トークンあたりのアクティブパラメータの増加は40kのみにとどまり、効率的なメモリ使用を示しています。

media Hugging Face Forums · 10日前

認識論的加速装置としてのLLM:リスクは幻覚だけではない

LLMは単に幻覚を見るだけでなく、証拠が検証される前に弱い仮説を一貫性のある洗練された主張に変えることで、人間の認識論的な過信を増幅させます。これはモデルが嘘をつくからではなく、不確実性よりもエレガントな説明を好む人間の傾向を加速させるため、研究、政策、その他の分野において早期の確信というリスクを生み出します。

media Hugging Face Forums · 10日前

Space が古いコミットで16時間以上「再起動中」のまま停止

Hugging Face Space がコミット 8240352 で16時間以上「再起動中」と表示されたままになっていますが、複数の新しいコミットは正常にビルドされています。ログではコンテナが正常に起動していますが、トラフィックは新しいバージョンに切り替わらず、工場出荷時リビルドや再起動などの回復操作も効果ありません。

github llama.cpp · 10日前

llama.cpp リリース b9752: サーバーのリファクタリングとクロスプラットフォームバイナリ

llama.cpp がバージョン b9752 をリリースしました。このリリースでは、バッチ構築に焦点を当てたサーバーのリファクタリングが行われ、バッチフルケースの処理の改善やバグ修正が含まれています。macOS、Linux、Android、Windows、openEuler 向けのビルド済みバイナリが含まれており、CUDA、Vulkan、OpenVINO、SYCL などの各種アーキテクチャとアクセラレーションフレームワークをサポートしています。

github llama.cpp · 10日前

llama.cpp リリース b9753: 新しいバイナリと進捗状況の報告

llama.cpp バージョン b9753 は、仕様のモデル読み込みに対する進捗状況の報告を改善し、新しい「ステージ」リストを含んでいます。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などの複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 10日前

llama.cpp リリース b9754: 新しい AC パーサーとクロスプラットフォームバイナリ

llama.cpp バージョン b9754 は、common/peg モジュール内のより厳格な構文生成のための AC パーサーを導入します。このリリースには、macOS、Linux、Android、Windows、openEuler 用のプリコンパイル済みバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などのさまざまなアーキテクチャとアクセラレーション技術に対応しています。

github llama.cpp · 11日前

llama.cpp リリース b9750: 新しい call ステートメントとクロスプラットフォームバイナリ

llama.cpp バージョン b9750 は、call ステートメントの実装を導入し、意図しない変更をロールバックします。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリコンパイル済みバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 11日前

llama.cpp がバージョン b9748 をリリース、新しいバイナリと機能を追加

llama.cpp はバージョン b9748 をリリースし、スキーマに「verbose」フィールドを追加するとともに、macOS、Linux、Android、Windows、openEuler 用のバイナリを提供しました。本リリースでは、CPU、Vulkan、OpenVINO、SYCL、ROCm のサポートが複数のアーキテクチャで提供され、iOS および Windows 向けの CUDA および Vulkan ビルドも利用可能です。

lab Hugging Face Blog · 11日前

ファインチューニングでLoRAに勝てますか?

新しい研究では、最も人気のあるファインチューニング手法であるLoRAの代替案を探り、他の手法がより少ない計算コストでより良いパフォーマンスを達成できるかどうかを評価しています。その結果、いくつかのアプローチは有望さを示していますが、多様なタスクやデータセットにおいてLoRAを一貫して上回る手法は見つかりませんでした。