DeepSeekは現在、2兆パラメータの新モデルをトレーニングしており、最終的に8兆パラメータのモデルを構築する計画です。
- 現在のDeepSeek Flashには5520億パラメータがあります。
- DeepSeek Proには合計1.6兆パラメータがあり、トークンごとに490億の重みがアクティブになります。
- Mythos / Fableモデルのパラメータ数は10兆と推定されています。
media
r/LocalLLaMA
·
2日前
·
open_models
DeepSeekは2Tパラメータのモデルをトレーニング中、8Tパラメータのモデルも計画
翻訳元 English → 日本語
関連記事
media
r/LocalLLaMA
·
5時間前
·
9 回表示
Anthropicへのデータ漏洩の疑いでDeepSeekとMoonshot AIが北京で調査の対象に
中国の規制当局は、米企業のAnthropicへの潜在的なデータ漏洩についてDeepSeekおよびMoonshot AIを調査している。この調査はKimiの幹部に関する噂に端を発するものの、現時点では確認された逮捕ではなく調査段階と説明されている。
arxiv
arXiv cs.AI
·
2日前
·
18 回表示
CodeMidasはソースコードを使用してエージェント型コーディングRL環境をスケーリング
研究者らは、オープンソースのコードベースに実装された機能を用いて、ソースコードを唯一の入力として強化学習環境を構築するエージェントパイプライン「CodeMidas」を紹介した。 本手法は、エージェント計算資源を割り当てて機能を探索し、実行に根ざしたテストを構築し、反復ロールアウトを通じてタスクを検証することで、23のプログラミング言語にわたる5,545件のトレーニングデータセットを生成する。 これらのタスクでGRPOを用いてMiMo-V2.5を訓練すると、DeepSWE (+11.7%)、ProgramBench (+17%)、Terminal-Bench v2.1 (+8.5%) など5つの多様なベンチマークでパフォーマンスが向上した。 軌跡分析により、RLで訓練されたエージェントは、コードベースの探索増加やより多様な自己検証など、より優れた行動を示すことが示唆された。 これらの結果は、多様なソフトウェアタスクにおけるコーディングエージェントを改善するRL環境を構築するためのスケーラブルな基盤として、ソースコードを確立するものである。
arxiv
arXiv cs.CL
·
5日前
·
24 回表示
DeepSeek、KVキャッシュフットプリント890バイト/トークンのV4.1-Flashをリリース
DeepSeekは、エージェントワークロードにおける長時間コンテキスト計算と大規模なKVキャッシュの高額コストに対処するために設計されたマルチモーダルMixture-of-Expertsモデル「DeepSeek-V4.1-Flash」をリリースしました。
arxiv
arXiv cs.AI
·
8日前
·
24 回表示
Atria Dawn プレビュー: 科学的研究のための基盤エージェント型言語モデル
Atria Dawn Preview は、科学的研究およびエンジニアリングワークフローのために設計された基盤エージェント型言語モデルであり、ツールを介した相互作用を実行可能環境に接続する検証可能な経験パイプラインを通じてトレーニングされています。現実の研究、エンジニアリング、デジタル作業にわたる16のベンチマークにおいて、このモデルは最先端のエージェントと競争力があり、そのうち5つで最高の報告スコアを達成しています。
media
r/LocalLLaMA
·
9日前
·
18 回表示
DeepSeek V4.1 Flash が Artificial Analysis Intelligence Index v4.3 で首位を獲得
DeepSeek V4.1 Flash は、Artificial Analysis Intelligence Index v4.3 のアップデートにおいて、新しい Astra ベンチマークで第1位となりました。