media r/LocalLLaMA · 2일 전 · open_models

DeepSeek, 2T 파라미터 모델 학습 중이며 8T 파라미터 모델 계획

번역 English → 한국어

DeepSeek는 현재 2조 개의 파라미터를 가진 새로운 모델을 학습 중이며, 결국 8조 개의 파라미터를 가진 모델을 구축할 계획입니다.

현재 DeepSeek Flash에는 5520억 개의 파라미터가 있습니다.
DeepSeek Pro에는 총 1.6조 개의 파라미터가 있으며, 토큰당 490억 개의 활성화된 가중치가 있습니다.
Mythos / Fable 모델은 약 10조 개의 파라미터를 가진 것으로 추정됩니다.

중요도 2/3 r/LocalLLaMA DeepSeek

Anthropic로의 데이터 유출 가능성으로 인해 DeepSeek와 Moonshot AI가 베이징에서 조사 대상

중국 규제 기관은 미국 기업 Anthropic로의 잠재적 데이터 유출과 관련하여 DeepSeek 및 Moonshot AI를 조사하고 있습니다. 이 조사는 Kimi 임원들과 관련된 루머에 이어진 것이지만, 현재 상황은 확인된 체포보다는 조사 단계로 설명되고 있습니다.

arxiv arXiv cs.AI · 2일 전 · 조회수 18회

CodeMidas는 소스 코드를 사용하여 에이전트 코딩 RL 환경을 확장합니다

연구자들은 오픈소스 코드베이스에 구현된 기능을 사용하여 소스 코드를 유일한 입력으로 강화학습 환경을 구축하는 에이전트 파이프라인인 CodeMidas를 소개했습니다. 이 방법은 기능 탐색, 실행 기반 테스트 구축, 반복 롤아웃을 통한 작업 검증을 위해 에이전트 컴퓨팅을 할당하며, 그 결과 23개 프로그래밍 언어에 걸쳐 5,545개의 학습 작업 데이터셋이 생성됩니다. GRPO를 사용하여 이러한 작업에서 MiMo-V2.5를 훈련하면 DeepSWE (+11.7%), ProgramBench (+17%), Terminal-Bench v2.1 (+8.5%) 등 다양한 벤치마크에서 성능이 향상됩니다. 궤적 분석에 따르면 RL로 훈련된 에이전트는 코드베이스 탐색 증가 및 더 다양한 자기 검증과 같은 더 나은 행동을 보이는 것으로 나타났습니다. 이러한 결과는 소스 코드가 다양한 소프트웨어 작업에서 코딩 에이전트를 개선하는 RL 환경을 구축하기 위한 확장 가능한 기반임을 입증합니다.

arxiv arXiv cs.CL · 5일 전 · 조회수 24회

Anthropic로의 데이터 유출 가능성으로 인해 DeepSeek와 Moonshot AI가 베이징에서 조사 대상

CodeMidas는 소스 코드를 사용하여 에이전트 코딩 RL 환경을 확장합니다

DeepSeek, KV 캐시 footprint 890바이트/토큰의 V4.1-Flash 출시

Atria Dawn 미리보기: 과학 연구를 위한 기반 에이전트 언어 모델

DeepSeek V4.1 Flash, Artificial Analysis Intelligence Index v4.3 정상 등극