Falcon 팀은 확장된 과학, 수학, 코드 능력을 강조하는 새로운 버전인 Falcon3 오픈 모델 패밀리를 출시했습니다. 이번 릴리스에는 14조 개의 토큰을 사용한 단일 대규모 사전 훈련을 통해 7B 모델의 깊이를 확장하여 최첨단 10B 모델을 생성하고, 효율적인 초소형 모델을 위한 지식 증류와 같은 주요 혁신이 포함됩니다. 이 패밀리는 최대 32k 토큰의 컨텍스트 길이를 지원하며, Instruct, GGUF 및 양자화된 변형 등 다양한 형식으로 제공됩니다.
벤치마크 결과는 Falcon3-10B-Base가 13B 파라미터 미만에서 최첨단 성능을 달성했으며, MATH-Lvl5 (22.9)와 GSM8K (83.0)에서 강력한 점수를 받았음을 보여줍니다. 이 모델들은 Falcon LLM 라이선스 하에 출시되었으며, 멀티모달 변형은 2025년 1월에 계획되어 있습니다.
| 벤치마크 | 모델 | 점수 |
|---|---|---|
| Berkeley Function-Calling Leaderboard | Falcon3-10B-Instruct | 86.3% |
| IFEval | Falcon3-10B-Instruct | 78% |
| IFEval | Falcon3-1B-Instruct | 54.4% |
| MMLU-Pro | Falcon3-10B-Base | 42.5% |
| MMLU-Pro | Falcon3-7B-Base | 39.2% |
| MMLU-Pro | Falcon3-3B-Instruct | 29.7% |
| GSM8K | Falcon3-10B-Instruct | 83.1% |
| GSM8K | Falcon3-10B-Base | 83% |
| GSM8K | Falcon3-7B-Base | 79.1% |
| MBPP | Falcon3-10B-Base | 73.8% |
| MMLU | Falcon3-10B-Base | 73.1% |
| MMLU | Falcon3-7B-Base | 67.4% |
| BIG-Bench Hard | Falcon3-10B-Base | 59.7% |
| BIG-Bench Hard | Falcon3-7B-Base | 51% |
7월 16일, Moonshot AI는 최신 플래그십 모델인 Kimi K3를 출시했습니다. 이는 2.8조 파라미터를 가진 Mixture of Experts (MoE) 아키텍처입니다. 회사는 7월 27일에 모델 가중치를 공개할 것을 약속했습니다.
Feyn AI는 읽기 전용 프로브를 통해 데이터베이스 내용을 검사하여 최종 쿼리를 생성하기 전에 모호성을 해결하는 SQRL 텍스트-SQL 모델 패밀리를 출시했습니다. 플래그십 SQRL-35B-A3B는 BIRD Dev 벤치마크에서 70.6%의 실행 정확도를 달성하여 Claude Opus 4.6을 능가합니다.
세 가지 오픈 가중치 희소 Mixture-of-Experts 모델인 Moonshot AI의 Kimi K3, DeepSeek V4 Pro, Zhipu AI의 GLM-5.2를 비교하여 장기적 코딩 및 에이전트 워크로드에 대한 능력, 라이선스 조건, 서빙 비용을 평가합니다.
문샷 AI는 총 2.8조 개의 파라미터와 네이티브 멀티모달 입력 기능을 갖춘 새로운 프론티어 클래스 오픈 가중치 모델인 Kimi K3를 소개했습니다. 공식적으로 "오픈 프론티어 인텔리전스"로 포지셔닝된 이 모델은 100만 토큰의 컨텍스트 윈도우를 지원하며, 효율성을 높이기 위해 Kimi Delta Attention(KDA)와 Attention Residuals와 같은 새로운 아키텍처 구성 요소를 활용합니다.
문숏 AI는 2.8조 개의 파라미터와 네이티브 멀티모달 입력을 갖춘 프론티어급 오픈웨이트 모델인 Kimi K3를 출시했습니다. 이 모델은 긴 컨텍스트에서 더 빠른 디코딩을 위한 Kimi Delta Attention(KDA)을 특징으로 하며, 장기적 에이전트 코딩 워크플로우에 적합하게 설계되었습니다.