字节跳动宣布承诺在不依赖AI蒸馏技术的情况下开发其下一代AI模型。
该公司打算为其未来模型追求独立的发展路径。
media
r/LocalLLaMA
·
2 小时前
·
open_models
字节跳动承诺避免AI蒸馏，以自身方式开发新模型
译自 English → 中文
相关文章
media
r/LocalLLaMA
·
8 小时前
·
4 次浏览
MiniMax发布开源权重H3视频生成模型，支持原生立体声
MiniMax在Hugging Face上发布了开源权重的H3全模态视频生成模型，该模型具备原生立体声功能，可通过单次前向传递驱动视频。该模型支持2K分辨率、24fps的 clips，时长为5到15秒，并允许每次生成最多接受9张参考图像、3个视频和3段音频。
arxiv
arXiv cs.LG
·
3 天前
U-OPSD 实现大语言模型的无监督在线策略自蒸馏
研究人员提出无监督在线策略自蒸馏（U-OPSD），该方法仅利用模型自身的生成结果，无需外部监督即可实现大语言模型的训练后性能提升。该方法通过采样多个 rollout 构建伪解（基于多数投票），然后将教师分布蒸馏到模型最长错误完成序列的前缀中。
arxiv
arXiv cs.CL
·
6 天前
·
2 次浏览
抖音发布具有领先性能的DME多模态嵌入模型
抖音发布了其多模态嵌入（DME）模型的技术报告，该模型结合大规模对比预训练与潜在推理，实现了强大的判别能力和效率。
media
r/LocalLLaMA
·
6 天前
·
5 次浏览
苹果 AFM3 20B 使用指令跟随剪枝激活约 20% 的层
苹果为其第三代基础模型（AFM3）引入了一种新架构，利用“指令跟随剪枝”大幅减少活跃参数数量。该模型设计为每次提示仅进行一次路由决策，从而激活其 MLP 层的大约 20%，而非每个 token 一次。
media
MarkTechPost
·
8 天前
·
4 次浏览
NVIDIA NeMo 发布 Molt，一个紧凑的 PyT-native 智能体强化学习框架
NVIDIA 的 NeMo 团队发布了 Molt，这是一个开源的智能体强化学习框架，旨在降低研究人员进行算法迭代的复杂性。代码库包含约 8.6K 行 RL 代码，显著小于 comparable frameworks like verl (62K lines) and slime (25K lines).