美国开放权重模型开发商Arcee已与能源部合作创建Genesis-Science-1。这一合作成果是一个专为科学研究设计的开源模型。
media
r/LocalLLaMA
·
2 小时前
·
open_models
Arcee与美国能源部合作构建Genesis-Science-1
译自 English → 中文
相关文章
media
r/LocalLLaMA
·
10 小时前
Arcee AI 与美国能源部宣布推出 Genesis-Science-1，一款面向科研的 1T 开源权重模型
美国能源部（DOE）与 Arcee AI 已宣布开发 Genesis-Science-1（GS1），这是一款专为科学研究设计的开源权重语言模型。该倡议是 Genesis Mission 的一部分，旨在通过政府机构与私营企业的共同努力，将先进的 AI 能力带入广泛的科学领域。
media
r/LocalLLaMA
·
13 天前
腾讯发布 HiLS-Attention-7B，采用分块稀疏注意力机制
腾讯发布了 HiLS-Attention-7B 检查点，这是一个基于 OLMo3-style 骨干网络的 70 亿参数模型。该模型实现了一种分块稀疏注意力机制，在语言建模损失下端到端地学习分块选择。
arxiv
arXiv cs.AI
·
14 天前
DiaLLM 调查英语方言适应中鲁棒性与生成之间的差距
DiaLLM 研究通过在 International Corpus of English 上对三个开源权重语言模型家族进行持续预训练，解决了理解与生成方言英语之间的脱节问题。它应用了隐式和显式后训练范式，并结合三种对齐策略来比较澳大利亚、印度和英国北部英语。
arxiv
arXiv cs.CL
·
14 天前
DiaLLM 调查英语方言适应中鲁棒性与生成能力的差距
DiaLLM 研究表明，大型语言模型中的方言鲁棒性和生成能力是脱节的，因为由持续预训练塑造的基准无法捕捉对齐如何重塑实际输出。作者在国际英语语料库（International Corpus of English）上对三个开源权重模型家族进行了持续预训练，并应用了隐式和显式后训练范式，结合针对澳大利亚、印度和英国北部英语的三种对齐策略。
media
r/LocalLLaMA
·
15 天前
Qllm 发布无需 KV 缓存的 O(1) 推理模型
一位研究人员发布了 Qllm，这是一种新的大语言模型架构，通过消除对键值 (KV) 缓存的需求实现了 O(1) 推理时间。该拥有 100M 参数的模型基于相位关联性构建，不依赖于 transformer 或 mamba 结构。