JetBrains 已开源 Mellum2 模型系列，这是一组从底层训练的 12B-2.5A LLMs，旨在针对 H100/H200 硬件实现快速推理以及本地部署。
这些模型在 Ollama 和 Hugging Face 上以 GGUF 文件格式提供，完整的技术报告已发布在 arXiv 上。
基准测试表明，Mellum2 的性能与其他小型语言模型相当，同时在并发负载下提供显著更高的吞吐量。
Mellum2 本地部署
译自 English → 中文
JetBrains 已开源 Mellum2 模型系列，这是一组从底层训练的 12B-2.5A LLMs，旨在针对 H100/H200 硬件实现快速推理以及本地部署。
这些模型在 Ollama 和 Hugging Face 上以 GGUF 文件格式提供，完整的技术报告已发布在 arXiv 上。
基准测试表明，Mellum2 的性能与其他小型语言模型相当，同时在并发负载下提供显著更高的吞吐量。