Apple M5 Macs:根据规格计算可适配的开源模型
本文通过分析内存限制而非运行基准测试,计算出哪些开源大语言模型可以适配新的 Apple M5 系列 Mac(Mac mini、Mac Studio)。它基于 Q4_K_M GGUF 文件大小、KV 缓存需求以及相对于可用 GPU 内存的运行开销来确定容量。
本文通过分析内存限制而非运行基准测试,计算出哪些开源大语言模型可以适配新的 Apple M5 系列 Mac(Mac mini、Mac Studio)。它基于 Q4_K_M GGUF 文件大小、KV 缓存需求以及相对于可用 GPU 内存的运行开销来确定容量。
苹果发布了 LensVLM-9B,这是一个拥有 90 亿参数的视觉语言模型,旨在更高效地处理文本的压缩图像。该模型扫描这些压缩输入,并利用学习到的工具选择性地将相关页面扩展为其未压缩形式。
oMLX 的创建者和维护者 Jun Kim 已加入 Hugging Face,以支持 MLX 社区。此举旨在通过将该项目从副业转变为完全维护和资助的计划,为开源项目提供稳定性和更快的开发速度。