media Hugging Face Forums · 3 天前 · open_models

AI Model Radar 启动，为开源模型提供精确的硬件适配

译自 English → 中文

一个名为 AI Model Radar 的新网站帮助用户确定哪些开源模型真正适合他们的 GPU 或 Mac，它使用测量数据而非估算。该平台基于真实发布的 GGUF 文件计算权重大小，并根据模型配置逐层计算上下文缓存。

跟踪 51 个第一方模型，并包含动量板、每小时 GPU 租赁中位数和成本计算器。
提供只读 JSON API 和 MCP 服务器，用于与 Claude 和 Cursor 等工具集成。
数据来源于 Hugging Face Hub、OpenRouter 和 Vast.ai，每天收集多次。

该工具旨在为本地模型用户提供准确的硬件兼容性信息，而不会为不支持的架构编造数字。

重要性 1/3 可信度 1/3 Hugging Face Forums Inference efficiency Local inference

阅读原文

github llama.cpp · 2 天前 · 2 次浏览

llama.cpp 默认在集成 GPU 上禁用惰性张量加载

llama.cpp 项目在 b10867 版本中默认禁用了集成 GPU (iGPU) 的惰性张量加载。此更改解决了先前 "AUTO" 惰性模式设置中引入的回归问题。

github llama.cpp · 2 天前 · 3 次浏览

llama.cpp b10864 修复了混合模型的检查点驱逐问题

llama.cpp 项目发布了构建版本 b10864，其中包含对 `create_checkpoint()` 中检查点间隔驱逐逻辑的修复。此前，驱逐规则保留了最旧的检查点并删除了 `checkpoint_min_step` 内的后续检查点，导致短于该阈值的提示词丢失了恢复所需的检查点。这迫使混合模型和循环模型不必要地从前一个检查点重新预填充。

github llama.cpp · 3 天前 · 6 次浏览

llama.cpp b10844 为 Vulkan 添加 DeepSeek-V4 超连接融合操作

llama.cpp 项目发布了 b10844 版本，在 Vulkan 后端引入了对 DeepSeek-V4 超连接融合操作（DSV4_HC_COMB/PRE/POST）的支持。此次更新使 Vulkan 在这些特定优化方面与 CUDA 和 Metal 持平。

github llama.cpp · 3 天前 · 4 次浏览

llama.cpp b10842 添加了对 gfx90c HIP 的支持

llama.cpp 项目发布了构建版本 b10842，通过 HIP 引入了对 gfx90c 架构的支持。

github llama.cpp · 3 天前 · 7 次浏览

llama.cpp b10840 为 CUDA 添加无分支 Q4_K/Q5_K 解包和 L2 预取

llama.cpp 项目发布了版本 b10840，引入了针对 CUDA 推理的性能优化。该更新实现了 Q4_K 和 Q5_K 量化格式的无分支计算，以加速矩阵-向量乘法 (mmvq)。