一位 Reddit 用户正在寻求关于 Antirez DS4 模型与 Unsloth GGUF 格式之间的比较,特别是针对 2-bit 量化下的性能。发帖者表示在使用它作为本地推理助手时,对 DS4 在此低精度设置下的能力印象深刻。

  • 该用户在规划任务中同时使用 DS4 flash 和 Qwen 3.6 35b A3B。
  • 硬件配置包括带有 128GB RAM 和 ROCm 支持的 Nimo Strix Halo 机箱。
  • 该询问主要关注其他人是否测试过类似 2-bit 量化级别的 GGUF 版本。