一位Reddit用户报告称,在拥有64GB VRAM的情况下,为编码任务选择了unsloth版本的Qwen 3.5 122b-a10b模型(UD-IQ4_NL)。
- 该模型具有100k bf16上下文窗口,运行速度约为每秒30个token。
- 为了适应硬件限制,仅将少数层加载到CPU/RAM中。
- 用户还根据具体需求使用Qwen 3.6模型,但认为122b-a10b变体是其日常主力。
一位Reddit用户报告称,在拥有64GB VRAM的情况下,为编码任务选择了unsloth版本的Qwen 3.5 122b-a10b模型(UD-IQ4_NL)。