Пользователь успешно запустил модель Tencent HY3 (295B-A21B MoE) на MacBook M5 Max с 128 ГБ объединённой памяти, используя квантованный чекпоинт GGUF и llama.cpp. Настройка обеспечила скорость генерации токенов примерно в два раза выше, чем у DeepSeek v4 Flash, при сохранении сопоставимого или лучшего качества вывода.

  • Модель использует 3-битное квантование "unsloth dynamic" UD128 (107 ГБ) от пользователя Hugging Face YanissAmz.
  • Поддержка архитектуры HY3 и спекулятивного декодирования была добавлена в llama.cpp через PR #25395.
  • Тесты на M5 Max показали скорость декодирования 32,4 токена/сек при пустом контексте и 16,3 токена/сек при контексте 16K.
  • Пользователь отметил, что практическая производительность на обычных запросах и базовом использовании инструментов превосходит его предыдущую настройку DeepSeek v4.

Автор выделяет HY3 как перспективный вариант большой MoE модели для локального развёртывания на потребительском оборудовании с высокой памятью, призывая других протестировать её.