Проект ggml добавил поддержку квантования Q2_0 для процессоров, в частности для обеспечения использования моделей Ternary Bonsai. Это обновление завершает семейство квантования Q1_0, Q2_0, Q4_0 и Q8_0 в библиотеке.

  • Реализация поддерживает ARM NEON и включает общий скалярный резервный вариант.
  • Она позволяет запускать модели Ternary Bonsai объемом 1.7B, 4B и 8B на аппаратном обеспечении CPU.
  • Бэкенды x86, Metal, CUDA и Vulkan запланированы для будущей отправки.

Это дополнение позволяет пользователям запускать модели Ternary Bonsai с использованием нового поддерживаемого формата Q2_0 на совместимых процессорах.