Проект llama.cpp добавил бинарное ядро A8 Q8_0 non-MoE dp4a для OpenCL.
Автор выпустил AiiStream Q3.6, технологию с открытым исходным кодом, которая позволяет модели Qwen3.6-35B-A3B работать на устройствах Apple Silicon с объёмом оперативной памяти всего от 8 до 16 ГБ. За счёт хранения маршрутизируемых экспертов на SSD и использования предсказаний ранней загрузки метод снижает потребление памяти MLX примерно до 1,7 ГБ, сохраняя при этом полностью идентичные результаты по байтам по сравнению со стандартной реализацией mlx_lm.
Обсуждение на Hugging Face предлагает заменить традиционное извлечение текста в системах RAG на нативные латентные представления LLM. Идея заключается в кодировании документов во внутренние состояния модели во время индексации и извлечении этих состояний для вывода, что потенциально позволяет избежать затрат на повторную обработку извлеченного текста.
Проект llama.cpp выпустил версию b11309, включающую ключевую оптимизацию для бэкенда Hexagon. Это обновление добавляет поддержку безопасного режима scatter в операцию ALLREDUCE, направленную на улучшение производительности и стабильности на устройствах Qualcomm Snapdragon.
Проект llama.cpp выпустил версию b11310, которая включает исправление логики деquantизации IQ4_NL для бэкенда CUDA. Обновление устраняет проблему безопасности памяти, при которой потоки могли читать и записывать данные за пределами конца строки при обработке блоков короче QK_K.
Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.
Мы используем cookie для аналитики и улучшения сайта. Вы можете принять или отклонить аналитические cookie. Политика конфиденциальности