Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.
Исследователи представляют CliffCompaction, технику автокомпактизации, предназначенную для снижения затрат на долгосрочных кодовых агентах до 50% в рамках ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности сжатой информации через усечение, а не перефразирование.
Исследователи представляют CliffCompaction, метод автокомпактизации, разработанный для агентов, обрабатывающих миллионы токенов, который сокращает затраты до 50% в условиях ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности информации при усечении, а не перефразировании.
Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).
Parallel интегрировала GPT-6 Astra от OpenAI в свою инфраструктуру AI-агентов, что позволило сократить время исследований и затраты на код на 50% по сравнению с предыдущими моделями. Компания сообщает, что новая модель позволяет агентам выполнять сложную интеллектуальную работу значительно быстрее, сохраняя при этом высокое качество результатов.
Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.
Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.
Проект llama.cpp выпустил версию b11104, внедряющую новую функцию, позволяющую компоненту llama-server одновременно привязываться к нескольким сетевым адресам.
Проект llama.cpp выпустил сборку b11102, которая добавляет поддержку преобразования моделей MiMo-V2.6.
Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.
Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.
Проект llama.cpp выпустил сборку b11100, которая устраняет конкретную проблему с парсингом модели Muse Glimmer. Основное изменение заключается в исправлении первой ошибки парсера, возникающей при выполнении вызова инструмента для этой модели.
Проект llama.cpp выпустил версию b11097, которая вводит бинарное ядро OpenCL для формата A8 Q4_0 non-MoE dp4a.
Джен Вэй столкнулся со спиралью смерти скорости обучения при тестировании AdamW, Muon и последней реализации Dion3 в OLMo-core для предстоящего доклада на конференции PyTorch.
Пользователь планирует создать нецензурную, нативную греческую большую языковую модель для локального развертывания с использованием чекпоинта ilsp/Llama-Krikri-8B-Instruct. Предложенный план включает абляцию модели с помощью Heretic (heretic-llm), конвертацию в формат GGUF Q4_K_M и выполнение инференса на устройстве GMKtec EVO-X3, оснащенном процессором AMD Ryzen AI MAX+ 395, через Vulkan.
Together AI представила функцию канареечных развертываний (Canary rollouts), которая поэтапно переносит живой трафик с текущей модели на новый чекпоинт. Эта система автоматизирует механизм безопасности при замене моделей, выполняя проверки работоспособности и опциональные контрольные точки по метрикам перед переключением трафика, что позволяет автоматически приостанавливать процесс или откатывать изменения при ухудшении производительности.
Исследователи предлагают AgentRouter, лёгкий классификатор, который оптимизирует многошаговые агентные рабочие процессы, направляя отдельные шаги траектории в соответствующие уровни моделей вместо использования передовых моделей для каждой задачи. Система решает проблему неэффективности существующих решений, которые игнорируют различную сложность подзадач внутри одной сессии агента.
Выпуск llama.cpp b11095 представляет новую реализацию GATED_DELTA_NET (GDN), оптимизированную для HMX, а также различные оптимизации для ядер Hexagon и Flash Attention.
Исследователи предлагают AgentRouter — лёгкий классификатор, оптимизирующий многошаговые агентные рабочие процессы путём маршрутизации отдельных шагов траектории к соответствующим уровням моделей вместо использования одной передовой модели для всех задач. Система устраняет неэффективность корпоративных систем, которые тратят 60–80 % своего бюджета на вывод на подзадачи, с которыми меньшие модели справляются столь же хорошо.
Проект llama.cpp выпустил версию b11090, которая включает исправление ошибки компиляции тайлов sm_70. Обновление обобщает форму тайла функции load_ldmatrix с 5 аргументами для устранения несоответствий с архитектурами Volta.