github llama.cpp · 1 ч назад · inference

llama.cpp b10178 добавляет трассировочное логирование для проверки сходства слотов

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10178, которая вводит трассировочное логирование для проверки сходства слотов внутри компонента сервера. Это обновление добавляет детальное логирование в `server-context.cpp` во время выбора слота кэша запросов, конкретно фиксируя причины пропуска и детали вычисления сходства.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu с CPU, Vulkan, ROCm, OpenVINO и SYCL бэкендами), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler. Поддержка KleidiAI для macOS Apple Silicon отключена в этой сборке.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10174 добавляет поддержку спекулятивного декодирования NextN/MTP для GLM-5.2

Проект llama.cpp выпустил сборку b10174, внедряющую поддержку спекулятивного декодирования NextN/MTP для архитектуры модели GLM_DSA (GLM-5.2).

media Together AI Blog · 16 ч назад

Together AI объясняет маршрутизацию с учётом пропускной способности для выделенного вывода моделей

Together AI подробно описывает архитектуру своей платформы Dedicated Model Inference, которая связывает конечные точки, развертывания и неизменяемые конфигурации через распределение трафика с учётом пропускной способности. Эта система маршрутизирует запросы на основе эффективной пропускной способности (вес, умноженный на количество готовых реплик), а не фиксированных процентов, что позволяет реализовать функции безостановочного обновления и A/B-тестирования.

media Hugging Face Forums · 17 ч назад

Графы памяти с взвешенным вниманием используют внимание Jina для обхода графового RAG

Новое предложение описывает структуру памяти LLM, которая объединяет позднее разбиение на фрагменты (late chunking) с рёбрами, взвешенными по вниманию, чтобы обеспечить пошаговый обход. Система использует модель встраивания от Jina AI, которая вычисляет внимание между предложениями, для получения весов рёбер из внутренней обработки документа.

github llama.cpp · 17 ч назад

llama.cpp b10171 исправляет мусор в многопоточном выводе OpenCL для Adreno

Релиз llama.cpp b10171 устраняет критическую ошибку в ядрах изображений Adreno KQ/KQV, которая вызывала появление мусора при обработке пакетов с несколькими последовательностями. Проблема возникла из-за того, что эти ядра игнорировали размерность 3, что приводило к некорректному чтению данных при использовании единого KV-кэша с несколькими потоками.

media r/LocalLLaMA · 18 ч назад

Microsoft выпустила Mage-VL — потоковую мультимодельную модель с нативным кодеком

Microsoft выпустила Mage-VL, эффективную мультимодельную базовую модель на 4 млрд параметров для понимания изображений и видео, использующую подход с нативным кодеком для оптимизации визуальной обработки. Система разделяет видеопотоки на опорные (I) кадры и предсказанные (P) кадры, сохраняя только те патчи, которым кодек выделяет биты, что снижает потребление визуальных токенов более чем на 75%.