github llama.cpp · 1 ч назад · inference

llama.cpp b10081 разрешает репозиторий черновика к его запрошенному сайдкар

Переведено с English → Русский

Выпуск llama.cpp b10081 исправляет ошибку, когда флаг `--hfd` указывал на репозиторий, содержащий спекулятивные сайдкар, но план черновика неправильно разрешался к основной модели вместо сайдкар. Это произошло из-за того, что `find_best_model()` исключала файлы сайдкар и явный план черновика подавлял обнаружение сайдкар.

Исправление подключает обнаруженные сайдкар как черновик, следуя шаблону резервного плана основной модели, позволяя таким командам, как `llama-server -hf repo -hfd repo --spec-type draft-dflash` работать как ожидалось.

Этот выпуск включает бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10080 исправляет сбой сервера и ошибку валидации UI

Выпуск llama.cpp b10080 устраняет две конкретные ошибки в компонентах сервера и пользовательского интерфейса. Сервер теперь корректно возвращает код статуса 400 вместо сбоя с ошибкой 500, когда проверка не проходит для запросов, содержащих заголовок X-Conversation-Id. Кроме того, UI больше не отправляет заполнитель backend_sampling, который ранее приводил к отказу валидации при завершении по умолчанию.

arxiv arXiv cs.LG · 6 ч назад

SkewAdam использует многоуровневое состояние оптимизатора для снижения памяти при обучении MoE на 97%

Исследователи представляют SkewAdam — оптимизатор, разработанный для моделей mixture-of-experts (MoE), который распределяет различные типы состояния среди разных групп параметров, чтобы радикально сократить использование памяти. Назначая импульс float32 и факторизованные вторые моменты для основной сети, факторизованные вторые моменты для экспертов и точные вторые моменты для маршрутизатора, SkewAdam уменьшает состояние оптимизатора с 50.6 ГБ до 1.29 ГБ для модели с 6.78B параметров.

github llama.cpp · 8 ч назад

llama.cpp b10078 рефакторинг обработки очередей Vulkan для обхода мьютекса на стороне хоста

Проект llama.cpp выпустил сборку b10078, которая включает значительный рефакторинг бэкенда Vulkan для повышения эффективности синхронизации. Обновление интегрирует поддержку VK_KHR_internally_synchronized_queues, позволяя библиотеке абстрагировать отправку очередей в полиморфный интерфейс, который полностью обходит блокировку мьютекса на стороне хоста, если драйвер это поддерживает.

github llama.cpp · 15 ч назад

llama.cpp b10076 векторизует get_rows с копированием int4 для ускорения на 27%

Проект llama.cpp выпустил сборку b10076, которая вносит оптимизацию производительности в бэкенд CUDA за счёт векторизации операции `get_rows` с использованием копирования int4. Это изменение выносит работу, не зависящую от строки, из цикла по элементам, и добавляет векторизованный путь, копирующий 16 байт на поток для непрерывных данных одного типа.

media Hugging Face Forums · 2 д назад · 1 просмотр

Производственные голосовые агенты с локальными LLM сталкиваются с устойчивыми задержками и ограничениями контекста

Команда, использующая два производственных голосовых агента в Испании на базе Retell AI, Ollama и локальных моделей на RTX 4000 Ada, сообщает, что, несмотря на улучшение качества разговора, основная проблема задержки остаётся нерешённой. Главный ограничивающий фактор — тайм-аут ~3 секунды в Retell AI; если LLM не успевает сгенерировать первый токен в это окно, соединение разрывается, что после двух переподключений приводит к завершению вызова.