github llama.cpp · 1 ч назад · inference

llama.cpp b10249 добавляет инструмент get_info в сервер

Переведено с English → Русский

Проект llama.cpp выпустил версию b10249, которая внедряет новый инструмент `get_info` в компонент сервера. Это обновление также включает исправления документации для флага `--rpc`.

Сервер теперь предоставляет инструмент `get_info` для получения системной информации.
Обработка результата зондирования была усилена: при сбое процесса или истечении времени ожидания сообщается ОС 'unknown', что предотвращает неверную интерпретацию диагностического текста как имени ОС.
Добавлено удаление пробелов и лимиты тайм-аута для обеспечения чистой обработки данных.
Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Это обновление делает инструмент `get_info` доступным для диагностики на стороне сервера, а также предоставляет обновленные бинарные файлы для всех поддерживаемых платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10247 устраняет падения при работе с широкими моделями MoE за счёт динамического выделения памяти

Проект llama.cpp выпустил версию b10247, которая решает проблемы стабильности при загрузке больших моделей Mixture of Experts (MoE) в конфигурациях с несколькими бэкендами. Обновление заменяет массивы фиксированного размера в планировщике бэкенда на динамически выделяемые буферы для обработки разделения графа, превышающего 30 входных тензоров.

github llama.cpp · 3 ч назад

llama.cpp b10246 перенаправляет большие q6_K lm_head в плоский GEMV

Проект llama.cpp выпустил версию b10246, которая включает исправление производительности OpenCL для определенных конфигураций моделей. Обновление устраняет проблему, при которой исходное условие размерности было недостаточным для обработки больших весов.

github llama.cpp · 8 ч назад · 2 просмотра

llama.cpp b10242 добавляет бэкенд-сэмплер CUDA для штрафов

Проект llama.cpp выпустил версию b10242, внедрив новый бэкенд-сэмплер для штрафов, который позволяет перенести обработку штрафов на GPU. Это изменение улучшает функцию `common_sampler_init` и обновляет структуру `llama_sampler_penalties`, чтобы она наследовалась от `llama_sampler_backend`, что обеспечивает корректировку частоты и присутствия на бэкенде.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10241 устраняет гонки данных SMEM в block_reduce для CUDA

Проект llama.cpp выпустил версию b10241, которая устраняет критическую ошибку в бэкенде CUDA. Обновление решает проблему гонок данных, возникавших при повторном использовании разделяемой памяти (SMEM) во время блочных редукций.

media Hugging Face Forums · 14 ч назад · 1 просмотр

Quesma публикует curated-карту из 218 инструментов и статей по эффективности использования токенов в LLM

Quesma выпустила открытый курируемый список, содержащий 218 записей, которые отслеживают, где расходуются токены в рабочих процессах LLM и агентов. Ресурс охватывает мониторинг, семантическое кэширование, дешевые локальные модели, контекстную инженерию и управление затратами.