Версия llama.cpp b9703 включает переработку обработки предустановок сервера, удаление поддержки удаленных предустановок HF и устаревших функций. В релизе представлены бинарные файлы для macOS, Linux, Android, Windows и openEuler на разных архитектурах и вариантах ускорения, включая Vulkan, CUDA, OpenVINO и SYCL.
github
llama.cpp
·
78 д назад
·
inference
llama.cpp Release b9703: Обновления и бинарные загрузки
Переведено с English → Русский
Похожие статьи
github
llama.cpp
·
76 д назад
·
6 просмотров
Выпуск llama.cpp b9741: новые бинарные файлы и поддержка
Версия llama.cpp b9741 добавляет новые бинарные файлы для macOS, Linux, Android, Windows и openEuler на нескольких архитектурах. В релиз включена поддержка Vulkan, CUDA 12.4 и 13.3, OpenVINO, SYCL и ROCm, а также обновлены версии для iOS и Ubuntu.
github
llama.cpp
·
76 д назад
·
13 просмотров
ggml оптимизирует AMX с помощью плоской обработки разделов
Проект ggml повысил производительность AMX за счёт плоской обработки разделов по n_batch * M, обеспечивая участие всех потоков в квантовании. Данное изменение обеспечивает ускорение на 1,47 раза при различных моделях и конфигурациях аппаратуры на платформах CPU и GPU, при этом результаты демонстрируют стабильное сокращение времени инференса.
github
llama.cpp
·
76 д назад
ggml-webgpu Добавляет переключатели адаптера для поддержки F16 на Vulkan и NVIDIA
Проект ggml-webgpu добавил переключатели адаптера для поддержки полупrecision (F16) на видеокартах Vulkan и NVIDIA. Обновление позволяет повысить производительность на совместимом оборудовании на нескольких платформах, включая macOS, Linux, Android, Windows и openEuler, с конкретными сборками для архитектур ARM и x64.
github
llama.cpp
·
76 д назад
·
3 просмотра
Релиз LLaMA.cpp b9729: Новые бинарники и поддержка платформ
LLaMA.cpp выпускает версию b9729 с бинарниками для macOS, Linux, Android, Windows и openEuler на нескольких архитектурах. В релизе включены поддержка CPU, Vulkan, OpenVINO, SYCL и ROCm, а также новый пакет интерфейса. Удалены внутренние ссылки на 'webui'.
github
llama.cpp
·
79 д назад
·
3 просмотра
Бэкенд Metal добавляет поддержку f16 и bf16 для оператора concat
Бэкенд Metal в llama.cpp был расширен для поддержки типов тензоров f16 и bf16 для оператора concat, в дополнение к существующей поддержке f32 и i32. Обновление включает специализированные шаблоны ядер, обновленные получатели трубопровода и улучшенную диспетчеризацию ядер по типам, с участием pi:llama.cpp/Qwen3.6-27B.