github llama.cpp · 2 ч назад · inference

llama.cpp b11156 добавляет поддержку Ling 3.0 VL через BailingMoeV3

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11156, которая добавляет поддержку модели Ling 3.0 VL. Это обновление интегрирует Ling 3.0 VL в архитектуру BailingMoeV3 и обеспечивает сохранение общих списков NORM rope при переключении BailingMoe3 на секции mrope.

Добавлена поддержка модели Ling 3.0 VL путем интеграции с архитектурой BailingMoeV3.
Сохраняется целостность общего списка NORM rope при переключении секций mrope для BailingMoe3.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows и openEuler.

Это обновление позволяет пользователям запускать модели Ling 3.0 VL на широком спектре аппаратных платформ и операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 12 ч назад · 3 просмотра

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.

github llama.cpp · 20 ч назад · 12 просмотров

llama.cpp b11136 добавляет поддержку video_url по стандарту OpenAI в llama-server

Проект llama.cpp выпустил сборку b11136, которая обновляет llama-server для приёма типа контента "video_url" по стандарту OpenAI для видеовходов. Ранее сервер принимал только нестандартный тип "input_video" и отклонял data URI, что вызывало проблемы совместимости с клиентами, соответствующими спецификации OpenAI.

github llama.cpp · 1 д назад · 12 просмотров

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 1 д назад · 15 просмотров

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

github llama.cpp · 1 д назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).