github llama.cpp · há 2 h · inference

llama.cpp b11156 adiciona suporte a Ling 3.0 VL via BailingMoeV3

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11156, que introduz suporte para o modelo Ling 3.0 VL. Esta atualização integra o Ling 3.0 VL na arquitetura BailingMoeV3 e garante que as listas compartilhadas de NORM rope permaneçam intactas ao ativar o BailingMoe3 nas seções mrope.

Adiciona suporte ao modelo Ling 3.0 VL integrando-o com a arquitetura BailingMoeV3.
Mantém a integridade da lista compartilhada de NORM rope durante o gateamento das seções mrope para BailingMoe3.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows e openEuler.

Esta versão permite que os usuários executem modelos Ling 3.0 VL em uma ampla variedade de plataformas de hardware e sistemas operacionais.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 19 h · 12 visualizações

llama.cpp b11136 adiciona suporte a video_url da OpenAI ao llama-server

O projeto llama.cpp lançou a compilação b11136, que atualiza o llama-server para aceitar o tipo de conteúdo "video_url" padrão da OpenAI para entradas de vídeo. Anteriormente, o servidor aceitava apenas um tipo não padrão "input_video" e rejeitava URIs de dados, causando problemas de compatibilidade com clientes conformes à OpenAI.

github llama.cpp · há 1 d · 12 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 1 d · 15 visualizações

llama.cpp b11120 oculta símbolos internos do Vulkan para corrigir destruição de estado

O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.

github llama.cpp · há 1 d · 13 visualizações

llama.cpp b11118 introduz cache DMA de mapeamento direto para tratamento de máscara HVX FA

O projeto llama.cpp lançou a compilação b11118, que inclui um novo recurso hex-dma introduzindo um cache DMA de mapeamento direto mais adequado para o tratamento de máscaras FA do Hexagon Vector eXtended (HVX).