github llama.cpp · há 1 d · inference

llama.cpp b10872 corrige operando esquerdo nulo na busca de templates do Jinja

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10872, que inclui uma correção para o tratamento de templates do Jinja. A atualização aborda um problema onde templates que definem por padrão uma variável opcional como none e testam sua pertinência em um mapa anteriormente geravam um erro.

Trata um operando esquerdo nulo de 'in' como uma busca simples, correspondendo ao comportamento padrão do Jinja.
Resolve erros em templates que testam a pertinência de variáveis indefinidas contra mapas.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) e openEuler.

Esta alteração garante a compatibilidade de templates com a semântica padrão do Jinja para variáveis indefinidas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10889 evita alocação de cache V para o indexador

O projeto llama.cpp lançou a compilação b10889, que inclui uma otimização de memória para evitar alocar o cache V para o indexador, já que ele não é utilizado.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 17 h · 1 visualização

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.

media r/LocalLLaMA · há 20 h · 1 visualização

gtrg55 lança versão quantizada em INT4 do NVIDIA Cosmos3 64B para geração de imagens local

Um usuário publicou código e pesos para executar o modelo Cosmos3 da NVIDIA com 64 bilhões de parámetros localmente usando quantização INT4. A implementação suporta tarefas de Texto para Imagem e Imagem para Vídeo no Apple Silicon via MLX, bem como CUDA.