github llama.cpp · agora mesmo · inference

llama.cpp b10889 evita alocação de cache V para o indexador

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10889, que inclui uma otimização de memória para evitar alocar o cache V para o indexador, já que ele não é utilizado.

Esta atualização fornece binários pré-compilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x com CPU, Vulkan, ROCm 10.0, OpenVINO e backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) e openEuler.

O lançamento também inclui a interface do usuário llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 17 h · 1 visualização

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.

media r/LocalLLaMA · há 20 h · 1 visualização

gtrg55 lança versão quantizada em INT4 do NVIDIA Cosmos3 64B para geração de imagens local

Um usuário publicou código e pesos para executar o modelo Cosmos3 da NVIDIA com 64 bilhões de parámetros localmente usando quantização INT4. A implementação suporta tarefas de Texto para Imagem e Imagem para Vídeo no Apple Silicon via MLX, bem como CUDA.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10872 corrige operando esquerdo nulo na busca de templates do Jinja

O projeto llama.cpp lançou a compilação b10872, que inclui uma correção para o tratamento de templates do Jinja. A atualização aborda um problema onde templates que definem por padrão uma variável opcional como none e testam sua pertinência em um mapa anteriormente geravam um erro.