github llama.cpp · há 2 h · inference

llama.cpp b10589 adiciona suporte a CUDA POOL_1D

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10589, que introduz o suporte a CUDA POOL_1D por meio do pull request #27573. Esta atualização também inclui uma correção para conformidade com editorconfig, adicionando uma nova linha final ausente.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (x64 e arm64) e Android. Os backends suportados incluem CPU, CUDA 12/13, Vulkan, ROCm 7.14, OpenVINO, SYCL e OpenCL Adreno.

Este lançamento permite que os usuários executem o llama.cpp em uma ampla gama de arquiteturas de hardware e sistemas operacionais com a nova capacidade de pooling.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10587 adiciona PAD_REFLECT_1D ao backend Vulkan

O projeto llama.cpp lançou a compilação b10587, que introduz a operação GGML_OP_PAD_REFLECT_1D no backend Vulkan. Esta atualização implementa o shader de computação GLSL necessário e o registra para compilação SPIR-V dentro do módulo ggml-vulkan.

github llama.cpp · há 18 h · 2 visualizações

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor

O projeto llama.cpp lançou a compilação b10584, abordando um problema crítico onde o tamanho do contexto de rascunho não correspondia ao contexto alvo, fazendo com que as solicitações do servidor falhassem com erros 500.

media Hugging Face Forums · há 21 h · 4 visualizações

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.

github llama.cpp · há 23 h · 2 visualizações

llama.cpp b10581 adiciona suporte DSpark para bailinmoe3

O projeto llama.cpp lançou a compilação b10581, que introduz suporte para o backend DSpark para habilitar o modelo bailinmoe3.

github llama.cpp · há 1 d · 1 visualização

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.