github llama.cpp · há 1 h · inference

llama.cpp b10924 corrige a análise de comandos do estado do roteador para evitar downloads pendentes

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10924, que corrige um bug no roteador do servidor onde os comandos de estado filho não eram estruturados como linhas inteiras. Esse problema ocorreu porque o logger emitia sequências de escape de reset de cor à direita sem novas linhas no stderr, fazendo com que ficassem coladas ao próximo comando lido do stdout por meio de um pipe compartilhado.

A correção escreve os comandos com uma nova linha inicial para garantir que sempre comecem em um limite de linha, impedindo que o roteador interprete erroneamente comandos de estado como linhas de log.
Isso resolve um problema em que downloads concluídos permaneciam pendentes no estado de download devido a falhas nas verificações de prefixo de linha.
A versão inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta atualização garante o tratamento confiável da conclusão de downloads no ambiente do servidor llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · agora mesmo · 1 visualização Ao vivo

llama.cpp b10921 alinha as vinculações de tensores do WebGPU ao tamanho do bloco

O projeto llama.cpp lançou a compilação b10921, que inclui uma correção para o WebGPU alinhando as vinculações de tensores ao tamanho do bloco do tipo. Essa alteração garante que as visualizações quantizadas por bloco recebam um deslocamento de elemento válido no shader, percorrendo o deslocamento da vinculação para trás até que a distância ao tensor seja um número inteiro de blocos.

github llama.cpp · agora mesmo · 1 visualização Ao vivo

llama.cpp b10922 adiciona kernel binário OpenCL A8 Q4_K

O projeto llama.cpp lançou a versão b10922, introduzindo um novo kernel binário OpenCL para multiplicações de matriz não-MoE de A8 Q4_K. Esta atualização também inclui correções de compatibilidade de layout e renomeia os auxiliares de seleção de kernel binário dentro da base de código.

media Latent Space · há 3 h · 1 visualização

DeepSeek lança v4.1-Flash com arquitetura 763B-P8B-D16B para inferência eficiente

A DeepSeek lançou o DeepSeek v4.1-Flash, um novo modelo principal de pesos abertos que apresenta uma nova arquitetura causal codificador-decodificador projetada para maximizar a eficiência da inferência e reduzir custos.

github llama.cpp · há 5 h · 1 visualização

hexagon adiciona suporte à divisão por linhas para paralelismo de modelos em múltiplos dispositivos

O backend hexagon introduz suporte para dividir modelos entre vários dispositivos usando uma estratégia de divisão por linhas. Esta alteração permite a distribuição de trabalho em núcleos fundidos e atualiza a configuração do dispositivo para lidar com grupos de dispositivos.

media Hugging Face Forums · há 7 h · 1 visualização

Proposta para tempo de execução de IA neutro em relação a fornecedores com execução consciente do orçamento de memória

Uma proposta nos fóruns da Hugging Face descreve uma camada comum de execução de GPU e gerenciamento de memória projetada para desacoplar o código de aplicação de fornecedores específicos de hardware, como NVIDIA, AMD e Intel. O objetivo é permitir que os usuários especifiquem um orçamento de memória em vez de configurar manualmente sinalizações específicas do backend, mapeamentos de dispositivo ou estratégias de offloading.