github llama.cpp · há 1 h · inference

llama.cpp b10229 corrige dados de profiling do OpenCL não sendo despejados

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10229, que inclui uma correção crítica para o backend do OpenCL. A atualização aborda um problema onde os dados de profiling falhavam em serem escritos durante o término do programa.

A correção incrementa o `ref_count` em `ggml_backend_opencl_init()` para evitar que se torne -1 no método `free()`.
Isso garante que os dados de profiling sejam corretamente despejados e salvos quando `GGML_OPENCL_PROFILING` está habilitado.
Os binários estão disponíveis para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e HIP.

Esta mudança garante que os usuários que dependem do profiling do OpenCL possam capturar e analisar com sucesso as métricas de desempenho sem perda de dados.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Hardik Kumar publica matriz de preços de inferência da HF com spread de até 4,66x

Um novo conjunto de dados publicado no Hugging Face fornece uma matriz de preços abrangente para provedores de inferência de modelos, revelando disparidades significativas de custo para os mesmos modelos entre diferentes fornecedores.

github llama.cpp · há 22 h · 7 visualizações

llama.cpp b10219 persiste reasoning_content no histórico de chat

O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.

media r/LocalLLaMA · há 1 d · 3 visualizações

Meituan lança LongCat-Flash-Lite-Sparse com janela de contexto de 1M

A Meituan lançou os pesos para o LongCat-Flash-Lite-Sparse, uma nova variante de seu modelo LongCat-Flash-Lite. A atualização introduz o LongCat Sparse Attention (LSA) para substituir o MLA denso e estende o suporte nativo ao comprimento do contexto para 1 milhão de tokens.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10218 adiciona suporte a downsample do minicpmv46

O projeto llama.cpp lançou a compilação b10218, que inclui a adição do suporte ao downsample do minicpmv46 por meio do pull request #25993. Esta atualização introduz um merger VIT 4x ignore e coloca o modo downsample dentro do formato GGUF.

github llama.cpp · há 2 d · 8 visualizações

llama.cpp b10216 adiciona suporte a pooling 1D ao backend Vulkan

O projeto llama.cpp lançou a versão b10216, que introduz suporte completo para GGML_OP_POOL_1D no backend Vulkan. Esta atualização inclui um novo shader de computação que espelha a implementação existente de pool2d e corrige uma falha que ocorria quando as dimensões do tensor resultavam em limites finais negativos.