media Hugging Face Forums · há 1 h · open_models

Hardik Kumar publica matriz de preços de inferência da HF com spread de até 4,66x

Traduzido do English → Português (BR)

Um novo conjunto de dados publicado no Hugging Face fornece uma matriz de preços abrangente para provedores de inferência de modelos, revelando disparidades significativas de custo para os mesmos modelos entre diferentes fornecedores.

A análise abrange 107 modelos de 14 provedores, totalizando 295 listagens retiradas do roteador HF.
Qwen3-235B-A22B apresenta o maior spread de preços de 4,66x entre as opções listadas.
openai/gpt-oss-120b está disponível através de 10 provedores com uma diferença de preço de 4,41x apesar de ter os mesmos pesos e saídas.
DeepInfra é identificado como a opção mais barata para a maioria dos modelos, embora os líderes em latência variem conforme o modelo.

O conjunto de dados, atualizado mensalmente, permite que os usuários comparem custos e identifiquem o provedor mais econômico antes de se comprometer com gastos de longo prazo.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency

Ler original

llama.cpp b10219 persiste reasoning_content no histórico de chat

O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.

media r/LocalLLaMA · há 9 h · 1 visualização

Meituan lança LongCat-Flash-Lite-Sparse com janela de contexto de 1M

A Meituan lançou os pesos para o LongCat-Flash-Lite-Sparse, uma nova variante de seu modelo LongCat-Flash-Lite. A atualização introduz o LongCat Sparse Attention (LSA) para substituir o MLA denso e estende o suporte nativo ao comprimento do contexto para 1 milhão de tokens.

github llama.cpp · há 12 h

llama.cpp b10218 adiciona suporte a downsample do minicpmv46

O projeto llama.cpp lançou a compilação b10218, que inclui a adição do suporte ao downsample do minicpmv46 por meio do pull request #25993. Esta atualização introduz um merger VIT 4x ignore e coloca o modo downsample dentro do formato GGUF.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10216 adiciona suporte a pooling 1D ao backend Vulkan

O projeto llama.cpp lançou a versão b10216, que introduz suporte completo para GGML_OP_POOL_1D no backend Vulkan. Esta atualização inclui um novo shader de computação que espelha a implementação existente de pool2d e corrige uma falha que ocorria quando as dimensões do tensor resultavam em limites finais negativos.

github llama.cpp · há 1 d

llama.cpp b10215 adiciona verificação de versão do driver de GPU Intel no Windows para corrigir travamentos

O projeto llama.cpp lançou a compilação b10215, que introduz uma verificação de versão do driver para GPUs Intel no Windows para mitigar problemas de travamento. Esta alteração aborda a instabilidade causada por versões específicas do driver, corrigindo especificamente os travamentos a partir da versão 32.0.101.8860.