github llama.cpp · há 1 h · inference

llama.cpp b10093 corrige o modelo DeepSeek v4 e adiciona a flag drop_reasoning

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a build b10093, que inclui atualizações específicas para suportar os modelos DeepSeek v4. O lançamento aborda o tratamento de templates e introduz novas flags de configuração para esta família de modelos.

Corrige o template crafted do DeepSeek v4 para seguir explicitamente o comportamento de referência.
Adiciona suporte à flag `drop_reasoning` do DeepSeek v4.
Conecta o parser do DeepSeek 3.2 para também lidar com entradas do DeepSeek v4.
Inclui uma correção para a reordenação de resultados de ferramentas.

Esta atualização garante a formatação correta do chat e o tratamento de tokens de raciocínio para os modelos DeepSeek v4 dentro do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 2 d

llama.cpp b10076 vetoriza get_rows com cópia int4 para aceleração de 27%

O projeto llama.cpp lançou a compilação b10076, que introduz uma otimização de desempenho no backend CUDA ao vetorizar a operação `get_rows` usando cópias int4. Essa mudança eleva o trabalho invariante à linha para fora do loop por elemento e adiciona um caminho vetorizado que copia 16 bytes por thread para dados contíguos do mesmo tipo.

media Hugging Face Forums · há 5 d · 2 visualizações

zhongkaifu lança o TensorSharp, um mecanismo de inferência LLM nativo para .NET voltado a modelos GGUF

zhongkaifu lançou o TensorSharp, um mecanismo de inferência local de LLM de código aberto construído inteiramente em C# que suporta Windows, macOS e Linux. O mecanismo lida com modelos GGUF do Unsloth, incluindo Gemma 4 e Qwen 3.6 com capacidades multimodais, ao mesmo tempo que fornece APIs compatíveis com OpenAI e Ollama.

github llama.cpp · agora mesmo Ao vivo

llama.cpp b10094 infere tipo especulativo a partir de sidecars do repositório rascunho

O projeto llama.cpp lançou a versão b10094, introduzindo um recurso que detecta automaticamente o tipo de decodificação especulativa a partir de sidecars do repositório rascunho. Anteriormente, ao usar a flag `-hfd` para apontar para um repositório contendo sidecars mtp-, dflash- ou eagle3- sem fornecer explicitamente `--spec-type`, o sistema resolvia incorretamente o rascunho como um modelo completo.

lab Tencent Hunyuan (HF) · há 6 h

Tencent abre o código-fonte dos modelos de tradução multilíngue Hy-MT2 e do IFMTBench

A Tencent lançou a família de modelos de tradução multilíngue "de raciocínio rápido" Hy-MT2, incluindo tamanhos de 1.8B, 7B e 30B-A3B (MoE), juntamente com o benchmark IFMTBench para avaliar capacidades de seguimento de instruções.