github llama.cpp · há 1 h · inference

llama.cpp b10622 corrige falha OOM do Metal no iOS/macOS

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10622, que inclui uma correção crítica para o backend do Metal para evitar falhas por falta de memória. A atualização aborda um problema onde `ggml_metal_buffer_init` retornando NULL devido a uma falha de alocação não era verificado, levando a uma falha grave via `EXC_BAD_ACCESS` ao dereferenciar o ponteiro nulo.

metal: Adicionada uma verificação de nulo para os resultados de `ggml_metal_buffer_init` em `ggml_backend_metal_buffer_type_alloc_buffer` para lidar com condições OOM de forma graciosa.
cont: Corrigidos problemas de log dentro da base de código.

Esta alteração garante que dispositivos com memória limitada, como o iOS, possam exibir erros diagnosticáveis em vez de falhar quando um modelo ou contexto excede o orçamento disponível do Metal.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Quantization-Aware Healing: um modelo comprimido de 4 bits que supera seu original de precisão completa

O artigo apresenta o Quantization-Aware Healing, um método para criar um modelo comprimido de 4 bits que alcança desempenho superior ao do seu original de precisão completa.

lab Hugging Face Blog · há 1 h · 1 visualização Ao vivo

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.

lab Hugging Face Blog · há 1 h · 5 visualizações Ao vivo

QAH da Multiverse Computing faz GPT-OSS em 4 bits superar sua versão original de precisão completa

A Multiverse Computing apresenta o Healing Consciente de Quantização (QAH), um método que destila grandes modelos de linguagem comprimidos e quantizados diretamente a partir de seus professores originais pré-compressão. Aplicado a um modelo GPT-OSS 120B comprimido para 60B parâmetros e quantizado para MXFP4, a abordagem produz um modelo que supera sua própria versão bfloat16 de precisão completa em 7 dos 9 benchmarks.

github llama.cpp · há 2 h · 1 visualização

llama.cpp 0.3.0 adiciona modelo dots3-note e tensor-split para DeepSeek 4

O llama.cpp 0.3.0 introduz suporte ao modelo multimodal dots3-note com um novo tipo de cache KV DSA-ISWA, além de suporte à previsão multi-token (MTP) para GLM-4.5-Air. A versão também adiciona capacidades de tensor-split para DeepSeek 4 e corrige problemas de rollback em múltiplas sequências.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10618 corrige a análise de gramática para hífens literais em classes de caracteres

O projeto llama.cpp lançou a compilação b10618, que inclui uma correção para o analisador de gramática para lidar corretamente com hífens literais dentro de classes de caracteres. Anteriormente, a função `gbnf_escape_char_class()` escapava o hífen como "\-", mas a função `parse_char()` rejeitava essa sequência de escape, fazendo com que as gramáticas geradas para chamadas de ferramentas falhassem durante a análise.