github llama.cpp · há 11 h · inference

llama.cpp b11273 adiciona suporte a classifier_pooling para rerankers do ModernBERT

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11273, que introduz suporte ao método `classifier_pooling` em modelos de reranking, direcionado especificamente às arquiteturas ModernBERT.

A atualização modifica `load_hparams` para ler o tipo de pooling do classificador nas configurações do modelo.
A lógica de conversão agora restringe os valores aceitos de `classifier_pooling` apenas a 'cls' e 'mean'.
O nome interno do parâmetro `classifier_pooling_type` foi renomeado para `pooling_type_cls` para maior clareza.
Modelos ModernBERT retornam ao pooling médio se o tipo específico não for explicitamente especificado na configuração.

Esta alteração permite que os usuários carreguem e utilizem corretamente rerankers do ModernBERT dentro do llama.cpp, respeitando seus requisitos específicos de pooling.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 8 h · 1 visualização

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b11282 define CUDA_ARCH para passes de dispositivo MUSA

O projeto llama.cpp lançou a compilação b11282, que inclui uma correção para definir a macro `CUDA_ARCH` para os passes de dispositivo MUSA. Anteriormente, o cabeçalho do fornecedor MUSA não definia essa variável, fazendo com que os testes de arquitetura nas fontes ggml-cuda compartilhadas avaliassem zero e resultassem em corpos de kernel vazios.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).