media Hugging Face Forums · há 2 d · open_models

TheImmortalPython lança pklm-sandbox para mascaramento local de tokens

Traduzido do English → Português (BR)

TheImmortalPython lançou o pklm-sandbox, uma ferramenta leve de código aberto projetada para desenvolvedores que experimentam restrições de geração personalizadas no Hugging Face transformers.

Ele fornece um sandbox direto para testar pipelines personalizados de mascaramento de tokens e contenção linguística sem deriva usando a arquitetura LogitsProcessor.
A instalação está disponível via pip do repositório GitHub.
O processador permite que os usuários bloqueiem IDs de tokens específicos diretamente dentro do pipeline padrão generate().

O projeto visa dar aos desenvolvedores um ponto de partida limpo para implementar controle de tokens personalizado localmente.

Importância 1/3 Confiança 1/3 Hugging Face Forums Local inference

Ler original

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

github llama.cpp · há 7 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 13 h · 2 visualizações

llama.cpp b11272 otimiza operação de concatenação Hexagon

O projeto llama.cpp lançou a compilação b11272, que inclui otimizações para o backend Hexagon. A mudança principal foca na otimização da operação de concatenação para melhorar o desempenho em hardware Qualcomm Snapdragon.

github llama.cpp · há 1 d · 7 visualizações

llama.cpp b11260 adiciona suporte para FP32 GELU_ERF e GEGLU_ERF

O projeto llama.cpp lançou a versão b11260, introduzindo suporte para as funções de ativação FP32 GELU_ERF e GEGLU_ERF no backend Hexagon. Esta atualização também inclui otimizações para reduzir a pressão de registradores nos kernels associados.