media Hugging Face Forums · há 1 h · open_models

liventruth lança UL-SMF para compressão de cache KV 384x usando FSQ

Traduzido do English → Português (BR)

O desenvolvedor liventruth disponibilizou como código aberto o Unified Latent-State Memory Fabric (UL-SMF), uma arquitetura co-projetada de hardware e software que comprime caches Key-Value padrão FP32 em um espaço latente discreto de 16 dimensões usando Quantização Escalar Finita (FSQ).

Alcança uma taxa de compressão de 384x, reduzindo um bloco FP32 de 48 MB para 0,12 MB.
Mantém similaridade cossina entre 94,15% e 95,84% para retenção semântica em tensores de atenção de LLMs reais.
Demonstra latência de pipeline de aproximadamente 14,1 ms a 19,6 ms na verificação de eventos CUDA end-to-end.
Fornece um pacote Python autossuficiente que permite aos usuários fazer monkey-patch nas camadas de atenção padrão do Transformer com duas linhas de código.

O UL-SMF visa resolver o gargalo de memória na inferência de Transformers de contexto longo combinando FSQ com mapeamento latente dinâmico, sendo licenciado duplamente sob AGPLv3 com opções comerciais disponíveis.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Open weights

Ler original

webAI lança TwIL-LM, uma família de modelos de lógica formal de 1.7B e 3B para autoformalização local

A webAI lançou o TwIL-LM, uma família de dois modelos de raciocínio em lógica formal com 1.7B e 3B de parâmetros, projetada para autoformalização em hardware local. Os modelos traduzem inglês para lógica de primeira ordem e verificam a validade das conclusões, com a variante de 3B alcançando uma pontuação macro gate de 0.4218 em tarefas de lógica formal dentro do domínio.

media Hugging Face Forums · há 8 d · 1 visualização

QuantCheck alerta contra assumir que o checkpoint final é o melhor para quantização de 4 bits

Uma nova ferramenta chamada QuantCheck destaca que o checkpoint final do pré-treinamento pode não ser a escolha ideal para a quantização de 4 bits, pois os benchmarks podem permanecer planos enquanto a fragilidade aumenta. O autor observou esse padrão no Pythia-160m, onde o checkpoint final sofreu aproximadamente quatro vezes mais danos à qualidade do que um checkpoint anterior de igual qualidade.

media r/LocalLLaMA · há 12 d · 3 visualizações

Meituan lança LongCat-Flash-Lite-Sparse com janela de contexto de 1M

A Meituan lançou os pesos para o LongCat-Flash-Lite-Sparse, uma nova variante de seu modelo LongCat-Flash-Lite. A atualização introduz o LongCat Sparse Attention (LSA) para substituir o MLA denso e estende o suporte nativo ao comprimento do contexto para 1 milhão de tokens.

media MarkTechPost · há 14 d

Tencent lança AngelSpec, um framework de treinamento unificado para MTP e decodificação especulativa em bloco-paralelo

A Tencent lançou o código aberto do AngelSpec, um framework de treinamento nativo para torch que suporta tanto a previsão multi-token autoregressiva (MTP) quanto os drafters da família DFlash em bloco-paralelo para modelos Hy3. O sistema trata a heterogeneidade da carga de trabalho como uma restrição primária de design, permitindo especializar estrutura, dados de treinamento e profundidade de verificação com base em casos de uso específicos.

lab Liquid AI · há 16 d

Liquid AI lança LFM2.5-Encoders para inferência rápida de contexto longo em CPU

A Liquid AI lançou dois novos modelos de codificação, LFM2.5-Encoder-230M e LFM2.5-Encoder-350M, projetados para fornecer codificação bidirecional de alta qualidade com escalonamento eficiente até um comprimento de contexto de 8.192 tokens.