media Hugging Face Forums · agora mesmo · open_models

Trimwise: remoção de contexto consciente da consulta

Traduzido do English → Português (BR)

O autor lançou o Trimwise, uma biblioteca Python de código aberto projetada para ajustar o texto-fonte a um orçamento de contexto específico, removendo material irrelevante enquanto preserva evidências relevantes para a pergunta atual.

A biblioteca suporta remoção em fonte única por meio de `atrim` e remoção em múltiplas fontes por meio de `atrim_context`, que permite que as fontes compitam por um orçamento compartilhado.
Ela seleciona trechos existentes do texto-fonte em vez de gerar resumos, fornecendo informações de proveniência para rastrear o texto retido até suas entradas originais.
O caminho léxico padrão não requer pesos de modelo nem inferência de LLM, embora estejam disponíveis modos opcionais baseados em embeddings para seleção semântica e híbrida.
Os benchmarks publicados cobrem cenários específicos, com o autor buscando feedback sobre casos extremos como qualificadores perdidos, negação ou fatos revisados.

A ferramenta visa abordar a compensação em que a simples truncaçãodescarta contexto necessário, oferecendo uma maneira de reter evidências relevantes sem gerar novo texto.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Retrieval & RAG

Artigos relacionados

media Hugging Face Forums · há 4 d · 20 visualizações

Proposta para recuperar memória latente nativa de LLM em vez de texto no RAG

Uma discussão no Hugging Face propõe substituir a recuperação tradicional de texto em sistemas RAG por representações latentes nativas de LLM. A ideia envolve codificar documentos nos estados internos do modelo durante a indexação e recuperar esses estados para inferência, potencialmente contornando o custo de reprocessar o texto recuperado.

arxiv arXiv cs.CL · há 8 d · 35 visualizações

KuaFu comprime o comportamento do usuário em compreensão em escala de bilhões

A Tencent apresenta o KuaFu, uma camada unificada de compressão de comportamento que condensa o histórico bruto do usuário em representações compactas para agentes conversacionais e recomendadores. O sistema usa um projetor de dois eixos para comprimir cada item de comportamento em 2-4 tokens de largura 128-256, abordando gargalos no processamento de sequências longas para um bilhão de usuários.

media Hugging Face Forums · há 17 d · 36 visualizações

Roteamento semântico reduz em 41% os tokens de entrada do Qwen2.5 e a latência em 45% no teste de estresse com contexto de 14K

Um teste de estresse de GPU usando o modelo congelado Qwen2.5-7B-Instruct em 4 bits nas perguntas de ponte do HotpotQA demonstra que o roteamento semântico consciente da tarefa melhora significativamente a eficiência e a precisão sob condições com alto número de distratores. O estudo comparou o contexto completo limitado contra um seletor semântico consciente da consulta, que retém 60% do orçamento, revelando ganhos substanciais em velocidade e precisão.

media Hugging Face Forums · há 23 d · 28 visualizações

Roteamento consciente de conexões supera BM25 e promoção aleatória no Qwen2.5-7B

Uma avaliação com 600 casos no conjunto de dados MuSiQue, usando os modelos congelados Qwen2.5-7B-Instruct e MiniLM, testa se a seleção de contexto consciente de conexões pode superar o contexto completo e outras linhas de base.

lab Hugging Face Blog · há 42 d · 62 visualizações

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.