media Hugging Face Forums · há 1 h · open_models

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

Traduzido do English → Português (BR)

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.

Cada entrada inclui uma citação e data, excluindo deliberadamente afirmações que carecem de números ou métodos de apoio. O objetivo é distinguir entre tokens desperdiçados e aqueles bem gastos.

Os mantenedores convidam correções por imprecisões e acolhem sugestões para novas entradas, que passam pelo mesmo processo de revisão do conteúdo existente.

Importância 1/3 Confiança 1/3 Hugging Face Forums AI agents Inference efficiency

Ler original

ThunderAgent alcança inferência agêntica 2x mais rápida por meio de escalonamento em nível de programa

O ThunderAgent é um sistema que introduz uma abstração de programa para o escalonamento de solicitações de LLM agêntico, visando mitigar a oscilação do cache KV na geração de dados sintéticos de alta concorrência. Ao tratar fluxos de trabalho de agentes como programas escalonáveis em vez de solicitações independentes, ele melhora significativamente a taxa de transferência e reduz a latência.

lab OpenAI News · há 5 d · 13 visualizações

GPT-5.6 melhora a eficiência da IA em modelos, inferência e fluxos de trabalho agênticos

O GPT-5.6 aprimora a eficiência da inteligência artificial em múltiplas dimensões, incluindo arquitetura do modelo, processos de inferência e fluxos de trabalho agênticos.

media Hugging Face Forums · há 14 d · 1 visualização

Agentes de voz em produção com LLMs locais enfrentam latência persistente e limites de contexto

Uma equipe que executa dois agentes de voz em produção na Espanha usando Retell AI, Ollama e modelos locais em uma RTX 4000 Ada relata que, embora a qualidade da conversa tenha melhorado, o problema central de latência permanece sem solução. A principal restrição é um tempo limite de ~3 segundos do Retell AI; se o LLM não conseguir produzir um primeiro token dentro dessa janela, a conexão cai, levando ao encerramento da chamada após duas reconexões.

media r/LocalLLaMA · há 19 d

A.L.F.R.E.D. destila conhecimento de modelos grandes em modelos de 2B para execução mais rápida

O artigo apresenta o A.L.F.R.E.D., uma abordagem chamada Adaptive Local-First Routing and Execution Distillation, que visa reduzir custos de computação roteando tarefas mais simples para modelos menores.

lab Hugging Face Blog · há 19 d

Construindo um roteador de modelos que otimiza custo, latência e precisão simultaneamente

O artigo argumenta que o roteamento de modelos em sistemas agênticos é um problema de otimização de sistemas em vez de uma tarefa simples de classificação, impulsionado por três complexidades-chave: os custos reais dependem do comportamento de cache em vez do preço de etiqueta, a dificuldade da tarefa muitas vezes é invisível no momento do roteamento e a latência é dominada pelo estado da infraestrutura.