media Hugging Face Forums · hace 1 h · open_models

Quesma publica un mapa curado de 218 herramientas y artículos para la eficiencia del costo de tokens en LLM

Traducido del English → Español

Quesma ha lanzado una lista abierta y curada que contiene 218 entradas que rastrean dónde se gastan los tokens en flujos de trabajo de LLM y agentes. El recurso cubre monitoreo, caché semántico, modelos locales económicos, ingeniería de contexto y gobernanza de costos.

Cada entrada incluye una cita y fecha, excluyendo deliberadamente afirmaciones que carecen de números o métodos de apoyo. Su objetivo es distinguir entre tokens desperdiciados y aquellos bien invertidos.

Los mantenedores invitan a correcciones por inexactitudes y acogen sugerencias para nuevas entradas, las cuales pasan por el mismo proceso de revisión que el contenido existente.

Importancia 1/3 Confianza 1/3 Hugging Face Forums AI agents Inference efficiency

Leer original

ThunderAgent logra una inferencia agente 2 veces más rápida mediante programación a nivel de programa

ThunderAgent es un sistema que introduce una abstracción de programa para la programación de solicitudes LLM agentes con el fin de abordar el thrashing del caché KV en la generación de datos sintéticos de alta concurrencia. Al tratar los flujos de trabajo de agentes como programas programables en lugar de solicitudes independientes, mejora significativamente el rendimiento y reduce la latencia.

lab OpenAI News · hace 5 d · 13 vistas

GPT-5.6 mejora la eficiencia de la IA en modelos, inferencia y flujos de trabajo agénticos

GPT-5.6 mejora la eficiencia de la inteligencia artificial en múltiples dimensiones, incluyendo la arquitectura del modelo, los procesos de inferencia y los flujos de trabajo agénticos.

media Hugging Face Forums · hace 14 d · 1 vista

Los agentes de voz en producción con LLMs locales enfrentan latencia persistente y límites de contexto

Un equipo que ejecuta dos agentes de voz en producción en España utilizando Retell AI, Ollama y modelos locales en una RTX 4000 Ada informa que, aunque la calidad de la conversación mejoró, el problema central de latencia sigue sin resolverse. La restricción principal es un tiempo de espera (~3 segundos) de Retell AI; si el LLM no logra producir un primer token dentro de esta ventana, la conexión se interrumpe, lo que lleva a la terminación de la llamada después de dos reconexiones.

media r/LocalLLaMA · hace 19 d

A.L.F.R.E.D. destila el conocimiento de modelos grandes en modelos de 2B para una ejecución más rápida

El artículo presenta A.L.F.R.E.D., un enfoque llamado Adaptive Local-First Routing and Execution Distillation, que tiene como objetivo reducir los costos de computación al enrutar tareas más simples a modelos más pequeños.

lab Hugging Face Blog · hace 19 d

Construcción de un enrutador de modelos que optimiza simultáneamente el costo, la latencia y la precisión

El artículo sostiene que el enrutamiento de modelos en sistemas agénticos es un problema de optimización de sistemas más que una tarea de clasificación simple, impulsado por tres complejidades clave: los costos reales dependen del comportamiento de caché en lugar del precio etiquetado, la dificultad de la tarea a menudo es invisible en el momento del enrutamiento y la latencia está dominada por el estado de la infraestructura.