DiffusionGemma 26B funciona a hasta 475t/s en un 4090 mediante vLLM con cuantización INT4 AWQ, alcanzando velocidades entre 290t/s y 700t/s según la longitud de salida. Sin embargo, sufre de operación para un solo usuario, menor precisión de respuesta, pérdida rápida del contexto y mayor tiempo hasta el primer token en comparación con los modelos estándar de 26B.
media
r/LocalLLaMA
·
hace 104 d
·
open_models
DiffusionGemma 26B en 4090 alcanza 475t/s con limitaciones
Traducido del English → Español
Artículos relacionados
media
r/LocalLLaMA
·
hace 103 d
·
9 vistas
GLM 5.2 alcanza el 98% de inteligencia máxima con menos de la mitad de tokens
GLM 5.2 demuestra el 98% de su inteligencia máxima en tareas de codificación utilizando menos de la mitad de su presupuesto total de tokens, según un informe técnico de z_ai. La eficiencia de razonamiento del modelo ha mejorado significativamente, con un aumento en el uso de tokens de 16.7k a 36.7k entre GLM 5.1 y GLM 5.2, aunque las configuraciones de alto nivel pueden sobrecargar el rendimiento del hardware local.
media
r/LocalLLaMA
·
hace 103 d
·
13 vistas
El costo de $1800 en GPU ejecuta Qwen3.6-27B con contexto de 262K y 55 tok/s
Una configuración con cuatro GPUs 5060 Ti (totalizando $1800) logra 55 tokens por segundo con Qwen3.6-27B-FP8, soportando una longitud de contexto de 262K y caché KV bfloat16. La configuración utiliza P2P y FlashInfer, con resultados de benchmark que muestran un rendimiento de salida de 55.67 tokens y una tasa de aceptación de decodificación especulativa del 65.25%.
media
r/LocalLLaMA
·
hace 104 d
·
8 vistas
Discrepancia entre el rendimiento de Llama Bench y el del mundo real
El usuario reporta una brecha significativa entre los resultados de las pruebas de Llama y el rendimiento real del modelo. Las pruebas muestran 754 tk/s de prefill y 36 tk/s de generación, pero el uso real revela solo 7.98 tokens por segundo, con alta latencia y bajo throughput. La discrepancia se atribuye a las condiciones de uso en el mundo real, no a la configuración de las pruebas, lo que sugiere que el rendimiento real del modelo está muy por debajo de la velocidad medida en las pruebas.
arxiv
arXiv cs.CL
·
hace 106 d
·
6 vistas
SwiftTrans mejora la eficiencia de traducción de código en LLM
SwiftTrans aborda las brechas de eficiencia en tiempo de ejecución en la traducción de código basada en LLM mediante la introducción de Exploración Multi-Perspectiva y Selección Consciente de Diferencias. El marco extiende CodeNet, F2SBench e introduce SwiftBench para evaluar el rendimiento en tiempo de ejecución, mostrando mejoras consistentes tanto en corrección como en eficiencia a través de las pruebas.
media
MarkTechPost
·
hace 2 d
·
5 vistas
Fireworks AI lanza Ember-1, un Kimi K3 post-entrenado que usa 40% menos tokens
Fireworks AI ha lanzado Ember-1, un modelo especializado creado mediante el post-entrenamiento del Kimi K3 de pesos abiertos de Moonshot AI para generar trazas de razonamiento más cortas mientras mantiene la precisión en las tareas. A diferencia de simplemente reducir la configuración del esfuerzo de razonamiento durante la inferencia, Ember-1 está entrenado para eliminar el razonamiento redundante y los bucles improductivos.