La cuantización de caché KV con QAT para Gemma 4 31B reduce significativamente la divergencia KL en comparación con las cuantizaciones estándar. QAT q8_0 logra una divergencia en el peor caso de 1.5, superando a q4_0 estándar por un factor de aproximadamente 38, y QAT q4_0 supera a q8_0 estándar en rendimiento, con una deriva de salida mucho menor y sin valores atípicos catastróficos.
Ling and Ring 2.6 ha lanzado los modelos base para Ling-2.6-1T y Ling-2.6-flash, ambos disponibles en Hugging Face. El modelo Ling-2.6-flash (100B parámetros) permite una inferencia rápida para usuarios con 24-32GB de VRAM, ofreciendo alto rendimiento en inferencia solo con CPU y 32GB de RAM.
Un usuario pregunta si un Jetson Orin Nano puede ejecutar un modelo de codificación como Qwen. Consideran Qwen 35B con MOE 3B pero notan que podría ser demasiado grande para el dispositivo.
Un benchmark muestra que Gemma 4 QAT 31B tiene un mejor rendimiento con la cuantización de KV cache en comparación con versiones anteriores. Los resultados se derivaron de una publicación en el subreddit LocalLLaMA, donde el usuario justicecurcian compartió datos de rendimiento.
Una pull request añade soporte para Step3.5 y Step3.7 Flash MTP3 en llama.cpp. Esta mejora permite un mejor rendimiento con modelos específicos aprovechando operaciones de MTP3 multicapa. La actualización está disponible en la última versión de llama.cpp y da seguimiento a PR #23274.
Un usuario informa que ejecuta Gemma 4 31B Q6 en dos tarjetas NVIDIA 9060 XT de 16GB, logrando un rendimiento constante de 8-9 tokens por segundo. Señalan que el rendimiento es utilizable pero está por debajo de las expectativas, sugiriendo posibles optimizaciones o limitaciones de hardware.
Una discusión en Reddit compara los modelos Gemma 4 31B Q6 y Gemma 4 31B QAT, centrándose en el rendimiento para tareas de escritura creativa. Los usuarios buscan orientación sobre qué variante ofrece mejores resultados generales, con preguntas sobre KLD (Divergencia de Kullback-Leibler) como métrica de calidad del modelo.
Una evaluación analizó 192 prompts en modelos locales de texto a imagen en un GX10 Spark, evaluando capacidades como comprensión de texto, generación de rostros y composición espacial. Los resultados están disponibles en ImageBench, con comparaciones a APIs de vanguardia usando modelos de lenguaje visuales, y todos los prompts e imágenes son de acceso público.
Los usuarios comparten sus flujos de trabajo para codificar con LLMs locales cuando la generación de tokens es inferior a 10 tokens por segundo. Las estrategias comunes incluyen el uso de prompts concisos, aprovechar modelos locales con contexto mínimo y agrupar consultas para maximizar la eficiencia.
Un usuario pregunta sobre herramientas para convertir PDFs con estructuras complejas como tablas y cajas flotantes a Markdown. Ha probado markitdown, Docling y Mineru, y busca recomendaciones para mejores alternativas.
Un usuario busca recomendaciones del stack de software para construir un proyecto web en Python en PyCharm utilizando LLMs locales. Su objetivo es aprovechar sistemas de agentes que puedan generar planes, ejecutar código y realizar pruebas, con experiencia previa en los modelos GPT-OSS y Qwen mostrando diferencias de rendimiento y calidad.
Un usuario reportó que eliminar la variable de entorno GGML_CUDA_ALLREDUCE llevó a una mejora notable en el throughput (TPS) para MTP en inferencia de LLM local. El cambio, que previamente se consideraba beneficioso, redujo inesperadamente la sobrecarga y mejoró el rendimiento, especialmente después de extensos ensayos de configuración.
Un usuario expresa decepción con la interfaz web de Hermes Agent, citando fuentes y gráficos feos, así como una experiencia de usuario lenta tanto en las interfaces web como de terminal. A pesar de su promesa de funciones integradas y facilidad de uso, el usuario lo encuentra significativamente más lento y menos intuitivo que Pi Mono Agent, especialmente cuando se usa con los modelos Qwen3.6-35B y Gemma4-26B.
La tabla de clasificación de modelos del análisis artificial ayuda a comparar la inteligencia de los modelos, pero ignora los efectos de la cuantización en los modelos abiertos. Los usuarios preguntan si hay una mejor manera de comparar modelos abiertos cuantizados con los propietarios sin ejecutarlos directamente.
Un usuario de Reddit expresa su gratitud a la comunidad LocalLLaMA, compartiendo que el post no trata sobre un nuevo modelo sino un agradecimiento personal. Como padre, destaca el valor de la comunidad como refugio durante la vida familiar, apreciando las interacciones sobre configuración, hardware y ajuste de modelos.
Una guía exhaustiva sobre la optimización de la inferencia de LLM local abarca la gestión de VRAM, el caché KV, la colocación de MoE, MTP, la optimización de CPU y los problemas comunes de falta de memoria. La guía está disponible en https://carteakey.dev/blog/local-inference/local-llm-optimization/ e incluye solicitudes de comentarios del autor.
GLM-5.2 ha sido evaluado en el benchmark DeepSWE, con el rendimiento destacado en la esquina superior derecha de la visualización. La publicación señala que las puntuaciones disminuyen a medida que aumenta el precio, y remite al sitio web de DeepSWE y ArtificialAnalysis para evaluaciones alternativas, mientras aborda críticas y contexto histórico sobre la validez del benchmark.
Cloudflare ahora permite a los usuarios implementar aplicaciones de Workers sin una cuenta permanente mediante el comando npx wrangler deploy --temporary. Cada implementación se ejecuta en un proyecto efímero que permanece activo durante 60 minutos, con un enlace de reclamación que expira en menos de una hora si no se reclama la propiedad.
sqlite-utils 4.0rc1 introduce soporte para migraciones y transacciones anidadas. El lanzamiento está documentado en el blog de Simon Willison.
sqlite-utils 4.0rc1 introduce migraciones de base de datos y db.atomic() para transacciones anidadas. Las migraciones admiten cambios de esquema basados en scripts mediante una API simplificada, mientras que db.atomic() permite transacciones anidadas a través de puntos de guardado, mejorando el manejo de errores y la integridad de los datos. La versión incluye cambios incompatibles con versiones anteriores, como un comportamiento actualizado de upsert y la eliminación del soporte para Python 3.8, con opciones para mantener comportamientos antiguos.