El indicador de bloqueo de transmisión ahora muestra "Esperando respuesta de la API · se reintentará en …" y se activa después de 20 segundos de silencio, reemplazando el mensaje y el retraso anteriores.
Un usuario de Reddit compartió que hace seis meses rechazó una oferta de $8,165 por una GPU RTX 6000 PRO. El mismo vendedor ahora lista la misma GPU por $11,575, lo que ha llevado al usuario a reflexionar sobre su decisión con perspectiva retrospectiva.
Los usuarios que reportan velocidades de inferencia local de GLM 5.2 usando llama.cpp en 6x RTX 3090 con 128GB DDR5 y un i7-13700K logran 7.8 tokens/seg a un tamaño de contexto de 90K con cuantización Q8_0. El procesamiento del prompt ocurre a aproximadamente 40 tokens/seg.
llama.cpp versión b9741 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con versiones actualizadas para iOS y Ubuntu.
Escribí una serie gratuita de 15 partes que detalla los internals de LLM, utilizando Gemma 4 12B como ejemplo principal. Cada parte cubre aspectos técnicos desde la tokenización hasta el servicio, con matemáticas reales, formas de tensores y restricciones de hardware. La serie incluye un Deep Dive complementario en vLLM y es completamente accesible sin muros de pago ni correo electrónico.
La extensión Qwen Code Companion para VSCode ya está disponible en el marketplace y se ha publicado como código abierto en https://github.com/QwenLM/qwen-code. Los usuarios reportan que funciona bien con modelos alojados en LM Studio, superando a otras herramientas de LLM locales como continue, kilo, cline y roo, con una configuración mínima necesaria.
Un usuario afirma que Gemma 4 26b a4b es el mejor modelo que ha probado para el aprendizaje de idiomas y consultas científicas, superando a Qwen 3.5/3.6 en estos dominios. El artículo destaca una brecha en los modelos MOE pequeños disponibles entre 20b y 30b, sugiriendo la necesidad de más opciones más allá de las tareas de codificación y agentes.
Un usuario tiene 24B créditos de tokens de un concurso de planes de tokens de Xiaomi, valorados en $50 pero obtenidos gratis. Informa un alto consumo de tokens durante el uso, soporte limitado para herramientas y ahora está preocupado por desperdiciar los créditos debido a su expiración en cuatro días. El modelo es elogiado por su tasa de aciertos en caché del 90% y una reducción del 99% en el precio de los accesos a la caché, con el usuario señalando que funciona bien en tareas de codificación y planificación.
Un parche aborda los fallos aleatorios en test-args-parser en Windows modificando la anulación de argv para que solo se aplique cuando argc coincida, evitando el sobrescritura de argumentos programáticos. Esto corrige una aserción fastfail en el flujo de trabajo de OpenVINO para Windows mientras se preserva el manejo de UTF-8 para binarios reales.
Un proyecto llamado Jaz presenta un tablero donde cada casilla funciona como un agente independiente responsable de mantener su propio estado. El sistema es de código abierto y está disponible en GitHub, con una demostración en vivo en jaz.chat, que requiere un agente de codificación como Claude Code o Codex para operar.
Una red neuronal profunda que se ejecuta localmente puede convertir cualquier imagen en un juego jugable, utilizando un modelo pequeño similar a Transformer entrenado desde cero. El modelo, que se ejecuta en una RTX 5090, genera secuencias de juegos de forma autoregresiva con entrada de teclado en tiempo real, aunque actualmente sufre de problemas de movimiento y contexto.
Un usuario expresa su frustración con los precios de Nvidia, habiendo comprado dos tarjetas R9700 a pesar de los precios actuales de la RTX 5090 en $7,000 y la RTX 6000 Pro en $13,500. Cuestiona si la R9700 fue un error dados los importantes aumentos de precio de las nuevas GPU de Nvidia.
Un usuario pide consejos sobre el uso de dos GPUs NVIDIA RTX 3090. La publicación incluye una imagen y enlaces a la presentación original en Reddit y los comentarios.
Los usuarios ahora pueden convertir y ejecutar modelos cuantizados EXL3 en Mac con Apple Silicon y 64GB+ de RAM. Las pruebas muestran que modelos como MiniCPM5 y Qwen3.6-27B logran un rendimiento comparable o ligeramente inferior a las conversiones basadas en tarjetas RTX, con EXL3 ofreciendo una calidad de cuantización superior en comparación con MLX.
La versión b9739 de LLaMA.cpp añade soporte para ARM64 de Windows mediante OpenCL Adreno. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y APIs, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
Un análisis de costos estima que alojar diffusiongemma a diferentes niveles de tokens por usuario genera costos mensuales por usuario que oscilan entre 1,7€ y 122,8€. El estudio encuentra que el uso de IA agéntica es económicamente insostenible para el alojamiento colectivo, aunque los costos podrían disminuir con nuevas GPUs o ASICs y un período de depreciación de la GPU más corto.
Un prototipo demuestra dos documentos de Word intercambiando contenido utilizando LLMs locales, con iteraciones sucesivas a lo largo de múltiples turnos. Los posibles casos de uso prácticos incluyen un documento de borrador y un documento de crítica que iteran juntos, o un documento de especificación y un documento de implementación colaborando, aunque la viabilidad de dichos flujos de trabajo sigue siendo incierta.
La versión b9738 de llama.cpp corrige el proxy CORS para evitar el reenvío de los encabezados de autenticación. La liberación incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
El usuario pregunta qué modelo —Qwen3.6-27B en precisión BF16 o Step3.7 con cuantización IQ4_XS— tomaría decisiones más sensatas y autónomas con menos necesidad de guía humana. La consulta compara un modelo denso de alta precisión con un modelo MoE más grande pero de menor precisión, señalando los compromisos entre memoria y rendimiento.
z.AI, que se clasifica como el número 2, ha elogiado públicamente al modelo de código abierto número 1. La publicación destaca la admiración por las capacidades del modelo, enfatizando su rendimiento y contribuciones a la comunidad.