SupraLabs ha lanzado SupraVL-Nano-900k, un modelo de visión y lenguaje con 900k parámetros, completamente transparente, entrenado desde cero en Flickr8k. Cuenta con un codificador visual CNN, un decodificador estilo GPT-2 y fusión por concatenación de prefijos, con todos los componentes documentados abiertamente y diseñados para claridad educativa.
La versión b9724 de llama.cpp incluye varias correcciones de errores y mejoras, como arreglos en la compilación, evitación de desbordamientos en la función area() y una comprobación de integridad en get_u32().
Una prueba en una RTX 5060 Ti mostró que reducir el tamaño del modelo de un asistente de voz local con IA de 9B a 0.8B provoca un descenso pronunciado en la capacidad. El modelo de 9B maneja bien la orquestación de herramientas, mientras que los modelos más pequeños muestran fallos crecientes: el modelo de 4B omite las llamadas a herramientas y adivina hechos, el modelo de 2B sufre deriva semántica, y el modelo de 0.8B falla en operar funciones de agente, activando APIs incorrectas o bucles infinitos.
GLM-5.2 ha sido designado como el modelo de pesos abiertos líder en el Índice de Inteligencia de Artificial Analysis. Este reconocimiento refleja su rendimiento y capacidades dentro del panorama de modelos de IA de código abierto.
El modelo de decodificación especulativa Eagle3 ya está disponible en la última versión de llama.cpp mediante --spec-type draft-eagle3. Requiere un modelo borrador, como Ex0bit-Qwen3.6-27B-PRISM-EAGLE3-GGUF, y puede usarse con -md o --model-draft. El rendimiento es comparable al de draft-mtp, aunque no se admite paralelismo de tensor y el uso de VRAM es mayor.
Artificial Analysis ha presentado un nuevo benchmark agéntico que evalúa la capacidad de los modelos de lenguaje grandes para planificar y ejecutar tareas. Claude Fable y GLM 5.2 lograron las primeras posiciones dentro de sus respectivos grupos, demostrando un fuerte rendimiento en este benchmark no saturado.
La versión b9723 de llama.cpp introduce soporte para los modelos Qwen3.5 y Qwen3.6 a través de Eagle3. La liberación incluye restauración diferida de puntos de control de frontera para modelos híbridos y actualizaciones en las convenciones de API y nomenclatura. Las compilaciones binarias están disponibles para las plataformas macOS, Linux, Android, Windows y openEuler, con opciones para CPU, Vulkan, OpenVINO, SYCL y ROCm.
Una solicitud de extracción añade soporte para el modelo Eagle3 en Qwen3.5 y Qwen3.6 dentro de llama.cpp. El cambio es propuesto por ruixiang63 y enviado al repositorio ggml-org/llama.cpp.
Un usuario de Reddit pregunta sobre el rendimiento en el mundo real de VibeThinker-3B más allá de las puntuaciones de benchmark, centrándose en la depuración, programación, razonamiento, latencia y usabilidad. El modelo está disponible en Hugging Face y se describe en un artículo en arXiv.
La versión b9722 de LLaMA.cpp corrige un problema con el valor n_discard no validado en el manejo del contexto del servidor. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con diversas arquitecturas y marcos de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
Un usuario pregunta si alguien ha construido recientemente una configuración con dos RTX 5090, señalando que su sistema actual con dos RTX 3090 funciona bien para el desarrollo de software. Menciona que actualizar a dos RTX 5090 es costoso y considera que los enchufes de su dormitorio podrían ser una limitación.
Los usuarios informan que los modelos de lenguaje locales están negándose a responder preguntas sin guardrails, lo que genera preocupaciones sobre la censura en configuraciones de IA descentralizadas. El tema fue compartido en la comunidad LocalLLaMA de Reddit, donde los usuarios describen instancias de modelos que bloquean respuestas a consultas legítimas.
Una publicación de blog detalla cómo implementar flujos de trabajo de agentes de múltiples documentos en Microsoft Word utilizando LLMs locales. La guía describe los pasos para habilitar que los agentes procesen e interactúen con múltiples documentos dentro de un único entorno de Word.
Una publicación de Reddit titulada 'The meme must go on' comparte una imagen de un meme relacionado con los modelos LLaMA locales. La publicación fue realizada por el usuario /u/ego100trique e incluye un enlace a la imagen y a la sección de comentarios.
EvoTensile utiliza algoritmos evolutivos para ajustar núcleos GEMM para GPUs AMD, mejorando el rendimiento del layout NT de 20 a 40 TFLOPS en Strix Halo. Esta aceleración representa un avance significativo respecto a los núcleos no optimizados, aunque sigue por debajo de la línea de techo teórica de 59.4 TFLOPS.
El equipo de PLN de la Universidad Estatal de Ohio ha lanzado QUEST-35B, un agente de investigación profunda de código abierto entrenado en aproximadamente 32 GPUs H100 utilizando 8.000 muestras sintéticas. El equipo ha liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda de código cerrado.
La versión b9718 de llama.cpp consolida la selección de ranuras en una única función, get_available_slot, mientras mantiene las comprobaciones de similitud LCP para las actualizaciones de la caché de prompts. El lanzamiento incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
llama.cpp ha lanzado la versión b9721, ofreciendo binarios para macOS, Linux, Android, Windows y openEuler en varias arquitecturas. La versión incluye soporte para CPU, Vulkan, ROCm, OpenVINO, SYCL e HIP, junto con un paquete de interfaz de usuario dedicado. Una función para Apple Silicon con KleidiAI está actualmente desactivada.
Los investigadores de la Universidad Estatal de Ohio entrenaron QUEST-35B, un agente de investigación profunda, utilizando aproximadamente 32 GPUs H100 y 8.000 muestras sintéticas. Han liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda propietarios.
GLM-5.2, el modelo abierto más potente hasta la fecha, ahora puede ejecutarse localmente usando llama.cpp y Unsloth Studio. El modelo cuantizado a 2 bits conserva ~82% de precisión tras reducir su tamaño de 1.51TB a 238GB, una reducción del 84%, y es compatible con configuraciones de 256GB de RAM o VRAM.