SupraLabs ha lanzado SupraVL-Nano-900k, un modelo de visión y lenguaje con 900k parámetros, completamente transparente, entrenado desde cero en Flickr8k. Cuenta con un codificador visual CNN, un decodificador estilo GPT-2 y fusión por concatenación de prefijos, con todos los componentes documentados abiertamente y diseñados para claridad educativa.
Un usuario pregunta si alguien ha construido recientemente una configuración con dos RTX 5090, señalando que su sistema actual con dos RTX 3090 funciona bien para el desarrollo de software. Menciona que actualizar a dos RTX 5090 es costoso y considera que los enchufes de su dormitorio podrían ser una limitación.
Los usuarios informan que los modelos de lenguaje locales están negándose a responder preguntas sin guardrails, lo que genera preocupaciones sobre la censura en configuraciones de IA descentralizadas. El tema fue compartido en la comunidad LocalLLaMA de Reddit, donde los usuarios describen instancias de modelos que bloquean respuestas a consultas legítimas.
Una publicación de blog detalla cómo implementar flujos de trabajo de agentes de múltiples documentos en Microsoft Word utilizando LLMs locales. La guía describe los pasos para habilitar que los agentes procesen e interactúen con múltiples documentos dentro de un único entorno de Word.
Una publicación de Reddit titulada 'The meme must go on' comparte una imagen de un meme relacionado con los modelos LLaMA locales. La publicación fue realizada por el usuario /u/ego100trique e incluye un enlace a la imagen y a la sección de comentarios.
EvoTensile utiliza algoritmos evolutivos para ajustar núcleos GEMM para GPUs AMD, mejorando el rendimiento del layout NT de 20 a 40 TFLOPS en Strix Halo. Esta aceleración representa un avance significativo respecto a los núcleos no optimizados, aunque sigue por debajo de la línea de techo teórica de 59.4 TFLOPS.
El equipo de PLN de la Universidad Estatal de Ohio ha lanzado QUEST-35B, un agente de investigación profunda de código abierto entrenado en aproximadamente 32 GPUs H100 utilizando 8.000 muestras sintéticas. El equipo ha liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda de código cerrado.
La versión b9718 de llama.cpp consolida la selección de ranuras en una única función, get_available_slot, mientras mantiene las comprobaciones de similitud LCP para las actualizaciones de la caché de prompts. El lanzamiento incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
llama.cpp ha lanzado la versión b9721, ofreciendo binarios para macOS, Linux, Android, Windows y openEuler en varias arquitecturas. La versión incluye soporte para CPU, Vulkan, ROCm, OpenVINO, SYCL e HIP, junto con un paquete de interfaz de usuario dedicado. Una función para Apple Silicon con KleidiAI está actualmente desactivada.
Los investigadores de la Universidad Estatal de Ohio entrenaron QUEST-35B, un agente de investigación profunda, utilizando aproximadamente 32 GPUs H100 y 8.000 muestras sintéticas. Han liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda propietarios.
GLM-5.2, el modelo abierto más potente hasta la fecha, ahora puede ejecutarse localmente usando llama.cpp y Unsloth Studio. El modelo cuantizado a 2 bits conserva ~82% de precisión tras reducir su tamaño de 1.51TB a 238GB, una reducción del 84%, y es compatible con configuraciones de 256GB de RAM o VRAM.
ggml-cpu ahora admite colas K en la multiplicación matricial MMA Q8/Q4 de Power10, eliminando el requisito de que K sea divisible por kc. Esto permite que más cargas de trabajo utilicen el núcleo MMA y reduce la dependencia de mnpack.
Un usuario agradeció al equipo de DeepSeek por lanzar DeepSeek V4 Pro y su versión Flash, que cabe en hardware local. La publicación se realizó siete meses después de una publicación inicial en Reddit.
Le Chaton Fat ha sido requantizado en formato GGUF y pronto estará disponible en Hugging Face. Se recomienda a los usuarios instalar un comando pip específico para acceder al modelo, incluyendo banderas como --trust-remote y --just-do-it.
La versión v0.17.6 añade guardrails de entrada para herramientas preaprobadas y datos personalizados solo para SDK en las salidas de herramientas. También aplica un contrato estricto compatible con JSON para las salidas de herramientas y suprime las advertencias innecesarias sobre espacios en blanco en los nombres de las herramientas. @siddiksawani realizó su primera contribución en esta versión.
GLM-5.2 ha superado una 'prueba de vibes' como modelo abierto de vanguardia, recibiendo elogios de Jeremy Howard y superando a GPT-5.5 en el nuevo benchmark de trabajo de conocimiento de Artificial Analysis. También obtuvo la validación de la comunidad /r/LocalLlama, lo que indica una utilidad y rendimiento sólidos en el mundo real.
Un usuario pregunta sobre el autoalojamiento de herramientas de revisión de código debido a que Gemini Code Assist finaliza el soporte para consumidores y se traslada exclusivamente al ámbito empresarial. Están explorando aplicaciones o acciones de GitHub para soluciones locales o basadas en la nube.
La versión b9716 de llama.cpp introduce soporte para procesamiento por lotes (batching) en InternVL, mejorando el rendimiento del modelo mediante un procesamiento eficiente por lotes. La versión incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, OpenVINO, SYCL y ROCm.
llama.cpp ha lanzado la versión b9713, añadiendo soporte de agrupamiento a mtmd-cli y pruebas de video. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
llama.cpp versión b9714 añade el encabezado "X-Accel-Buffering": "no" a los puntos de conexión de transmisión para evitar que Nginx almacene en búfer las respuestas, lo que resuelve problemas de transmisión con aplicaciones como el entorno de codificación Pi. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.