llama.cpp lanza la versión b9688, añadiendo APIs de gestión de modelos y actualizaciones en tiempo real mediante SSE. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con diversas arquitecturas y marcos de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
Un usuario entrenó un modelo de lenguaje para lanzar un dado, asegurando que cada número aparezca aproximadamente una vez cada seis lanzamientos. La publicación destaca cómo los LLMs convencionales tienden a dar por defecto '4' cuando se les pide lanzar un dado, ilustrando un problema más amplio en el aprendizaje por refuerzo: los modelos a menudo fallan al explorar de manera efectiva y en su lugar siguen patrones conocidos.
Un usuario de Reddit notó que el repositorio unsloth/GLM-5.2-GGUF fue creado hace apenas media hora y actualmente solo contiene un README. Sospechan que se están subiendo archivos de modelos GGUF y han compartido un enlace al repositorio.
Radical AI ha acelerado el descubrimiento de materiales al producir y caracterizar 1.200 aleaciones en seis meses, casi 10 veces más rápido que el objetivo de DARPA/GE MACH de 500 aleaciones en un año. Sus laboratorios autónomos utilizan científicos de IA para generar y probar hipótesis en sistemas de bucle cerrado, lo que ha llevado a 300 nuevos materiales, con 10 exhibiendo propiedades novedosas y de vanguardia que ahora se están desarrollando para uso comercial.
Los usuarios de llama.cpp pueden liberar memoria GPU desactivando la descarga de mmproj, utilizando tipos de caché KV reducidos y ajustando spec-draft-n-max. Parámetros como --ctx-checkpoints y --fit-target tienen un impacto mínimo, mientras que --parallel ayuda en configuraciones multiusuario pero no para usuarios individuales.
Un usuario comparte una configuración de Docker para ejecutar GLM-5.2-FP8 en hardware HGX-H200 utilizando SGLang. La configuración logra una longitud de contexto de 262k y 70 tokens por segundo con paralelismo tensorial de 8, usando una fracción de memoria de 0.83. El usuario señala que las recetas oficiales de vLLM no funcionan en H200 debido a limitaciones de cuantización FP8 del caché KV en la arquitectura DSV3.
Extend AI ha lanzado un kit de interfaz de usuario de código abierto con 15 componentes para visores de PDF, DOCX y XLSX, que incluyen citas de cajas delimitadoras, carga de archivos, firma electrónica y sistemas de archivos. El conjunto de herramientas, con licencia MIT y totalmente personalizable, fue inicialmente interno pero ahora es de código abierto debido a la demanda de los clientes, y se mantiene para escalabilidad y manejo de casos extremos en el procesamiento de documentos de alto volumen.
La versión b9685 de LLaMA.cpp introduce la funcionalidad memcpy dev2dev basada en SYCL, moviendo GGML_SYCL_DEV2DEV_MEMCPY a una tabla en tiempo de ejecución y mejorando la detección de comunicación entre pares. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs incluyendo Vulkan, ROCm, OpenVINO y SYCL (FP32/FP16).
La versión b9686 de llama.cpp corrige un error de segfault que ocurría con prompts largos en el modelo Eagle3. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
LoopCoder-V2 es un modelo de código ajustado con instrucciones de 7B basado en Parallel Loop Transformer (PLT), entrenado con 18T tokens de datos mixtos de texto y código. La variante de dos bucles logra el mejor equilibrio entre ganancia y coste, mejorando SWE-bench Verified de 43.0 a 64.4, mientras que tres o más bucles provocan regresión debido al aumento del desajuste posicional y actualizaciones inestables.
GameCraft-Bench evalúa si los modelos de lenguaje grandes pueden construir juegos jugables de extremo a extremo utilizando un motor de juego real. El benchmark incluye evaluaciones de modelos principales como Opus-4.7 y GPT-5.5, con interés en cómo los modelos de tamaño mediano (por ejemplo, 30-70B parámetros) se desempeñan en tareas de desarrollo de juegos.
Gemma 4 E2B alcanza 255 tokens por segundo en el navegador en un M4 Max utilizando kernels de WebGPU. La demostración y los kernels ya están disponibles en Hugging Face para uso público.
En 2025, la economía de la producción de código cambió drásticamente, haciendo que la generación de código sea efectivamente gratuita e instantánea. Este cambio provocó un cambio cultural en el desarrollo de software, donde las líneas de código pasaron de ser cuidadosamente curadas a ser desechables y regenerables.
Los usuarios reportan que la interfaz web está ausente en la última versión de llama.cpp b9680, mientras que la versión b9664 funciona correctamente. El problema fue reportado en un issue de GitHub y confirmado mediante el uso de Docker.
La versión b9684 de LLaMA.cpp introduce una nueva operación de convolución 3D (conv_3d) e incluye implementaciones optimizadas. La versión proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler en varias arquitecturas y opciones de aceleración de hardware, incluyendo SYCL, Vulkan, CUDA y OpenVINO.
Un nuevo marco de trabajo basado en Rust permite a los modelos de lenguaje pequeños lograr un rendimiento comparable al de modelos más grandes, utilizando una gestión eficiente de la memoria y computación optimizada. El enfoque reduce la demanda de recursos sin sacrificar precisión, haciendo que la IA avanzada sea accesible para entornos con recursos limitados.
TRELLIS.2 ha sido portado para ejecutarse de forma nativa en MLX para Apple Silicon. El modelo admite entradas de imagen de 512x512 y 1024x1024, con tiempos de generación de aproximadamente 70 segundos para 512x517 y de 300 a 700 segundos para 1024x1024 en un M4 Max con 128GB de memoria unificada.
Un usuario pregunta si es factible ejecutar GLM-5.2 en cuatro chips Ascend GX10 (DGX Sparks). Indaga sobre la cuantización de 4 bits utilizando 512GB de memoria unificada y estima las velocidades de tokens de entrada y salida para una longitud de contexto de 100k, señalando que no hay datos de rendimiento disponibles en línea.
El autor describe tres objetivos principales: aclarar la evolución de los modelos de IA de vanguardia, construir un ecosistema de IA abierto y crear instituciones que apoyen estas misiones. Interconnects actúa como una voz cruda e independiente para el pensamiento sobre IA de vanguardia, con una audiencia técnica dedicada de más de 70K suscriptores. El blog mantiene comentarios detrás de muro de pago para evitar ruido generado por IA, y el autor planea alcanzar los 1000 suscriptores pagados para el verano, enfatizando la sostenibilidad financiera e independencia en medio del aumento de los costos de servicios de IA.
La versión b9682 de llama.cpp introduce soporte para Vulkan en Linux y Windows, habilitando la aceleración por GPU. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas, con opciones de CPU y GPU que incluyen CUDA, OpenVINO, SYCL y ROCm.