Todos los artículos
github llama.cpp · hace 13 d

ggml-cpu: Habilitar condicionalmente el backend POWER11 según el soporte del compilador

El proyecto ggml-cpu ahora habilita condicionalmente el backend POWER11 en ggml según el soporte del compilador para -mcpu=power11. Esto previene fallos de compilación en las toolchains actuales de GCC/Clang mientras mantiene la compatibilidad hacia adelante. Las actualizaciones a CMakeLists.txt apoyan este cambio, y se utiliza -mcpu=power10 tanto para las arquitecturas P10 como P11.

media r/LocalLLaMA · hace 13 d

Lemonade v10.8 lanza gestión automática de memoria, descarga a la nube y soporte para herramientas MCP

Lemonade v10.8 introduce gestión dinámica de VRAM que descarga automáticamente los modelos inactivos y reduce el tamaño del KV-cache para recuperar memoria de GPU. Añade soporte de descarga a la nube para proveedores compatibles con OpenAI, permitiendo el servicio de modelos local-first con enrutamiento opcional a la nube. Una nueva puerta de enlace MCP expone los modelos locales como herramientas mediante POST /mcp, permitiendo que los modelos locales se utilicen como herramientas en aplicaciones compatibles con MCP.

github llama.cpp · hace 13 d

llama.cpp lanza b9690 con operador rope_back y binarios multiplataforma

La versión b9690 de llama.cpp introduce un operador rope_back implementado reutilizando kernels rope existentes con una constante de función para alternar la rotación hacia adelante/hacia atrás. El lanzamiento incluye binarios preconstruidos para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, ROCm, OpenVINO y SYCL.

media r/LocalLLaMA · hace 13 d

Necesitamos urgentemente un modelo de 80-160B para dispositivos de memoria unificada

Los usuarios con memoria unificada de 80-160GB o RAM de alta anchura de banda enfrentan limitaciones debido a la falta de modelos adaptados a su hardware. Los modelos existentes son demasiado pequeños para el rendimiento o demasiado grandes para las restricciones de memoria, lo que impulsa una llamada por modelos dispersos de escala 100B como Qwen 3.5 122B o Gemma 4 122B para servir mejor a usuarios con AMD AI Pro, RTX 3090/5090 o dispositivos Apple.

media r/LocalLLaMA · hace 13 d

Post-entrené un modelo para lanzar un dado de manera confiable

Un usuario entrenó un modelo de lenguaje para lanzar un dado, asegurando que cada número aparezca aproximadamente una vez cada seis lanzamientos. La publicación destaca cómo los LLMs convencionales tienden a dar por defecto '4' cuando se les pide lanzar un dado, ilustrando un problema más amplio en el aprendizaje por refuerzo: los modelos a menudo fallan al explorar de manera efectiva y en su lugar siguen patrones conocidos.

media Latent Space · hace 13 d

Radical AI logra una aceleración de 10x en el descubrimiento de materiales

Radical AI ha acelerado el descubrimiento de materiales al producir y caracterizar 1.200 aleaciones en seis meses, casi 10 veces más rápido que el objetivo de DARPA/GE MACH de 500 aleaciones en un año. Sus laboratorios autónomos utilizan científicos de IA para generar y probar hipótesis en sistemas de bucle cerrado, lo que ha llevado a 300 nuevos materiales, con 10 exhibiendo propiedades novedosas y de vanguardia que ahora se están desarrollando para uso comercial.

media r/LocalLLaMA · hace 13 d

Configuración de implementación Docker SGLang GLM-5.2-FP8 HGX-H200

Un usuario comparte una configuración de Docker para ejecutar GLM-5.2-FP8 en hardware HGX-H200 utilizando SGLang. La configuración logra una longitud de contexto de 262k y 70 tokens por segundo con paralelismo tensorial de 8, usando una fracción de memoria de 0.83. El usuario señala que las recetas oficiales de vLLM no funcionan en H200 debido a limitaciones de cuantización FP8 del caché KV en la arquitectura DSV3.

media r/LocalLLaMA · hace 13 d

Construimos un kit de interfaz de usuario de código abierto para RAG/documentos y agentes

Extend AI ha lanzado un kit de interfaz de usuario de código abierto con 15 componentes para visores de PDF, DOCX y XLSX, que incluyen citas de cajas delimitadoras, carga de archivos, firma electrónica y sistemas de archivos. El conjunto de herramientas, con licencia MIT y totalmente personalizable, fue inicialmente interno pero ahora es de código abierto debido a la demanda de los clientes, y se mantiene para escalabilidad y manejo de casos extremos en el procesamiento de documentos de alto volumen.

github llama.cpp · hace 13 d

LLaMA.cpp Release b9685 Adds SYCL Dev2Dev Memcpy and Multiple Platform Binaries

La versión b9685 de LLaMA.cpp introduce la funcionalidad memcpy dev2dev basada en SYCL, moviendo GGML_SYCL_DEV2DEV_MEMCPY a una tabla en tiempo de ejecución y mejorando la detección de comunicación entre pares. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs incluyendo Vulkan, ROCm, OpenVINO y SYCL (FP32/FP16).

media r/LocalLLaMA · hace 14 d

LoopCoder-V2: Modelo PLT de dos bucles logra la mejor relación ganancia-coste

LoopCoder-V2 es un modelo de código ajustado con instrucciones de 7B basado en Parallel Loop Transformer (PLT), entrenado con 18T tokens de datos mixtos de texto y código. La variante de dos bucles logra el mejor equilibrio entre ganancia y coste, mejorando SWE-bench Verified de 43.0 a 64.4, mientras que tres o más bucles provocan regresión debido al aumento del desajuste posicional y actualizaciones inestables.