github llama.cpp · ahora mismo · inference

llama.cpp b10431 añade rollback de estado recurrente para modelos SSM

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10431, que introduce soporte para el rollback del estado recurrente (RS) en la operación ggml_ssm_scan. Este cambio permite el rollback de RS para los modelos Nemotron en los backends de CPU y CUDA.

Implementación inicial del rollback de estado recurrente para Nemotron en CPU y CUDA.
Soporte para K > 1 en ssm_scan en todos los backends.
Reemplazo de la detección estática de CUDA con una API fused_op en tiempo de ejecución para verificar el soporte de operaciones.
Fallback a CPU cuando el backend no soporta rollback de SSM.
Adición de test-backend-ops tanto para CPU como para CUDA para verificar la funcionalidad.

Esta actualización permite a los usuarios ejecutar modelos Nemotron con capacidades de rollback de estado recurrente en configuraciones de hardware compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Nvidia presenta FusionRelight para el realce de iluminación en retratos en tiempo real mediante la fusión híbrida de conocimiento del dominio

Investigadores de Nvidia han presentado FusionRelight, un método para el realce de iluminación en retratos que combina la transferencia de iluminación físicamente plausible con la preservación de la identidad y una inferencia compacta en tiempo real. El enfoque utiliza la Fusión Híbrida de Conocimiento del Dominio (HDKF), un marco de entrenamiento que destila priores de física, reflectancia y realismo a partir de datos sintéticos, One-Light-at-a-Time (OLAT) y del mundo real en un modelo estudiante.

media r/LocalLLaMA · hace 3 h

Qwen libera los pesos abiertos para Qwen 3.8 27B

Qwen ha liberado los pesos abiertos para su modelo Qwen 3.8 27B. El checkpoint está disponible en Hugging Face.

github llama.cpp · hace 5 h

llama.cpp b10429 permite acceder a /metrics y /slots durante llama_decode()

El proyecto llama.cpp lanzó la versión b10429, que modifica el servidor para permitir el acceso a los puntos finales /metrics y /slots mientras llama_decode() está en ejecución.

github llama.cpp · hace 5 h

llama.cpp b10430 permite dispositivos igpu virtuales

El proyecto llama.cpp ha lanzado la versión b10430, que introduce soporte para dispositivos de GPU integrada (igpu) virtuales. Esta actualización también incluye comentarios mejorados dentro de la base de código.

github llama.cpp · hace 10 h

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.