media Hugging Face Forums · hace 3 d · open_models

Cohesix 1.2.0 conecta adaptadores LoRA con comparaciones retenidas y verificaciones de servicio

Traducido del English → Español

Cohesix 1.2.0 introduce un flujo de trabajo que vincula adaptadores entrenados con modelos base para su verificación frente a comparaciones retenidas y verificaciones de servicio real, incluidas capacidades de reversión. La guía de lanzamiento detalla este camino, permitiendo a los usuarios enviar trabajos e inspeccionar resultados en hosts Mac MLX o Linux NVIDIA seleccionados.

Conecta el adaptador y el modelo base con una comparación retenida.
Incluye una verificación de servicio real para verificar el rendimiento.
Proporciona un mecanismo para revertir a la versión anterior.
Soporta ejecución en hardware Mac MLX o Linux NVIDIA.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Local inference

Leer original

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.