media Hugging Face Forums · hace 1 h · open_models

Eqx-zoo proporciona puertos verificados de modelos Equinox de Hugging Face

Traducido del English → Español

El autor ha creado eqx-zoo, una biblioteca que carga checkpoints de Hugging Face Hub directamente como módulos plain de Equinox y verifica cada modelo contra la biblioteca transformers. El proyecto actualmente soporta Llama, Qwen2, Qwen3, Qwen3-MoE para generación, y BERT, RoBERTa, XLM-RoBERTa para embeddings.

La verificación asegura que las salidas float32 coincidan con transformers capa por capa y que la generación greedy reproduzca los tokens exactamente.
El autor descubrió que comparar implementaciones bf16 directamente es defectuoso debido a diferencias de redondeo, lo que obliga a comparar contra float32 en relación con el error del código fuente.
Se encontró que compilar JIT un decoder en XXL es mediblemente menos preciso que la ejecución eager, mientras que los encoders no mostraron este problema.
Un bug sutil de LayerNorm en bf16 solo fue detectable a nivel de bloque, destacando la necesidad de pruebas granulares.

Los checkpoints verificados están disponibles en una colección de Hugging Face, y la biblioteca es instalable vía pip.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Local inference

Artículos relacionados

media Hugging Face Forums · hace 3 d · 13 vistas

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

github llama.cpp · hace 4 d · 22 vistas

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 4 d · 6 vistas

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 4 d · 15 vistas

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 4 d · 8 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.