media Hugging Face Forums · hace 1 h · open_models

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

Traducido del English → Español

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

La integración añade un `TraceMLTrainerCallback` al `Trainer` de Hugging Face, requiriendo cambios mínimos en la configuración.
Separa el tiempo de espera de entrada del trabajo del paso para proporcionar un veredicto práctico sobre el tipo de cuello de botella.
Un ejemplo en Colab con ResNet-50 demostró que ajustar los ajustes de DataLoader cambió el diagnóstico de limitado por entrada a limitado por cómputo y mejoró la velocidad en 1.83×.

Esta herramienta ayuda a los usuarios a evitar optimizar el componente incorrecto al aclarar la restricción específica que afecta sus ejecuciones de entrenamiento.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Local inference

Artículos relacionados

github llama.cpp · hace 3 h · 1 vista

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 4 d

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

github llama.cpp · hace 5 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 6 d

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

media Hugging Face Forums · hace 9 d · 3 vistas

zhongkaifu lanza TensorSharp, un motor de inferencia LLM nativo para .NET destinado a modelos GGUF

zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.