github llama.cpp · hace 1 h · inference

llama.cpp b10291 corrige el enrutamiento por lotes de envío de Vulkan y añade herramientas de depuración DeviceLost

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10291, que incluye correcciones críticas para el backend de Vulkan junto con actualizaciones estándar de la plataforma. Los cambios técnicos principales abordan problemas del tamaño del lote de envío e introducen nuevas capacidades de diagnóstico para errores del controlador.

Corrige un error donde el umbral de envío se aplicaba demasiado tarde en la tubería de Vulkan.
Añade herramientas de depuración para proporcionar información más detallada al diagnosticar errores del controlador DeviceLost.
Reemplaza llamadas abort con excepciones throw e implementa macros de registro para una mejor gestión de errores.
Limpia dependencias circulares dentro de la base de código.

Esta versión mejora la estabilidad para usuarios que ejecutan llama.cpp en hardware habilitado para Vulkan resolviendo problemas específicos de temporización del envío y ofreciendo mejor visibilidad sobre las causas de los fallos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

github llama.cpp · hace 8 h

llama.cpp b10290 añade ggml_build_forward_order para corregir la ejecución del gráfico de audio

El proyecto llama.cpp lanzó la compilación b10290, introduciendo una nueva función `ggml_build_forward_order` en la biblioteca ggml. Este cambio aborda un error en el gráfico de audio mtmd donde usar `ggml_build_forward_expand` como una pista de ordenamiento pura causaba que las ramas no seleccionadas se ejecutaran con entradas obsoletas.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10289 endurece file_glob_search y corrige el manejo de rutas en Windows

La versión b10289 de llama.cpp endurece el recorrido del directorio file_glob_search del servidor para prevenir bucles infinitos en los enlaces simbólicos de Windows y mejora la notificación de errores para directorios no legibles.

media Hugging Face Forums · hace 13 h · 1 vista

QuantCheck advierte contra asumir que el checkpoint final es el mejor para cuantización de 4 bits

Una nueva herramienta llamada QuantCheck destaca que el checkpoint final del preentrenamiento puede no ser la opción óptima para la cuantización de 4 bits, ya que los benchmarks pueden permanecer planos mientras aumenta la fragilidad. El autor observó este patrón en Pythia-160m, donde el checkpoint final sufrió aproximadamente cuatro veces más daño a la calidad que un checkpoint anterior de igual calidad.

github llama.cpp · hace 18 h

llama.cpp b10285 añade agrupamiento de múltiples filas para deepseek-ocr

El proyecto llama.cpp ha lanzado la compilación b10285, que introduce soporte para el agrupamiento de múltiples filas en el módulo mtmd específicamente para modelos deepseek-ocr. Esta actualización permite al sistema entrelazar las filas de deepseek-ocr en una sola operación en lugar de procesarlas individualmente.