github llama.cpp · hace 1 h · inference

llama.cpp b10798 hace configurable el flujo de salida de la información de compilación

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10798, introduciendo un cambio para hacer configurable el flujo de salida de la información de compilación. Esta actualización permite que `llama_print_build_info` escriba en un FILE* proporcionado por el llamador en lugar de codificar stderr de forma fija.

El parámetro predeterminado es stderr, por lo que los llamadores existentes mantienen su comportamiento actual.
El comando de versión en llama-app ahora pasa stdout, asegurando que la salida de la versión plana vaya a la ubicación esperada.

Este cambio mejora la flexibilidad para los desarrolladores que necesitan redirigir programáticamente la salida de la información de compilación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10796 añade n_expert_used_max para corregir la carga de Nemotron-3-Puzzle

El proyecto llama.cpp lanzó la compilación b10796, que incluye un cambio en el cargador de modelos para admitir modelos con diferentes números de expertos por capa.

arxiv arXiv cs.LG · hace 11 h · 1 vista

FlashAttention-4 introduce Direct-P para inferencia y entrenamiento de FP4 consciente del hardware

FlashAttention-4 aborda las limitaciones de rendimiento de los núcleos de tensor de punto flotante de 4 bits (FP4) de Blackwell introduciendo nuevas rutas para la inferencia no causal y el entrenamiento causal. El método, llamado Direct-P, mapea las puntuaciones directamente a probabilidades FP4 para evitar los sobrecostos de conversión de softmax que suelen dominar una vez que los productos matriciales se reducen.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10795 fusiona operaciones SYCL

El proyecto llama.cpp lanzó la versión b10795, que incluye una nueva optimización para el backend de SYCL. Esta actualización permite la fusión de las cadenas RMS_NORM+MUL+ADD y ADD+ADD residual bajo la bandera GGML_SYCL_ENABLE_FUSION.

github llama.cpp · hace 17 h · 3 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10792 corrige la generación de gramática GBNF para esquemas de objetos vacíos

El proyecto llama.cpp ha lanzado la compilación b10792, que incluye una corrección para la generación de gramática GBNF abordando específicamente problemas con esquemas de objetos vacíos.