github llama.cpp · hace 1 h · inference

llama.cpp b10437 añade soporte para los modelos MiniMax-Text-01 y MiniMax-M1

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10437, que introduce soporte nativo para los modelos de lenguaje causal MiniMax-Text-01 y MiniMax-M1. Esta actualización incluye los scripts de conversión necesarios, plantillas de chat e implementaciones de arquitectura del modelo para ejecutar estos modelos específicos dentro del marco de llama.cpp.

Añadido soporte para `MiniMaxText01ForCausalLM` y `MiniMaxM1ForCausalLM` en la capa del modelo.
Implementada la supresión de tokens para embeddings con valores cero para evitar interrupciones en el proceso de muestreo.
Optimizado el rendimiento eliminando operaciones de transposición de estado y utilizando funciones comunes para una implementación concisa.
Añadida una plantilla de chat Jinja específicamente para MiniMax-M1.
Incluidos artefactos de compilación para macOS, Linux, Windows, Android y openEuler en CPU, GPU y varios aceleradores.

Este lanzamiento permite a los usuarios ejecutar localmente modelos MiniMax utilizando la infraestructura de inferencia existente de llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp MiniMax Inference efficiency

Artículos relacionados

github llama.cpp · hace 19 d · 4 vistas

llama.cpp b10142 añade soporte preliminar para visión de MiniMax-M3

El proyecto llama.cpp lanzó la compilación b10142, que introduce soporte preliminar para visión del modelo MiniMax-M3. Esta actualización implementa un puerto solo de texto que reutiliza componentes existentes de MiniMax-M2, incluyendo GQA con QK-norm por cabeza y rotativo parcial, expertos al estilo DeepSeek-V3 y activación swigluoai.

github llama.cpp · hace 8 h

llama.cpp b10435 corrige el costo cuadrático en jinja gather_string_parts

El proyecto llama.cpp ha lanzado la versión b10435, que aborda un problema de rendimiento dentro del motor de plantillas Jinja. El cambio principal corrige un error de complejidad de tiempo cuadrático en la función `gather_string_parts`.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10434 pasa reasoning_effort a las plantillas

El proyecto llama.cpp lanzó la compilación b10434, que añade soporte para pasar el parámetro `reasoning_effort` a las plantillas Jinja. Este cambio asegura que los valores de `reasoning_effort` de OpenAI Chat Completions se almacenen y estén disponibles durante la generación.

lab NVIDIA Research · hace 12 h · 6 vistas

Nvidia presenta FusionRelight para el realce de iluminación en retratos en tiempo real mediante la fusión híbrida de conocimiento del dominio

Investigadores de Nvidia han presentado FusionRelight, un método para el realce de iluminación en retratos que combina la transferencia de iluminación físicamente plausible con la preservación de la identidad y una inferencia compacta en tiempo real. El enfoque utiliza la Fusión Híbrida de Conocimiento del Dominio (HDKF), un marco de entrenamiento que destila priores de física, reflectancia y realismo a partir de datos sintéticos, One-Light-at-a-Time (OLAT) y del mundo real en un modelo estudiante.

github llama.cpp · hace 13 h · 1 vista

llama.cpp b10431 añade rollback de estado recurrente para modelos SSM

El proyecto llama.cpp lanzó la versión b10431, que introduce soporte para el rollback del estado recurrente (RS) en la operación ggml_ssm_scan. Este cambio permite el rollback de RS para los modelos Nemotron en los backends de CPU y CUDA.