github llama.cpp · há 1 h · inference

llama.cpp b10437 adiciona suporte para os modelos MiniMax-Text-01 e MiniMax-M1

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10437, que introduz suporte nativo para os modelos de linguagem causal MiniMax-Text-01 e MiniMax-M1. Esta atualização inclui os scripts de conversão necessários, modelos de chat e implementações da arquitetura do modelo para executar esses modelos específicos dentro do framework llama.cpp.

Adicionado suporte a `MiniMaxText01ForCausalLM` e `MiniMaxM1ForCausalLM` na camada do modelo.
Implementada supressão de tokens para embeddings com valores zero para evitar interrupção no processo de amostragem.
Desempenho otimizado removendo operações de transposição de estado e usando funções comuns para uma implementação concisa.
Adicionado um modelo de chat Jinja especificamente para o MiniMax-M1.
Incluídos artefatos de build para macOS, Linux, Windows, Android e openEuler em CPU, GPU e vários aceleradores.

Este lançamento permite que os usuários executem localmente modelos MiniMax usando a infraestrutura de inferência existente do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp MiniMax Inference efficiency

Artigos relacionados

github llama.cpp · há 19 d · 4 visualizações

llama.cpp b10142 adiciona suporte preliminar ao vision do MiniMax-M3

O projeto llama.cpp lançou a compilação b10142, que introduz suporte preliminar ao vision para o modelo MiniMax-M3. Esta atualização implementa uma versão apenas de texto que reutiliza componentes existentes do MiniMax-M2, incluindo GQA com QK-norm por cabeça e rotação parcial, especialistas no estilo DeepSeek-V3 e ativação swigluoai.

github llama.cpp · há 8 h

llama.cpp b10435 corrige custo quadrático no jinja gather_string_parts

O projeto llama.cpp lançou a versão b10435, que aborda um problema de desempenho dentro do mecanismo de modelos Jinja. A principal alteração corrige um bug de complexidade de tempo quadrática na função `gather_string_parts`.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10434 passa reasoning_effort para templates

O projeto llama.cpp lançou a compilação b10434, que adiciona suporte para passar o parâmetro `reasoning_effort` para os templates Jinja. Esta alteração garante que os valores de `reasoning_effort` do OpenAI Chat Completions sejam armazenados e disponibilizados durante a geração.

lab NVIDIA Research · há 12 h · 6 visualizações

Nvidia apresenta FusionRelight para realinhamento de retratos em tempo real por meio da fusão híbrida de conhecimento de domínio

Pesquisadores da Nvidia introduziram o FusionRelight, um método para realinhamento de retratos que combina transferência de iluminação fisicamente plausível com preservação de identidade e inferência compacta em tempo real. A abordagem utiliza a Fusão Híbrida de Conhecimento de Domínio (HDKF), uma estrutura de treinamento que destila priors de física, refletância e realismo a partir de dados sintéticos, One-Light-at-a-Time (OLAT) e in-the-wild em um modelo estudante.

github llama.cpp · há 13 h · 1 visualização

llama.cpp b10431 adiciona rollback de estado recorrente para modelos SSM

O projeto llama.cpp lançou a versão b10431, que introduz suporte para rollback de estado recorrente (RS) na operação ggml_ssm_scan. Esta alteração permite o rollback de RS para modelos Nemotron nos backends de CPU e CUDA.