github llama.cpp · há 2 h · inference

llama.cpp v0.6.0 adiciona API de lote estendida, suporte a GLM-5.3-Flash e pontos finais de modelo de decisão

Traduzido do English → Português (BR)

O llama.cpp v0.6.0 apresenta a nova API de lote estendido llama_batch_ext para entradas mistas de tokens e embeddings, além do suporte ao modelo híbrido GLM-5.3-Flash 320B e ao modelo de decisão Clef.

A nova API llama_batch_ext suporta embeddings de estado por token para modelos MTP e deepstack.
O Qwen4Exp agora oferece suporte de alta qualidade com decodificação especulativa MTP, proporcionando um aumento de velocidade de decodificação de aproximadamente 1,5x no DGX Spark.
Uma nova API de servidor /v1/systemone suporta cinco modelos de decisão: laya, julia-1, lev, openjev e kev.
O Metal ganha um kernel flash attention para tensor-API para KV F16 e kernels MMA mat-mul até 3x mais rápidos em GPUs Apple.
A Web UI recebe uma reformulação com uma camada de dados do Hugging Face Hub e um pipeline de download de modelos.

Este lançamento expande as capacidades do llama.cpp para processamento multimodal, desempenho de decodificação especulativa e integração de modelos de decisão.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Multimodal

Artigos relacionados

github llama.cpp · há 7 d · 44 visualizações

llama.cpp b11240 adiciona suporte a entrada multimodal tipada para /v1/embeddings

O servidor llama.cpp agora suporta entrada de conteúdo tipado (visão, áudio, vídeo) para o endpoint /v1/embeddings. Esta atualização permite solicitações de embedding multimodais ao aceitar arrays de conteúdo embrulhados no estilo OpenAI, permitindo que partes de texto e image_url sejam processadas juntas.

media MarkTechPost · há 10 d · 46 visualizações

Liquid AI lança o draftspeculativo LFM2.5-VL-3B-DSpark para decodificação até 3,13x mais rápida

A Liquid AI lançou o LFM2.5-VL-3B-DSpark, um modelo de rascunho experimental para decodificação especulativa do seu modelo de visão e linguagem LFM2.5-VL-3B. O draftspeculator adiciona aproximadamente 280M parâmetros e acelera a geração de tokens sem alterar a distribuição de saída do modelo.

lab Hugging Face Blog · há 11 d · 38 visualizações

Liquid AI lança LFM2.5-VL-DSpark para acelerar a inferência de modelos de visão e linguagem

A Liquid AI lançou o modelo em rascunho LFM2.5-VL-DSpark, um drafter de decodificação especulativa projetado para acelerar a inferência do modelo de visão e linguagem LFM2.5-VL-3B. O drafter captura estados ocultos de camadas fixas do modelo alvo para gerar tokens candidatos, adicionando apenas 280M parâmetros (sobrecarga de 8,9%) enquanto mantém a dimensionalidade idêntica entre as modalidades.

lab Liquid AI · há 11 d · 39 visualizações

Liquid AI lança modelo rascunho DSpark para LFM2.5-VL-3B

A Liquid AI lançou um modelo rascunho experimental DSpark para seu modelo de visão e linguagem LFM2.5-VL-3B, permitindo decodificação mais rápida em dispositivos edge e GPUs sem alterar a qualidade de saída.

arxiv arXiv cs.CL · há 18 d · 64 visualizações

DeepSeek lança V4.1-Flash com footprint de cache KV de 890 bytes/token

A DeepSeek lançou o DeepSeek-V4.1-Flash, um modelo Mixture-of-Experts multimodal projetado para abordar os altos custos de computação de contexto longo e grandes caches KV em cargas de trabalho de agentes.