github llama.cpp · há 1 h · inference

llama.cpp b10094 infere tipo especulativo a partir de sidecars do repositório rascunho

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10094, introduzindo um recurso que detecta automaticamente o tipo de decodificação especulativa a partir de sidecars do repositório rascunho. Anteriormente, ao usar a flag `-hfd` para apontar para um repositório contendo sidecars mtp-, dflash- ou eagle3- sem fornecer explicitamente `--spec-type`, o sistema resolvia incorretamente o rascunho como um modelo completo.

Com esta atualização, se nenhum tipo especulativo for especificado, o llama-server descobre os sidecars disponíveis no repositório rascunho e seleciona o primeiro com base na ordem de prioridade de mtp, dflash, em seguida eagle3. Isso permite que os usuários executem comandos como `llama-server -hf repo:Q3_K_M -hfd repo:Q8_0` sem flags extras. Um argumento `--spec-type` explícito ainda desativa essa inferência automática.

O lançamento inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64/arm64/s390x com CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android arm64, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

media Together AI Blog · agora mesmo Ao vivo

Together lança Inferência de Modelo Dedicado com beta de treinamento personalizado

A Together lançou uma atualização significativa para sua plataforma de inferência, introduzindo a "Inferência de Modelo Dedicada" projetada para dar aos usuários controle total sobre desempenho, custo e qualidade para modelos de pesos abertos. A atualização também anuncia um beta fechado para capacidades de treinamento personalizado, incluindo reforço com pesos completos e LoRA.

github llama.cpp · há 2 h

llama.cpp b10093 corrige o modelo DeepSeek v4 e adiciona a flag drop_reasoning

O projeto llama.cpp lançou a build b10093, que inclui atualizações específicas para suportar os modelos DeepSeek v4. O lançamento aborda o tratamento de templates e introduz novas flags de configuração para esta família de modelos.

lab Tencent Hunyuan (HF) · há 7 h

Tencent abre o código-fonte dos modelos de tradução multilíngue Hy-MT2 e do IFMTBench

A Tencent lançou a família de modelos de tradução multilíngue "de raciocínio rápido" Hy-MT2, incluindo tamanhos de 1.8B, 7B e 30B-A3B (MoE), juntamente com o benchmark IFMTBench para avaliar capacidades de seguimento de instruções.

media r/LocalLLaMA · há 10 h

PaddlePaddle lança HPD-Parsing, um modelo de 1B com decodificação paralela hierárquica

O PaddlePaddle apresentou o HPD-Parsing, um modelo leve de parsing de documentos com 1 bilhão de parâmetros que utiliza um paradigma de Decodificação Paralela Hierárquica para melhorar a taxa de transferência. A arquitetura coordena a estrutura global da página por meio de um ramo principal de layout, enquanto direciona a geração de conteúdo localizado para ramos concorrentes, utilizando Predição Progressiva de Múltiplos Tokens para reduzir as etapas de decodificação.

lab Hugging Face Blog · há 11 h · 1 visualização

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.