github llama.cpp · há 3 d · inference

llama.cpp b11080 permite regex no filtro -o e para o registro de fatias de vetores FA

Traduzido do English → Português (BR)

A versão llama.cpp b11080 atualiza as operações do backend de teste para suportar expressões regulares no filtro `-o`, permitindo correspondência de padrões para nomes de ops enquanto preserva correspondências exatas para nomes simples. Ela também modifica a ferramenta `cont` para parar de imprimir registros de fatias de vetores Fast Attention quando não são necessários.

O filtro `-o` agora trata entradas não simples como regexes (por exemplo, "MUL_MAT.*") contra os nomes de ops, enquanto nomes simples como "ADD" permanecem como correspondências exatas.
O texto de ajuda para `tests/test-backend-ops` foi reformateado com seções separadas para modos, opções e exemplos.
Binários são fornecidos para macOS, Linux, Windows, Android e iOS para os backends CPU, CUDA, ROCm, Vulkan, OpenVINO e SYCL.

Esta versão fornece binários atualizados em várias plataformas e melhora a flexibilidade do filtro de testes.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11156 adiciona suporte a Ling 3.0 VL via BailingMoeV3

O projeto llama.cpp lançou a compilação b11156, que introduz suporte para o modelo Ling 3.0 VL. Esta atualização integra o Ling 3.0 VL na arquitetura BailingMoeV3 e garante que as listas compartilhadas de NORM rope permaneçam intactas ao ativar o BailingMoe3 nas seções mrope.

github llama.cpp · há 2 h

llama.cpp b11157 adiciona conv3d com GEMM implícito para CUDA

O projeto llama.cpp lançou a versão b11157, introduzindo suporte para operações de convolução 3D usando GEMM implícito no CUDA. Esta atualização refina a implementação para lidar com kernels vazios e está disponível em uma ampla gama de plataformas, incluindo macOS, Linux, Windows, Android e iOS.

github llama.cpp · há 12 h · 3 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

lab Microsoft Research Blog · há 14 h · 15 visualizações

Microsoft Research mostra que o descarregamento da inferência de IA física melhora o desempenho do robô e a vida útil da bateria

A Microsoft Research desafia a suposição de que a inferência de IA física deve ser executada exclusivamente nas GPUs onboard dos robôs, demonstrando que o descarregamento para infraestrutura de borda ou nuvem melhora significativamente as cargas de trabalho de manipulação móvel. Seu estudo sistemático das cargas de trabalho de robótica revela que depender do processamento onboard limita o desempenho, a vida útil da bateria e a escalabilidade.

github llama.cpp · há 15 h · 11 visualizações

llama.cpp b11147 adiciona kernel OpenCL dp4a non-MoE Q6_K A8

O projeto llama.cpp lançou a versão b11147, que introduz um novo kernel binário para OpenCL. Esta atualização adiciona especificamente suporte para a configuração A8 Q6_K non-MoE dp4a.