github llama.cpp · agora mesmo · inference

llama.cpp b10643 adiciona suporte multi-NPU e backend Hexagon totalmente assíncrono

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10643, introduzindo suporte para dispositivos multi-NPU (IQ9, IQ10) e um backend totalmente assíncrono para a arquitetura Hexagon.

O backend do Hexagon agora usa buffers não-host por padrão e implementa asincronicidade completa.
Suporte para a plataforma Snapdragon Android 34 é adicionado.
A quantização Q8_0 ganha suporte para desquantizadores in-place, pipelines DMA e operações de linha.
Operações ALLREDUCE são otimizadas com kernels fundidos e eficiência de DMA aprimorada.
Tokens de sincronização e mecanismos de fence são aprimorados para sincronizar dispositivos NPU entre divisões assíncronas.

Essas alterações permitem inferência eficiente em hardware Snapdragon multi-NPU, permitindo execução concorrente de dispositivos e cópias de tensores mais rápidas.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10628 adiciona suporte ao transporte RPC de Apple RDMA

O projeto llama.cpp lançou a versão b10628, introduzindo suporte para o Apple RDMA como mecanismo de transporte de chamada de procedimento remoto (RPC).

lab OpenAI News · há 2 d · 8 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.

github llama.cpp · há 6 d · 14 visualizações

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.

lab Hugging Face Blog · há 9 d · 6 visualizações

Alocador de GPU com consciência de restrições melhora a utilização e a saída ponderada por prioridade em relação ao FIFO

Um alocador de GPU com consciência de restrições foi benchmarkado contra um agendador FIFO em sete cenários, alcançando até 33 pontos percentuais mais de utilização da GPU e até 105% mais saída ponderada por prioridade em hardware idêntico. O sistema trata a demanda de inferência em tempo real como uma curva flutuante em vez de uma reserva estática, permitindo que trabalhos do tipo batch preencham a capacidade durante os vales enquanto respeita restrições rigorosas como blocos contíguos de GPU e não-preempção.