github llama.cpp · agora mesmo · inference

llama.cpp adiciona ajustes fa-vec para Apple M4 Pro

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou ajustes de vetor de atenção rápida (fa-vec) para a GPU Apple M4 Pro por meio de uma nova contribuição ao backend Metal. Esta atualização segue o trabalho anterior para suportar GPUs adicionais da Apple e foi gerada usando a ferramenta `ggml-metal-tuning` em um MacBook Pro de 14 polegadas de novembro de 2024.

O processo de ajuste foi executado com sucesso em 1 hora, 13 minutos e 1 segundo sem outra carga no sistema.
A contribuição suporta os tipos de dados f16 e q8_0 para a arquitetura M4 Pro.
Esta versão inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

llama.cpp b10643 adiciona suporte multi-NPU e backend Hexagon totalmente assíncrono

O projeto llama.cpp lançou a versão b10643, introduzindo suporte para dispositivos multi-NPU (IQ9, IQ10) e um backend totalmente assíncrono para a arquitetura Hexagon.

media Hugging Face Forums · há 2 d · 4 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10628 adiciona suporte ao transporte RPC de Apple RDMA

O projeto llama.cpp lançou a versão b10628, introduzindo suporte para o Apple RDMA como mecanismo de transporte de chamada de procedimento remoto (RPC).

lab OpenAI News · há 3 d · 13 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.

github llama.cpp · há 7 d · 16 visualizações

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.