github llama.cpp · há 2 h · inference

llama.cpp b10628 adiciona suporte ao transporte RPC de Apple RDMA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10628, introduzindo suporte para o Apple RDMA como mecanismo de transporte de chamada de procedimento remoto (RPC).

Adiciona o Apple RDMA como uma opção de transporte RPC.
Remove a microotimização set_tensor e o fixação de soquetes RPC por CR.
Remove a funcionalidade de reconexão transparente.
Configura o CI para acionar builds da Apple em alterações de RPC.
Fornece binários para macOS, iOS, Linux, Windows, Android e openEuler através de CPU, GPU e backends de hardware especializado.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.

github llama.cpp · há 5 d · 13 visualizações

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.

lab Hugging Face Blog · há 8 d · 5 visualizações

Alocador de GPU com consciência de restrições melhora a utilização e a saída ponderada por prioridade em relação ao FIFO

Um alocador de GPU com consciência de restrições foi benchmarkado contra um agendador FIFO em sete cenários, alcançando até 33 pontos percentuais mais de utilização da GPU e até 105% mais saída ponderada por prioridade em hardware idêntico. O sistema trata a demanda de inferência em tempo real como uma curva flutuante em vez de uma reserva estática, permitindo que trabalhos do tipo batch preencham a capacidade durante os vales enquanto respeita restrições rigorosas como blocos contíguos de GPU e não-preempção.

media r/LocalLLaMA · há 9 d · 19 visualizações

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

A NVIDIA demonstrou o serviço do modelo de parâmetros Qwen 3.8 2.4T com capacidades de raciocínio configuráveis em sua plataforma de hardware GB300 NVL72.

github llama.cpp · há 18 d · 15 visualizações

llama.cpp b10306 adiciona caminho plano de GLU SYCL e consolida kernels

A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.