github llama.cpp · há 1 h · inference

llama.cpp b10416 corrige cache de UI obsoleto no llama.app

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10416, abordando um problema de cache no site llama.app onde o arquivo index.html estava fixado em compilações antigas devido a cabeçalhos imutáveis.

O servidor agora serve index.html sem cache, permitindo que ele seja revalidado via ETag e prevenindo versões de UI obsoletas.
Compilações para macOS Apple Silicon (arm64) estão disponíveis para download.
Binários do macOS Intel (x64) estão incluídos no lançamento.
O iOS XCFramework é fornecido para integração móvel.
Compilações de CPU Ubuntu x64, arm64 e s390x foram lançadas.
As variantes Ubuntu Vulkan e OpenVINO estão disponíveis para Linux.
As compilações do Windows x64 e arm64 suportam CPU, CUDA 12/13, OpenCL, Vulkan, ROCm 7.14 e SYCL.
Binários do Android arm64 (CPU) estão incluídos.
Compilações do openEuler x86 e aarch64 com suporte a ACL Graph estão listadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

O projeto llama.cpp mesclou atualizações significativas em seu backend OpenVINO, principalmente habilitando o suporte à família de modelos Qwen3.5 e introduzindo várias técnicas de otimização de memória.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10413 adiciona detecção automática do tipo de especificação de rascunho a partir dos metadados GGUF

O projeto llama.cpp lançou a versão b10413, que introduz a detecção automática do tipo de especificação de decodificação especulativa diretamente dos metadados do modelo GGUF de rascunho.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv

O projeto llama.cpp lançou a compilação b10414, introduzindo suporte ao tipo de quantização ternária GGML_TYPE_TQ2_0 no backend Metal. Esta atualização também inclui otimizações no kernel mul_mv de tensores contíguos (cont).

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10412 habilita amostragem de backend para dflash e dspark

O projeto llama.cpp lançou a versão b10412, que introduz suporte à amostragem de backend tanto para os backends dflash quanto dspark. Esta atualização também permite valores p_min maiores que 0 dentro da lógica de amostragem de backend e adiciona as salvaguardas correspondentes.

lab OpenAI News · há 5 h · 1 visualização

OpenAI apresenta modo Ultrafast executando GPT-5.6 Sol até 14 vezes mais rápido

A OpenAI está lançando uma prévia do Ultrafast, um novo nível de serviço que executa o modelo GPT-5.6 Sol até 14 vezes mais rápido do que o processamento padrão. Alimentado por hardware da Cerebras, este modo gera até 750 tokens de saída por segundo e está inicialmente disponível via API da OpenAI.