github llama.cpp · há 1 h · inference

llama.cpp b10642 adiciona rastreamento de ID de token à célula KV

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10642, que introduz uma alteração para rastrear os IDs de token dentro da célula de chave-valor (KV).

A atualização principal envolve adicionar o rastreamento do ID do token à implementação da célula KV.
A função `get_prev_tokens` foi removida deste commit específico e movida para o pull request principal #27762.
Binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) e openEuler.

Este lançamento fornece binários atualizados em várias plataformas com a modificação interna da célula KV.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10638 adiciona Vulkan cross_entropy_loss e lança binários

O projeto llama.cpp lançou a versão b10638, que implementa suporte ao Vulkan para as funções `cross_entropy_loss` e `cross_entropy_loss_back`.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.

media Hugging Face Forums · há 6 h · 1 visualização

Celestium Neon corrige OOM no SDXL em GPUs de 4GB limpando a VRAM

O Celestium Neon é uma nova ferramenta projetada para limpar a VRAM e permitir a inferência do Stable Diffusion XL (SDXL) em placas gráficas com apenas 4 GB de memória, como a GTX 1650.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b10636 desativa a compilação da UI npm por padrão e limpa o CI

O projeto llama.cpp lançou a versão b10636, que altera o comportamento padrão ao compilar a interface web. A compilação da UI baseada em npm agora está desativada por padrão (LLAMA_BUILD_UI=OFF), com a UI sendo incorporada a partir de fontes locais ou downloads pré-compilados.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10635 desbloqueia mmq para MoE em sm_60

O projeto llama.cpp lançou a versão b10635, que inclui atualizações específicas de suporte ao CUDA. A principal alteração é o desbloqueio da multiplicação de matriz de precisão mista (mmq) para arquiteturas Mixture of Experts (MoE) em GPUs com capacidade de computação 6.0 (sm_60).