github llama.cpp · há 1 h · inference

llama.cpp v0.1.2 adiciona otimizações CUDA MMVQ e hash SHA256 do mtmd

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão 0.1.2, que inclui uma sincronização com o ggml (atualizado para 0.20.2) e várias atualizações nos componentes do servidor e da interface do usuário.

CUDA: MMVQ nwarps=8 para bs=1 para modelos densos no DGX Spark.
mtmd: usar sha256 para hash de entrada.
vocab: suporte a pontuações inteiras do tokenizador.
mtmd: pular miniaturas para imagens LFM2 não agrupadas.
server: salvar blocos processados do mtmd como marcador de posição.
ui: impor ordem alfabética dos membros da enumeração e refatorar o nome das Ferramentas Integradas.

Este lançamento também aborda limpezas de compilação para xcframework + cmake e atualiza os processos de CI para geração de pré-lançamento.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

MLX v0.32.1 adiciona suporte à dimensão de cabeça 72 na atenção completa do Metal

A biblioteca MLX lançou a versão 0.32.1, introduzindo suporte para uma dimensão de cabeça de 72 em sua implementação de atenção completa do Metal.

lab Hugging Face Blog · há 16 h

Alocador de GPU com consciência de restrições melhora a utilização e a saída ponderada por prioridade em relação ao FIFO

Um alocador de GPU com consciência de restrições foi benchmarkado contra um agendador FIFO em sete cenários, alcançando até 33 pontos percentuais mais de utilização da GPU e até 105% mais saída ponderada por prioridade em hardware idêntico. O sistema trata a demanda de inferência em tempo real como uma curva flutuante em vez de uma reserva estática, permitindo que trabalhos do tipo batch preencham a capacidade durante os vales enquanto respeita restrições rigorosas como blocos contíguos de GPU e não-preempção.

github llama.cpp · há 18 h

llama.cpp b10472 ignora substituição de UMA para compilações HIP

O projeto llama.cpp lançou a compilação b10472, que inclui uma correção para ignorar a substituição da Arquitetura de Memória Unificada (UMA) para compilações HIP. Esta alteração aborda um problema em que as Unidades de Processamento Acelerado (APU) da AMD relatavam informações de memória imprecisas via hipMemGetInfo.

media Hugging Face Forums · há 1 d · 9 visualizações

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

Um desenvolvedor está buscando feedback sobre o SpiralCoreAttention, um protótipo experimental de seleção de contexto durante o treinamento para ajuste fino de LLMs de pesos abertos. Em vez de processar sequências longas completas em cada passagem direta e inversa, o sistema seleciona blocos específicos de tokens da sequência para treinar, enquanto avalia o adaptador resultante em sequências de contexto completo mantidas fora do conjunto de treinamento.

github llama.cpp · há 1 d · 17 visualizações

llama.cpp b10456 corrige contagem de threads do SYCL para ganho de 7x na taxa de transferência no Arc 70

O projeto llama.cpp lançou a versão b10456, que inclui uma correção crítica para o backend SYCL nos lançamentos do kernel de cópia quantizada. A atualização ajusta as contagens de threads e blocos para serem proporcionais ao tamanho da quantização, reduzindo efetivamente os problemas de sub- e super-reserva.