github llama.cpp · há 22 h · inference

llama.cpp b10356 atualiza o ROCm para 7.14 e adiciona suporte ao CUDA 13 no Windows

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10356, que tem como foco principal a infraestrutura de compilação, alterando o backend ROCm da versão 7.2.1 para 7.14. Esta atualização está alinhada com o ROCm 7.14 sendo o primeiro lançamento de produção utilizando o sistema de compilação TheRock e envolve a migração dos trabalhos de CI para usar wheels multi-arquitetura tanto para Linux quanto para Windows.

Altera o alvo do ROCm de 7.2.1 para 7.14 em compilações para Linux e Windows.
Migra ações compartilhadas de configuração do Windows para wheels ROCm multi-arquitetura e atualiza o build-cuda-windows.yml conforme necessário.
Adiciona novos binários para Windows para CUDA 13 (x64) e suporte preview para CUDA 13.4 (arm64).
Fornece binários pré-compilados para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android e iOS.

Este lançamento garante compatibilidade com a infraestrutura mais recente do ROCm enquanto expande as opções de aceleração de GPU no Windows por meio de versões mais recentes do CUDA.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · há 7 h

llama.cpp b10361 corrige SWA para EXAONE 4.5 e ignora TENSOR_SKIP no caminho de metadados

O lançamento do llama.cpp b10361 aborda um bug crítico em que a Atenção de Janela Deslizante (SWA) não estava habilitada para o modelo LGAI-EXAONE 4.5 devido à ordem incorreta dos parâmetros durante o carregamento.

lab Hugging Face Blog · há 11 h

ALTK-Evolve alcança precisão igual ou superior à do ACE com uma fração do custo de inferência

O ALTK-Evolve, um sistema de memória agêntica que converte trajetórias de agentes em diretrizes reutilizáveis sem atualizações de pesos, iguala ou supera a precisão do ACE enquanto utiliza significativamente menos tokens. Diferente do ACE, que injeta um manual abrangente em cada etapa, o ALTK-Evolve usa recuperação seletiva para entregar apenas as diretrizes relevantes com base na capacidade do modelo.

github vLLM · há 14 h

vLLM v0.27.1 adiciona suporte para cabeças DSpark Markov quantizadas

O vLLM lançou a versão 0.27.1, uma atualização de correção construída sobre o lançamento anterior v0.27.0.

lab NVIDIA Research · há 15 h · 10 visualizações

DSTP mitiga falhas na poda de tokens visuais no raciocínio complexo de MLLM

Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.

media MarkTechPost · há 16 h · 1 visualização

webAI lança TwIL-LM, uma família de modelos de lógica formal de 1.7B e 3B para autoformalização local

A webAI lançou o TwIL-LM, uma família de dois modelos de raciocínio em lógica formal com 1.7B e 3B de parâmetros, projetada para autoformalização em hardware local. Os modelos traduzem inglês para lógica de primeira ordem e verificam a validade das conclusões, com a variante de 3B alcançando uma pontuação macro gate de 0.4218 em tarefas de lógica formal dentro do domínio.