github llama.cpp · há 3 h · inference

llama.cpp b10997 amplia heurística de mosaico MoE para RDNA3.5

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10997, que inclui uma alteração na heurística ncols_opt de mosaicos do Mixture of Experts (MoE) para suportar a arquitetura RDNA3.5.

O código em ggml/src/ggml-cuda/mmq.cu foi atualizado para incluir RDNA3.5 na verificação de condição.
Testes de desempenho em uma AMD Radeon 8060S mostraram um aumento de velocidade de +16.198% para LFM2.5-8B-A1B-UD-Q4_K_M e +6.189% para Qwen1.5-MoE-A2.7B-Q2_K.
O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, ROCm, Vulkan, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

llama.cpp b10994 corrige NaN do Metal em mul_mm_id para grandes ativações

A versão llama.cpp b10994 inclui uma correção para o backend do Metal que resolve saídas NaN na operação `mul_mm_id` quando os valores de ativação excedem a faixa f16. Este defeito anteriormente fazia com que modelos como o Mistral Small 4 produzissem vocabulários completamente NaN durante as etapas de prefill de 32 tokens ou mais em dispositivos Apple Silicon.

media Hugging Face Forums · há 2 d · 5 visualizações

MOLT alcança ajuste fino QLoRA do Qwen 1.5B 23% mais rápido que o Unsloth na RTX 4060 Laptop

O autor desenvolveu o MOLT, um runtime focado em Windows para ajuste fino de QLoRA consciente da temperatura em GPUs NVIDIA de consumo, e o benchmarkou contra o Unsloth usando um milhão de alvos de treinamento do Qwen 1.5B em uma GPU RTX 4060 Laptop.

media r/LocalLLaMA · há 4 d · 7 visualizações

Código personalizado faz DeepSeek V4.1 rodar mais rápido que a API oficial em GPUs A100

Um usuário desenvolveu uma implementação personalizada que permite que o modelo DeepSeek V4.1 seja executado em GPUs NVIDIA A100 com desempenho superior ao da API oficial.

media Hugging Face Forums · há 4 d · 3 visualizações

Proposta para tempo de execução de IA neutro em relação a fornecedores com execução consciente do orçamento de memória

Uma proposta nos fóruns da Hugging Face descreve uma camada comum de execução de GPU e gerenciamento de memória projetada para desacoplar o código de aplicação de fornecedores específicos de hardware, como NVIDIA, AMD e Intel. O objetivo é permitir que os usuários especifiquem um orçamento de memória em vez de configurar manualmente sinalizações específicas do backend, mapeamentos de dispositivo ou estratégias de offloading.

lab NVIDIA Research · há 5 d · 6 visualizações

Onyx alcança custo 1,7-9,9x menor e latência 2,3-12,3x menor para busca ANN disk-oblivious

Pesquisadores propõem o Onyx, uma abordagem eficiente em custos para busca de vizinhos mais próximos aproximados (ANN) disk-oblivious que equilibra largura de banda e contagem de acessos invertendo o design dos sistemas ORAM-ANN de última geração.