github llama.cpp · há 8 h · inference

llama.cpp b10655 adiciona suporte ao LIGHTNING_INDEXER para operações do Deepseek V4 no Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10655, que introduz suporte à operação LIGHTNING_INDEXER dentro do backend do Vulkan para habilitar as operações do Deepseek V4.

Adicionada a operação LIGHTNING_INDEXer ao backend do Vulkan.
Atualizados lightning_indexer.comp e ggml-vulkan.cpp para mover a redução de produto interno de 128 canais de uma árvore de memória compartilhada para subgroupAdd.
Incluídas alterações de limpeza, como pular verificações de limites e reverter modificações anteriores do FA_K_ONLY.
Restaurado o ordenamento entrelaçado do buffer K/V e removida a lógica FA_K_ONLY.

Esta atualização fornece aos usuários do Vulkan a capacidade de executar operações do Deepseek V4 usando a nova implementação do LIGHTNING_INDEXER.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 8 h · 3 visualizações

llama.cpp b10653 adiciona TENSOR_READ_LAZY para carregamento de modelos

O projeto llama.cpp lançou a compilação b10653, introduzindo o recurso TENSOR_READ_LAZY em seu carregador de modelos. Esta alteração inclui a adição da função TENSOR_GET_ROW_LAZY e uma flag correspondente --tensor-read-lazy na linha de comando.

github llama.cpp · há 1 d · 6 visualizações

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.

media Hugging Face Forums · há 1 d · 4 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

lab Hugging Face Blog · há 2 d · 1 visualização

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.