github llama.cpp · há 1 d · inference

llama.cpp b11260 adiciona suporte para FP32 GELU_ERF e GEGLU_ERF

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11260, introduzindo suporte para as funções de ativação FP32 GELU_ERF e GEGLU_ERF no backend Hexagon. Esta atualização também inclui otimizações para reduzir a pressão de registradores nos kernels associados.

Adicionado suporte FP32 GELU_ERF e GEGLU_ERF para Hexagon.
Reduzida a pressão de registradores nos kernels hexagon.
Binários disponíveis para macOS Apple Silicon, Intel e iOS.
As compilações do Linux cobrem CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL e plataformas Snapdragon.
As compilações do Android arm64 incluem suporte para o NPU Snapdragon Hexagon.
Os lançamentos para Windows oferecem opções de CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0.

Esta versão expande a compatibilidade com hardware para funções de ativação específicas e melhora a eficiência nos aceleradores suportados.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 12 h · 2 visualizações

llama.cpp b11272 otimiza operação de concatenação Hexagon

O projeto llama.cpp lançou a compilação b11272, que inclui otimizações para o backend Hexagon. A mudança principal foca na otimização da operação de concatenação para melhorar o desempenho em hardware Qualcomm Snapdragon.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b11258 remove o service worker da interface integrada quando a UI não é servida

O projeto llama.cpp lançou a compilação b11258, que inclui uma correção para o comportamento do service worker da interface web integrada. Anteriormente, usar flags como `--path` ou `--no-ui` fazia com que os navegadores retivessem versões em cache da interface porque o servidor retornava um 404 para `/sw.js`, o que não aciona a remoção do service worker.

media Hugging Face Forums · há 2 d · 4 visualizações

Krea 2 LoRA Studio permite treinamento no Colab T4 gratuito

Jordan Epstein lançou o Krea 2 LoRA Studio, um projeto projetado para tornar o fluxo de trabalho completo do Krea 2 LoRA utilizável em uma GPU gratuita do Google Colab T4. A ferramenta aborda as restrições de memória implementando um fluxo de trabalho em etapas que gerencia a preparação do cache, o treinamento e a geração de visualizações separadamente.