github llama.cpp · há 14 d · inference

Lançamento do llama.cpp b9675 adiciona suporte a FP16 e novos binários para plataformas

Traduzido do English → Português (BR)

A versão b9675 do llama.cpp habilita o suporte a FP16 para operações como SQR, SQRT, LOG, SIN, COS e CLAMP. O lançamento inclui binários para macOS, Linux, Android, Windows e openEuler em múltiplas arquiteturas, com suporte para Vulkan, ROCm, OpenVINO, SYCL (FP16 e FP32) e CUDA 12.4 e 13.3.

Importância 1/3 Confiança 2/3 llama.cpp Code generation Hardware & chips Inference efficiency

Ler original