github llama.cpp · il y a 2 h · inference

llama.cpp b11156 ajoute le support de Ling 3.0 VL via BailingMoeV3

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11156, qui introduit le support pour le modèle Ling 3.0 VL. Cette mise à jour intègre Ling 3.0 VL dans l'architecture BailingMoeV3 et garantit que les listes NORM rope partagées restent intactes lors du basculement de BailingMoe3 sur les sections mrope.

Ajoute le support du modèle Ling 3.0 VL en l'intégrant à l'architecture BailingMoeV3.
Maintient l'intégrité de la liste NORM rope partagée pendant le gate des sections mrope pour BailingMoe3.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows et openEuler.

Cette version permet aux utilisateurs d'exécuter les modèles Ling 3.0 VL sur une grande variété de plateformes matérielles et de systèmes d'exploitation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.

github llama.cpp · il y a 19 h · 12 vues

llama.cpp b11136 ajoute le support de video_url d'OpenAI à llama-server

Le projet llama.cpp a publié la compilation b11136, qui met à jour llama-server pour accepter le type de contenu "video_url" standard d'OpenAI pour les entrées vidéo. Auparavant, le serveur n'acceptait qu'un type non standard "input_video" et rejetait les URIs de données, causant des problèmes de compatibilité avec les clients conformes à OpenAI.

github llama.cpp · il y a 1 j · 12 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 1 j · 15 vues

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.

github llama.cpp · il y a 1 j · 13 vues

llama.cpp b11118 introduit un cache DMA à mappage direct pour la gestion des masques FA HVX

Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).