korshunov.ai
Français
Tous les articles Page 1 / 20
media Hugging Face Forums · il y a 23 h

Prism Transformer : Programmes de têtes progressifs pour le traitement d'attention hiérarchique

Le Prism Transformer introduit un programme de têtes progressif qui varie le nombre de têtes d'attention entre les couches, en commençant par moins de têtes plus larges dans les premières couches et en augmentant monotoniquement avec la profondeur. Cette approche défie l'allocation uniforme standard en répondant aux besoins structurels distincts des premières et dernières couches sans ajouter de surcharge architecturale.
media Hugging Face Forums · il y a 1 j

Rêves fractals + Planification inspirée par la mécanique quantique : Un outil de découverte de connaissances auto-organisé avec DeepSeek Coder

L'auteur présente un outil de découverte de connaissances auto-organisé qui intègre la génération de motifs fractals et la superposition inspirée de la mécanique quantique pour améliorer l'exploration des espaces de connaissances par DeepSeek Coder. Le système optimise les trajectoires de recherche en stockant les chemins créatifs réussis sous forme de requêtes mises en cache plutôt qu'en mémoire, adaptant l'utilisation des ressources en fonction des contraintes matérielles.
lab Google — The Keyword (AI) · il y a 1 j

Des éducateurs et des leaders de l'industrie de NYC se réunissent chez Google pour façonner l'IA dans les salles de classe

Google, le Conseil des PDG des emplois de New York et Urban Assembly ont organisé un sommet sur l'IA pour 150 leaders de l'éducation et de l'industrie dans les bureaux de Google. L'événement a rassemblé des parties prenantes pour discuter et façonner l'avenir de l'intégration de l'intelligence artificielle au sein des environnements de classe.
github llama.cpp · il y a 1 j

llama.cpp b9857 release : rework de Flash Attention et nouveaux binaires

La version b9857 de llama.cpp introduit une refonte complète de l'implémentation Hexagon Flash Attention, axée sur les optimisations et les améliorations de précision. Cette mise à jour comprend des modifications significatives des modules hex-mm et hex-fa, telles que le regroupement des tâches de quantification dans les threads principaux de matmul, la fusion avec les opérations ADD et l'optimisation du traitement des masques.