korshunov.ai
Français
Tous les articles Page 1 / 20
media r/LocalLLaMA · il y a 8 h

Le Bonsai-8B 1-bit de PrismML bat IBM Granite sur l'appel d'outils CPU avec grammaire

Un benchmark du modèle Bonsai-8B 1-bit de PrismML contre le Granite d'IBM et d'autres LLMs révèle que Bonsai-8B atteint la plus haute précision d'appel d'outils lors de l'utilisation du décodage contraint par grammaire. Ce test, réalisé sur CPU avec llama.cpp, met en évidence le rôle critique des contraintes de sortie pour permettre aux petits modèles quantifiés de fonctionner efficacement pour les tâches d'agent.
media r/LocalLLaMA · il y a 8 h

Backend LLM local open-source pour les conversations entre PNJ

L'auteur a publié un backend de synthèse vocale entièrement local conçu pour les PNJ basés sur des grands modèles de langage (LLM), permettant des interactions directes entre PNJ sans dépendance au cloud. Le système intègre la reconnaissance vocale, un LLM local et la synthèse vocale pour permettre aux PNJ de converser, de conserver le contexte et d'influencer les interactions futures avec le joueur.
media r/LocalLLaMA · il y a 10 h

Qu'y a-t-il dans votre RAG ?

Un utilisateur de Reddit remet en question l'utilité pratique de la Génération Augmentée par Récupération (RAG) pour des projets personnels impliquant du codage, de l'administration système et de petites bases de code. L'auteur soutient que les connaissances industrielles standard sont déjà bien couvertes par les modèles, tandis que des sources de données spécifiques comme les bases de code ou les références d'API sont soit trop petites pour nécessiter un indexage, soit trop grandes pour être gérées efficacement.
media r/LocalLLaMA · il y a 10 h

Une astuce économique pour une sortie structurée fiable : renvoyer l'erreur de validation dans la tentative suivante

Pour améliorer la fiabilité lors de la génération de sorties structurées à partir de grands modèles de langage, une méthode est proposée qui renvoie les erreurs de validation et la sortie précédente du modèle dans le prompt lors des tentatives suivantes. Cette approche transforme le processus de régénération aléatoire des réponses en une correction automatique des erreurs spécifiques par édition de la tentative précédente.
media Hugging Face Forums · il y a 20 h

Show HF : ServBay, un runtime et une passerelle IA locaux-first pour les agents de codage

ServBay est présenté comme une solution de runtime et d'infrastructure locale-first conçue pour combler le fossé entre les agents de codage IA et la machine hôte de l'utilisateur. Il résout le problème du "dernier mile" où les agents intelligents manquent de capacités au niveau du système pour configurer des bases de données, des domaines ou des certificats SSL sans intervention manuelle du développeur.
media Hugging Face Forums · il y a 20 h

Prism Transformer : Programmes de têtes progressifs pour le traitement d'attention hiérarchique

Le Prism Transformer introduit un programme de têtes progressif qui varie le nombre de têtes d'attention entre les couches, en commençant par moins de têtes plus larges dans les premières couches et en augmentant monotoniquement avec la profondeur. Cette approche défie l'allocation uniforme standard en répondant aux besoins structurels distincts des premières et dernières couches sans ajouter de surcharge architecturale.
media Hugging Face Forums · il y a 21 h

Rêves fractals + Planification inspirée par la mécanique quantique : Un outil de découverte de connaissances auto-organisé avec DeepSeek Coder

L'auteur présente un outil de découverte de connaissances auto-organisé qui intègre la génération de motifs fractals et la superposition inspirée de la mécanique quantique pour améliorer l'exploration des espaces de connaissances par DeepSeek Coder. Le système optimise les trajectoires de recherche en stockant les chemins créatifs réussis sous forme de requêtes mises en cache plutôt qu'en mémoire, adaptant l'utilisation des ressources en fonction des contraintes matérielles.