Un agente local puede acceder a la web sin APIs pagas utilizando SearXNG autoalojado para la búsqueda y Scrapling con Trafilatura para la extracción de páginas. La configuración evita dependencias de proveedores, utiliza herramientas de código abierto y entrega resultados de búsqueda y contenido de página en formato Markdown, con alternativas para CAPTCHAs y desafíos de seguridad.
Un usuario reporta una generación lenta de tokens al ejecutar un agente local en una 4090 con 24GB de VRAM, a pesar de ajustar la configuración del contexto y el batching. Señala que Gemma4 es más rápida pero produce tokens incorrectos como <code></tool_call></code>, y busca configuraciones recomendadas y explicaciones para parámetros como top_p y top_k.
SupraLabs ha lanzado supra-title-FFT-preview, un modelo de generación de títulos para chat entrenado con 115K muestras de un conjunto de datos filtrado, ampliando la cobertura más allá de su anterior modelo de 12K muestras. El modelo utiliza ajuste fino completo en LiquidAI/LFM2.5-350M-Base con precisión BF16 y está diseñado para la generación única de títulos de chat, disponible a través de Hugging Face y compatible con carga directa o despliegue con vLLM.
La RTX 5090 MSI consume entre 475 y 500W durante la inferencia o el entrenamiento por difusión. El usuario informa que no hay problemas con el cable de alimentación, enfatizando que no debe doblarse para garantizar un funcionamiento seguro y estable.
Álgebra de Atención es un prototipo que traduce lenguaje natural a expresiones algebraicas, las mapea a dinámicas matemáticas y visualiza el resultado como un espectrograma. Trata el lenguaje como una proyección con pérdida de estados de alta dimensión, proponiendo que los patrones de atención crudos agrupados en funciones sirven como el 'ADN' del texto, permitiendo cadenas de razonamiento eficientes al reducir el uso de tokens de 20k a 4k.
LLaMA.cpp publica la versión b9732 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye comunicación refactorizada entre hijo y enrutador, correcciones al manejo de despertar, mejoras en update_status() y documentación.
Un usuario probó la implementación supuestamente 'rápida en C++' de Claude y encontró que no superaba al C++ estándar en los benchmarks. La publicación incluye un enlace a un artículo de Substack que detalla el proceso de prueba y los resultados.
El proyecto ggml-webgpu ha añadido interruptores de adaptador para el soporte de precisión media (F16) en GPUs Vulkan y NVIDIA. Esta actualización permite un mejor rendimiento en hardware compatible a través de múltiples plataformas, incluyendo macOS, Linux, Android, Windows y openEuler, con compilaciones específicas disponibles para las arquitecturas ARM y x64.
Una configuración con cuatro GPUs 5060 Ti (totalizando $1800) logra 55 tokens por segundo con Qwen3.6-27B-FP8, soportando una longitud de contexto de 262K y caché KV bfloat16. La configuración utiliza P2P y FlashInfer, con resultados de benchmark que muestran un rendimiento de salida de 55.67 tokens y una tasa de aceptación de decodificación especulativa del 65.25%.
Sean Lynch destaca que el Protocolo de Contexto del Modelo (MCP) ofrece una ventaja clave al aislar los flujos de autenticación fuera de la ventana de contexto del agente. Sugiere que la forma ideal de MCP podría ser una puerta de enlace de autenticación simple para APIs, lo cual seguiría representar una mejora significativa.
La versión b9731 de llama.cpp introduce una optimización que utiliza std::partial_sort para reducir la sobrecarga del ordenamiento de tokens, mejorando el rendimiento de 8.555ms a 0.704ms para la selección de top-n tokens. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
La versión b9730 de llama.cpp incluye correcciones para el manejo de UTF-8 en Windows y mejoras en ggml_fopen y la CLI. El lanzamiento proporciona binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
Un hilo de discusión identifica los mejores agentes de IA locales disponibles hoy en día, haciendo hincapié en modelos de peso abierto y ejecución en hardware local. El post define 'agentes' como software autónomo que determina sus propias acciones sin programación previa, distinguiéndolos de herramientas como IFTTT o Accesos directos de Apple, y establece reglas que requieren implementación local y software de agente de código abierto como enfoque principal.
Se ha lanzado la versión 0.0.12 de Rust. Esta versión temprana forma parte de la fase inicial de desarrollo de Rust e incluye características fundamentales para el lenguaje.
Se ha lanzado la versión 0.0.13 de Rust. Esta versión temprana forma parte de la fase inicial de desarrollo de Rust e incluye características fundamentales del lenguaje.
Se ha lanzado la versión 0.0.14 de Rust. Esta versión temprana forma parte de la fase inicial de desarrollo de Rust e incluye características fundamentales para el lenguaje.
Un usuario reporta problemas al ejecutar un agente de IA Hermes local en una configuración de alto rendimiento utilizando llama-cpp compilado por sí mismo. La configuración experimenta un reprocesamiento frecuente del caché KV cada 5 mensajes y un razonamiento lento, con el agente pausándose repetidamente para informar el progreso en lugar de continuar de forma autónoma. El usuario busca orientación sobre si los parámetros de su llama-cpp son incorrectos o qué ajustes pueden mejorar el rendimiento del agente y el razonamiento sostenido sin interrupciones.
Un usuario reporta lograr solo 60 tokens por segundo en ráfagas cortas y un promedio de 40-45 TPS al ejecutar Qwen 3.6 27B con cuantización Q8_0 en dos GPUs GeForce 3090 conectadas mediante NVLink. La configuración incluye Ubuntu 24.04, Ryzen 7950x3D y 64GB DDR5, con la salida de pantalla dirigida a través de una eGPU.
LLaMA.cpp publica la versión b9729 con binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La publicación incluye soporte para CPU, Vulkan, OpenVINO, SYCL y ROCm, junto con un nuevo paquete de interfaz de usuario. Se han eliminado las referencias internas a 'webui'.
SupraLabs ha lanzado SupraVL-Nano-900k, un modelo de visión y lenguaje con 900k parámetros, completamente transparente, entrenado desde cero en Flickr8k. Cuenta con un codificador visual CNN, un decodificador estilo GPT-2 y fusión por concatenación de prefijos, con todos los componentes documentados abiertamente y diseñados para claridad educativa.