media r/LocalLLaMA · hace 2 h

¿Cuál es el mejor libro para aprender las matemáticas de ML/Aprendizaje Profundo?

Un usuario solicita recomendaciones de libros para construir una sólida base matemática que le permita comprender y contribuir al aprendizaje automático y al aprendizaje profundo, especialmente dada su interés en arquitecturas de IA y modelos de lenguaje grandes. Reconoce que la comprensión intuitiva es limitada sin una adecuada formación matemática y busca recursos estructurados que complementen su aprendizaje actual a través de canales como 3b1b.

media r/LocalLLaMA · hace 2 h

Agente local en 4090 - buscando configuraciones de LM Studio

Un usuario reporta una generación lenta de tokens al ejecutar un agente local en una 4090 con 24GB de VRAM, a pesar de ajustar la configuración del contexto y el batching. Señala que Gemma4 es más rápida pero produce tokens incorrectos como <code>&lt;/tool_call&gt;</code>, y busca configuraciones recomendadas y explicaciones para parámetros como top_p y top_k.

media r/LocalLLaMA · hace 2 h

Acceso web de agente local mediante SearXNG y Scrapling

Un agente local puede acceder a la web sin APIs pagas utilizando SearXNG autoalojado para la búsqueda y Scrapling con Trafilatura para la extracción de páginas. La configuración evita dependencias de proveedores, utiliza herramientas de código abierto y entrega resultados de búsqueda y contenido de página en formato Markdown, con alternativas para CAPTCHAs y desafíos de seguridad.

media r/LocalLLaMA · hace 2 h

SupraLabs lanza supra-title-FFT-preview con 115K muestras

SupraLabs ha lanzado supra-title-FFT-preview, un modelo de generación de títulos para chat entrenado con 115K muestras de un conjunto de datos filtrado, ampliando la cobertura más allá de su anterior modelo de 12K muestras. El modelo utiliza ajuste fino completo en LiquidAI/LFM2.5-350M-Base con precisión BF16 y está diseñado para la generación única de títulos de chat, disponible a través de Hugging Face y compatible con carga directa o despliegue con vLLM.

media r/LocalLLaMA · hace 2 h

Consumo de energía y advertencia de cable de la RTX 5090 MSI

La RTX 5090 MSI consume entre 475 y 500W durante la inferencia o el entrenamiento por difusión. El usuario informa que no hay problemas con el cable de alimentación, enfatizando que no debe doblarse para garantizar un funcionamiento seguro y estable.

media r/LocalLLaMA · hace 2 h

Álgebra de Atención — una gramática que traduce lenguaje natural a espectrogramas

Álgebra de Atención es un prototipo que traduce lenguaje natural a expresiones algebraicas, las mapea a dinámicas matemáticas y visualiza el resultado como un espectrograma. Trata el lenguaje como una proyección con pérdida de estados de alta dimensión, proponiendo que los patrones de atención crudos agrupados en funciones sirven como el 'ADN' del texto, permitiendo cadenas de razonamiento eficientes al reducir el uso de tokens de 20k a 4k.

media r/LocalLLaMA · hace 2 h

Hice benchmark de 'C++ rápido' de Claude. No fue más rápido

Un usuario probó la implementación supuestamente 'rápida en C++' de Claude y encontró que no superaba al C++ estándar en los benchmarks. La publicación incluye un enlace a un artículo de Substack que detalla el proceso de prueba y los resultados.

media r/LocalLLaMA · hace 2 h

El costo de $1800 en GPU ejecuta Qwen3.6-27B con contexto de 262K y 55 tok/s

Una configuración con cuatro GPUs 5060 Ti (totalizando $1800) logra 55 tokens por segundo con Qwen3.6-27B-FP8, soportando una longitud de contexto de 262K y caché KV bfloat16. La configuración utiliza P2P y FlashInfer, con resultados de benchmark que muestran un rendimiento de salida de 55.67 tokens y una tasa de aceptación de decodificación especulativa del 65.25%.

blog Simon Willison · hace 2 h

Sean Lynch sobre el aislamiento del flujo de autenticación de MCP

Sean Lynch destaca que el Protocolo de Contexto del Modelo (MCP) ofrece una ventaja clave al aislar los flujos de autenticación fuera de la ventana de contexto del agente. Sugiere que la forma ideal de MCP podría ser una puerta de enlace de autenticación simple para APIs, lo cual seguiría representar una mejora significativa.

media r/LocalLLaMA · hace 2 h

Mejores Agentes Locales - Jun 2026

Un hilo de discusión identifica los mejores agentes de IA locales disponibles hoy en día, haciendo hincapié en modelos de peso abierto y ejecución en hardware local. El post define 'agentes' como software autónomo que determina sus propias acciones sin programación previa, distinguiéndolos de herramientas como IFTTT o Accesos directos de Apple, y establece reglas que requieren implementación local y software de agente de código abierto como enfoque principal.

media r/LocalLLaMA · hace 2 h

Ayuda para ejecutar el agente Hermes local con llama-cpp

Un usuario reporta problemas al ejecutar un agente de IA Hermes local en una configuración de alto rendimiento utilizando llama-cpp compilado por sí mismo. La configuración experimenta un reprocesamiento frecuente del caché KV cada 5 mensajes y un razonamiento lento, con el agente pausándose repetidamente para informar el progreso en lugar de continuar de forma autónoma. El usuario busca orientación sobre si los parámetros de su llama-cpp son incorrectos o qué ajustes pueden mejorar el rendimiento del agente y el razonamiento sostenido sin interrupciones.

media r/LocalLLaMA · hace 2 h

Maximizando el rendimiento de 2x3090 con NVLink

Un usuario reporta lograr solo 60 tokens por segundo en ráfagas cortas y un promedio de 40-45 TPS al ejecutar Qwen 3.6 27B con cuantización Q8_0 en dos GPUs GeForce 3090 conectadas mediante NVLink. La configuración incluye Ubuntu 24.04, Ryzen 7950x3D y 64GB DDR5, con la salida de pantalla dirigida a través de una eGPU.

media r/LocalLLaMA · hace 2 h

Cómo configurar los parámetros óptimos de llama.cpp para GPU AMD

Los usuarios que buscan configuraciones óptimas de llama.cpp para modelos gemma 4 en una GPU AMD con 16GB de VRAM preguntan si es necesario el ensayo y error. Hacen referencia a la configuración predeterminada de Google para temperatura, top-p y top-k, pero notan resultados inconsistentes, lo que indica una necesidad de orientación más específica más allá de la documentación oficial.

media r/LocalLLaMA · hace 2 h

Solución al descenso abrupto de decodificación de contexto largo en Radeon R9700 con vLLM 0.22.1

Un descenso abrupto en el rendimiento de decodificación de contexto largo en AMD Radeon AI PRO R9700 (RDNA4) fue resuelto habilitando AITER Unified Attention en vLLM 0.22.1. La corrección implica relajar un gate CDNA para incluir RDNA4, deshabilitar otros backends de atención y usar caché KV bf16, lo que resulta en aceleraciones significativas en todas las longitudes de contexto. FP8 KV es ineficaz en este hardware, y el contexto nativo del modelo de 262K se logra completamente con bf16, ofreciendo ~2.9× concurrencia sin necesidad de FP8.

media r/LocalLLaMA · hace 2 h

Cómo configurar la búsqueda con modelos de IA

Un usuario pregunta cómo integrar Gemma 4 12B con capacidades de búsqueda utilizando modelos de IA autoalojados. Mencionan que han intentado usar openwebui, el cual tiene problemas con motores de búsqueda como DDG, y buscan alternativas que eviten el uso de claves API de Brave o Google.

media r/LocalLLaMA · hace 2 h

Modelos GLM-5.2-REAP50-GGUF disponibles en Hugging Face

Los modelos GLM-5.2-REAP50-GGUF están disponibles en Hugging Face, ofreciendo dos versiones cuantizadas: Q3_K_M (182 GB) y Q2_K (139 GB). Los modelos se comparan en un post de Reddit con Qwen 3.6 27b, aunque no se proporciona una evaluación directa del rendimiento.

media r/LocalLLaMA · hace 2 h

¿Puedes usar un SSD para ampliar la memoria sin SWAP en Mac Mini M4?

Un usuario pregunta si se puede usar un SSD para ampliar la memoria y ejecutar grandes modelos de IA en un Mac Mini con chip M4 y 24 GB de memoria unificada. Informa que, aunque GPT-120B se ejecuta correctamente, consume 50 GB de volumen SWAP y apenas utiliza su SSD de 330 GB para los slots KV y archivos GGUF, a pesar de esperar que mmap permita la extensión de memoria mediante SSD.

media r/LocalLLaMA · hace 2 h

La Comisión selecciona al consorcio EUROPA como ganador del Gran Desafío de IA de Frontera

La Comisión Europea ha elegido al consorcio EUROPA, liderado por Domyn, para desarrollar un modelo de IA de frontera de código abierto en los 24 idiomas de la UE. El proyecto, lanzado en febrero de 2026, tiene como objetivo crear un modelo con más de 400 mil millones de parámetros, demostrando la capacidad de Europa para construir IA avanzada con su propia infraestructura.

media r/LocalLLaMA · hace 2 h

Mejorando modelos locales con un agente consultor basado en API

Un usuario pregunta si añadir un potente agente 'consultor' basado en API, como GLM 5.2, podría mejorar los flujos de trabajo de IA local al refinar planes y procesos de aprendizaje. El artículo explora los beneficios potenciales de dicho agente para mejorar el rendimiento del modelo local mediante consulta externa.

media r/LocalLLaMA · hace 2 h

Traducción al inglés de LQ50-24 disponible

Se ha compartido una traducción completa al inglés de LQ50-24 utilizando Google Translate. La publicación fue enviada por el usuario /u/MundanePercentage674 en la comunidad LocalLLaMA de Reddit.