korshunov.ai
Español
Todos los artículos Página 1 / 46
media r/LocalLLaMA · hace 2 h

Microsoft lanza FastContext de código abierto para agentes de codificación LLM

Microsoft ha liberado como código abierto FastContext-1.0, un subagente ligero de exploración de repositorios que separa la exploración del repositorio de código de la resolución de tareas en agentes de codificación LLM. Utiliza llamadas de herramientas paralelas solo de lectura para devolver rutas de archivo compactas y rangos de líneas, mejorando la precisión de extremo a extremo y reduciendo el uso de tokens hasta un 60.3%, con el modelo 4B-RL superando a un modelo 30B-SFT en SWE-bench Pro.
blog Simon Willison · hace 2 h

Inyección de prompt como confusión de rol

Los investigadores identifican la 'confusión de rol' como una vulnerabilidad clave en los LLM, donde los modelos interpretan mal la entrada del usuario debido a similitudes estilísticas con las etiquetas de rol internas. Destilizar los prompts del usuario reduce el éxito del ataque del 61% al 10%, lo que muestra que cambios sutiles en el estilo del texto pueden alterar drásticamente el comportamiento del modelo, incluso cuando el contenido parece idéntico para los humanos.
media r/LocalLLaMA · hace 2 h

El potencial de Gemma 4 para superar a Mistral y Qwen3.6 mediante finetuning

Gemma 4 muestra un fuerte rendimiento base y características únicas como soporte global de MTP, QAT y capacidades visuales listas para usar. Aunque actualmente carece de finetunes generalizados, modelos como MeroMero, Equinox y Gembrain ya han demostrado alta calidad, lo que sugiere que con el esfuerzo de la comunidad, Gemma 4 podría superar a Mistral o Qwen3.6 en tareas específicas como codificación y escritura creativa.
media r/LocalLLaMA · hace 2 h

Idea para ejecutar GLM2 con una cuantización decente en configuración de GPU y DDR3

El usuario propone utilizar cuatro GPUs 5060 Ti con 64GB de VRAM en total, funcionando a PCIe Gen 3, para ejecutar GLM2 a un nivel de cuantización razonable. Sugiere añadir 512GB de RAM DDR3 en un servidor con 16 carriles PCIe y bifurcación 4x4 para descargar el almacenamiento del KV cache, buscando una inferencia eficiente sin depender de clústeres de memoria unificada. Se estima que la configuración costará alrededor de $1700 en total, con viabilidad potencial para GLM2 a un nivel de cuantización decente.
media r/LocalLLaMA · hace 2 h

MacBook Pro M5 Pro 64GB para inferencia de IA local

Un usuario está evaluando un MacBook Pro con el chip M5 Pro y 64GB de memoria unificada para ejecutar grandes modelos de IA locales como Qwen 35B A3B o modelos de 8B en marcos de agentes de IA como Opencode o Pi. Está preocupado por la longitud del contexto, el rendimiento, la multitarea con aplicaciones como IDEs y Chromium, y el posible sobrecalentamiento, buscando comentarios de otros con configuraciones similares.
media r/LocalLLaMA · hace 2 h

Top-N-Sigma: Eliminar softmax+sort incondicional

El muestreador Top-N-Sigma actualmente realiza una operación de softmax y ordenamiento incondicional al final, lo cual es inútil cuando va seguido de Dist. Este PR elimina ese paso, mejorando el rendimiento en un 50% en un MacBook Pro M3 Max para el modelo google_gemma-4-E4B-it-Q8_0, reduciendo el tiempo por token en 10ms. El cambio puede afectar las cadenas del muestreado y aún no se ha verificado para todos los backends y modelos.
media r/LocalLLaMA · hace 2 h

¿El hardware dedicado para LLMs locales se volverá asequible pronto?

Los usuarios preguntan si el hardware dedicado para ejecutar modelos de lenguaje grandes locales se volverá asequible para los consumidores pronto. Señalan que, aunque modelos como Qwen 27B son efectivos, los costos del hardware siguen siendo altos y se preguntan si los fabricantes chinos, a pesar de los desafíos en la fabricación de chips y el software, podrían ofrecer soluciones de bajo costo y escalables.
media r/LocalLLaMA · hace 2 h

Gemma4-12B-QAT Uncensored Balanced lanzado con un aumento del 60% de velocidad mediante MTP

El modelo Gemma4-12B-QAT Uncensored Balanced ya está disponible, con una mejora del 60% en velocidad mediante descodificación especulativa de predicción multi-tokeno (MTP). Incluye cuantización Q4_K_M, soporte de visión a través de mmproj y generación estable sin bucles ni deriva del contexto, lo que lo hace ideal para tareas de escritura creativa e inteligencia emocional.