Todos los artículos
media r/LocalLLaMA · hace 9 d

Microsoft lanza FastContext de código abierto para agentes de codificación LLM

Microsoft ha liberado como código abierto FastContext-1.0, un subagente ligero de exploración de repositorios que separa la exploración del repositorio de código de la resolución de tareas en agentes de codificación LLM. Utiliza llamadas de herramientas paralelas solo de lectura para devolver rutas de archivo compactas y rangos de líneas, mejorando la precisión de extremo a extremo y reduciendo el uso de tokens hasta un 60.3%, con el modelo 4B-RL superando a un modelo 30B-SFT en SWE-bench Pro.

blog Simon Willison · hace 9 d

Inyección de prompt como confusión de rol

Los investigadores identifican la 'confusión de rol' como una vulnerabilidad clave en los LLM, donde los modelos interpretan mal la entrada del usuario debido a similitudes estilísticas con las etiquetas de rol internas. Destilizar los prompts del usuario reduce el éxito del ataque del 61% al 10%, lo que muestra que cambios sutiles en el estilo del texto pueden alterar drásticamente el comportamiento del modelo, incluso cuando el contenido parece idéntico para los humanos.

media r/LocalLLaMA · hace 9 d

El potencial de Gemma 4 para superar a Mistral y Qwen3.6 mediante finetuning

Gemma 4 muestra un fuerte rendimiento base y características únicas como soporte global de MTP, QAT y capacidades visuales listas para usar. Aunque actualmente carece de finetunes generalizados, modelos como MeroMero, Equinox y Gembrain ya han demostrado alta calidad, lo que sugiere que con el esfuerzo de la comunidad, Gemma 4 podría superar a Mistral o Qwen3.6 en tareas específicas como codificación y escritura creativa.

media Latent Space · hace 9 d

Explicación de los riesgos de Red Teaming de IA e Inyección de Prompts

Zico Kolter y Matt Fredrikson, coautores del artículo definitivo sobre inyecciones indirectas de prompts y autoridades en el modelo Mythos, discuten los crecientes riesgos de seguridad de la IA. Destacan que los sistemas de IA requieren una mentalidad de seguridad distinta, con agentes que introducen nuevas vulnerabilidades, y que el red-teaming especializado en IA puede superar a los humanos al romper modelos, haciendo que las brechas por inyección de prompts en la IA sean cada vez más probables.

media r/LocalLLaMA · hace 9 d

Nuevo operador de ablación: edición de covector contrastivo

Apostate introduce un nuevo operador de edición de covector contrastivo definido como E = I − R Dᵀ. Este método elimina el comportamiento de rechazo al aislar la varianza dañina mientras preserva el comportamiento inofensivo a través de un predictor W entrenado en activaciones inofensivas y suprimido en prompts dañinos. En granite-3.3-8b, reduce la tasa de rechazo del 96.0% al 5.0% con solo un aumento de 0.081-nat en la divergencia KL inofensiva.

media r/LocalLLaMA · hace 9 d

Idea para ejecutar GLM2 con una cuantización decente en configuración de GPU y DDR3

El usuario propone utilizar cuatro GPUs 5060 Ti con 64GB de VRAM en total, funcionando a PCIe Gen 3, para ejecutar GLM2 a un nivel de cuantización razonable. Sugiere añadir 512GB de RAM DDR3 en un servidor con 16 carriles PCIe y bifurcación 4x4 para descargar el almacenamiento del KV cache, buscando una inferencia eficiente sin depender de clústeres de memoria unificada. Se estima que la configuración costará alrededor de $1700 en total, con viabilidad potencial para GLM2 a un nivel de cuantización decente.

media r/LocalLLaMA · hace 9 d

MacBook Pro M5 Pro 64GB para inferencia de IA local

Un usuario está evaluando un MacBook Pro con el chip M5 Pro y 64GB de memoria unificada para ejecutar grandes modelos de IA locales como Qwen 35B A3B o modelos de 8B en marcos de agentes de IA como Opencode o Pi. Está preocupado por la longitud del contexto, el rendimiento, la multitarea con aplicaciones como IDEs y Chromium, y el posible sobrecalentamiento, buscando comentarios de otros con configuraciones similares.

media Hugging Face Forums · hace 9 d

El proxy de Hugging Face Spaces elimina el encabezado de credenciales CORS en la preflight OPTIONS

Los usuarios informan que el proxy de borde de Hugging Face Spaces ahora está eliminando el encabezado Access-Control-Allow-Credentials de las solicitudes de preflight OPTIONS, incluso cuando se configura explícitamente en el middleware de Express. El encabezado falta en las respuestas a pesar del código que lo establece e incluye un middleware comodín para las solicitudes OPTIONS, lo que sugiere que el proxy intercepta y modifica la respuesta antes de que llegue al contenedor backend.

media Hugging Face Forums · hace 9 d

BenchHub lanza una actualización importante al espacio de tablas de clasificación abiertas

BenchHub ha lanzado una actualización importante a su plataforma de tablas de clasificación abiertas, que ahora cubre tareas de visión, audio y PLN con métricas consistentes y puntuaciones reproducibles. La plataforma cuenta con 95 tablas, más de 700 presentaciones de modelos y permite la participación gratuita mediante inicio de sesión con GitHub, Google o Hugging Face, con exploración completa y comparaciones de muestras disponibles en runbenchhub.com.