Jason Van Pham ha lanzado Niodoo, un entorno de ejecución local diseñado para dirigir modelos de lenguaje grandes congelados a través de sus estados ocultos. El proyecto tiene como objetivo corregir errores en el último paso inyectando ruido o "fuerzas físicas" durante la inferencia para romper bucles de tokens. Este enfoque permite que los modelos más pequeños mejoren su rendimiento sin ajuste fino, dirigiéndose a casos específicos de fallo como la prueba del benchmark de fresas de Llama. El sistema genera sus propias etiquetas de telemetría y utiliza análisis TDA para monitorear los estados internos del modelo en busca de comportamientos de bucle. Van Pham desarrolló esta herramienta de manera orgánica a través de meses de investigación autodirigida y pruebas de penetración (red-teaming), enfatizando resultados reproducibles a partir de hashes fijados. El código está disponible en GitHub bajo el repositorio Ruffian-L/niodoo-hidden-state-steering.
Niodoo: Un entorno de ejecución local para la dirección del estado oculto de LLM congelados
Traducido del English → Español