Colony es un recurso educativo diseñado para explicar el mecanismo de atención de los Modelos de Lenguaje Grande a través de analogías simples que involucran agentes. La simulación sitúa a estos agentes dentro de un entorno de tablero inspirado en el Juego de la Vida de Conway. Cada agente en el sistema representa un rol específico dentro del mecanismo del bloque de autoatención de un LLM. Este enfoque visual permite a los usuarios observar cómo fluye y se interactúa la información durante el proceso de atención. El proyecto está disponible como una herramienta de código abierto para aquellos interesados en explorar estos conceptos sin matemáticas complejas. Sirve como una manera divertida y accesible de comprender el funcionamiento interno de los modelos transformadores.
Colony: Una simulación educativa de los mecanismos de atención de LLM mediante analogías basadas en agentes
Traducido del English → Español