Los Modelos de Lenguaje Afilados (TLMs) asignan más parámetros a las capas iniciales y menos a las posteriores, reduciendo la perplejidad y mejorando el rendimiento en benchmarks a través de arquitecturas. Esta asignación de capacidad consciente de la profundidad mejora las salidas de los modelos de lenguaje sin añadir cómputo ni parámetros, ofreciendo un principio de diseño simple y universal.
Los Modelos de Lenguaje Afilados Mejoran el Rendimiento
Traducido del English → Español