El Preentrenamiento con Reflexiones de Seguridad inserta breves reflexiones de seguridad en los datos de preentrenamiento para habilitar la auto-monitoreo en modelos de lenguaje. Los experimentos con modelos de 1.7B en FineWeb-Edu muestran una mayor precisión de seguridad y tasas reducidas de éxito de ataque, mientras que MedSafetyWorld demuestra que el método previene mejor que la filtración o reescritura de datos que los comportamientos inseguros se generalicen a partir de datos seguros.
Preentrenamiento con Reflexiones de Seguridad para LLMs
Traducido del English → Español