KDoS introduce la densidad de conocimiento para guiar la generación de datos sintéticos a través de un mecanismo de retroalimentación en tres etapas. Los experimentos en modelos de 0.6B a 16B y escalas de datos de 1B a 5B tokens muestran que una distribución óptima del conocimiento maximiza consistentemente la expansión del límite de conocimiento, es estable entre diferentes arquitecturas de modelos y supera a los métodos base en seis benchmarks de conocimiento.
KDoS: Síntesis optimizada por distribución para la expansión del conocimiento de LLM
Traducido del English → Español