Modelos de lenguaje de ADN: Una evaluación del preentrenamiento para tareas de ajuste fino

Este estudio evalúa las ganancias de rendimiento de los modelos de lenguaje de ADN basados en transformadores como DNABERT2 en comparación con enfoques convencionales como ConvNova, abordando específicamente el alto costo del preentrenamiento. Investiga si estas mejoras justifican la sobrecarga computacional y analiza el impacto de la tokenización por Pares de Bytes (BPE) en tareas genómicas.

• La investigación compara arquitecturas basadas en transformadores frente a modelos convolucionales para determinar si las ganancias de rendimiento superan los costos del preentrenamiento.
• Evalúa la contribución real del preentrenamiento en escenarios de ajuste fino para el análisis de secuencias de ADN.
• El estudio examina cómo la tokenización BPE afecta el rendimiento del modelo en tareas relacionadas con la genómica, un tema de debate continuo en el campo.