Modelos de lenguaje de ADN: Una evaluación del preentrenamiento para tareas de ajuste fino
Este estudio evalúa las ganancias de rendimiento de los modelos de lenguaje de ADN basados en transformadores como DNABERT2 en comparación con enfoques convencionales como ConvNova, abordando específicamente el alto costo del preentrenamiento. Investiga si estas mejoras justifican la sobrecarga computacional y analiza el impacto de la tokenización por Pares de Bytes (BPE) en tareas genómicas.