В данном исследовании оцениваются приросты производительности трансформерных языковых моделей ДНК, таких как DNABERT2, по сравнению с традиционными подходами, такими как ConvNova, уделяя особое внимание высокой стоимости предобучения. Исследуется, оправдывают ли эти улучшения вычислительные накладные расходы, и анализируется влияние токенизации Byte Pair Encoding (BPE) на геномные задачи.

  • Исследование сравнивает архитектуры на основе трансформеров с сверточными моделями, чтобы определить, перевешивают ли приросты производительности затраты на предобучение.
  • Оценивается реальный вклад предобучения в сценариях дообучения для анализа последовательностей ДНК.
  • Исследование рассматривает, как токенизация BPE влияет на производительность моделей в задачах, связанных с геномикой, что является предметом продолжающихся дебатов в этой области.