O GeneBench-Pro é um benchmark projetado para avaliar modelos em tarefas complexas de raciocínio genômico, apresentando dez estudos de caso detalhados que exibem perguntas representativas e materiais de apoio. Cada estudo de caso fornece o prompt original, conjuntos de dados e o contexto necessários para avaliar o desempenho do modelo em desafios biológicos específicos.

  • Estimar a utilidade clínica de inibidores sintéticos direcionados ao TXR1 usando evidências de leitura longa e farmacogenômica.
  • Distinguir dependências de lncRNA específicas de transcritos de efeitos de loci próximos, controlando por perturbação do DNA local e toxicidade GC.
  • Realizar randomização mendeliana multivariável cis para estimar efeitos diretos da doença, lidando com desequilíbrio de ligação e pleiotropia.
  • Calcular frequências de portadores específicas de ancestralidade e riscos residuais usando chamadas conscientes de pseudogenes e dados de haplótipos fundadores.
  • Determinar os efeitos do genótipo na expressão de monócitos corrigindo por RNA ambiental e contaminação técnica em dados de célula única.
  • Avaliar associações clínicas de subhaplótipos estruturais aninhados dentro de loci semelhantes a inversões, separando a calibração de dosagem do suporte à expressão.
  • Quantificar diferenças na força dos loops Hi-C mascarando contatos de baixa mapeabilidade e artefatos de variantes estruturais.
  • Mapear loci de características quantitativas em populações recombinantes reconstruindo a ancestralidade fundadora a partir de dados de marcadores bialélicos.
  • Inferir proporções de ancestralidade específicas dos pais e o tempo de mistura a partir de tratos locais de ancestralidade faseados após reparar artefatos recíprocos.
  • Identificar loci haploides sob seleção positiva usando séries temporais de frequência alélica antiga, considerando erros de sequenciamento e deriva genética.

Esses estudos de caso destacam a necessidade de os modelos lidarem com confusores biológicos sutis, como desequilíbrio de ligação, RNA ambiental e artefatos de variantes estruturais, para produzir conclusões clínicas e de pesquisa defensáveis.