Um estudo controlado de 18 execuções em modelos de linguagem e visão-linguagem nas escalas 4B e 8B encontra que a Otimização Relativa do Grupo de Políticas (GRPO) não melhora credivelmente as taxas de sucesso sobre uma forte base supervisionada em tarefas dominadas. Taxas de aprendizado moderadas a altas pioram o desempenho, enquanto o método só ajuda quando a política amostrada já tem mais sucesso que a gulosa.
- Nenhuma configuração melhorou as taxas de sucesso através de variações na taxa de aprendizado, peso KL, semente, inicialização e clipping.
- O resultado nulo se mantém sob testes pareados com 25 sementes de avaliação e 6 sementes de treinamento.
- GRPO aumenta o sucesso em 22 pontos em tarefas onde a recompensa é alcançável por amostragem.
- Taxas de aprendizado intermediárias degradam os blocos de atenção e MLP, enquanto taxas altas causam colapso sem localização grupal rastreável.
- Em 4B, o posto efetivo nas camadas tardias acompanha a capacidade; em 8B, esse acoplamento desaparece.
A falha indica que GRPO é ineficaz para agentes que já dominaram a tarefa, pois ele principalmente remodela o comportamento existente em vez de adicionar nova habilidade.