lab Hugging Face Blog · há 1 d · fonte: há 6 d · releases

TRL v1.14 AsyncGRPOTrainer permite sincronização apenas com LoRA em Jobs do Hugging Face

Traduzido do English → Português (BR)

O TRL v1.14 introduz suporte ao LoRA no AsyncGRPOTrainer, permitindo que ele treine um adaptador de Adaptação de Baixo Ranque e sincronize apenas esse pequeno arquivo com os workers de inferência do vLLM. Essa arquitetura desacopla os jobs de treinamento e geração em máquinas separadas, usando um Storage Bucket compartilhado como ponte de sistema de arquivos, eliminando a necessidade de NCCL ou comunicação direta de rede entre nós.

Um adaptador rank-1 tem apenas alguns megabytes, permitindo que ele seja transferido por meio de um Storage Bucket montado em vez de via NCCL.
O trainer e as réplicas do vLLM são executados como Jobs separados do Hugging Face em máquinas diferentes.
Um servidor proxy adiciona cabeçalhos de autenticação e roteia os rollouts para a réplica que contém o prefixo KV relevante, enquanto transmite atualizações do adaptador.
Cinco execuções reduziram o tempo de treinamento para 500 etapas de 3 horas e 27 minutos para 53 minutos.

Essa configuração permite que o AsyncGRPOTrainer opere efetivamente em ambientes distribuídos onde os nós não podem compartilhar um disco local ou formar um grupo NCCL, acelerando significativamente os fluxos de trabalho de aprendizado por reforço.

Importância 1/3 Confiança 1/3 Hugging Face Blog Hugging Face Alibaba (Qwen) Inference efficiency Training methods

Artigos relacionados

lab Hugging Face Blog · há 12 d · 18 visualizações

OpenEnv reproduz modelo de pintura em aquarela de Surya Narreddi usando TRL

Um engenheiro abriu o código-fonte de uma reprodução do projeto viral de Surya Narreddi, que treina um modelo de codificação para pintar aquarelas usando JavaScript e aprendizado por reforço. A implementação utiliza a biblioteca TRL e OpenEnv para criar um pipeline de ponta a ponta no Hugging Face para treinamento, pontuação e inferência.

media MarkTechPost · há 18 d · 30 visualizações

Z.ai e Alibaba convergem independentemente em arquitetura de atenção linear 3:1 para GLM-5.3-Flash e Qwen3.8-Flash-Next

A Z.ai lançou o GLM-5.3-Flash, um modelo MoE multimodal de 320B parâmetros com 18B parâmetros ativos, enquanto a equipe do Qwen da Alibaba lançou o Qwen3.8-Flash-Next, um modelo de 125B com 6B parâmetros ativos. Apesar do desenvolvimento independente, ambas as equipes adotaram configurações arquitetônicas quase idênticas.

github llama.cpp · há 19 d · 62 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

lab Hugging Face Blog · há 21 d · 14 visualizações

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.

arxiv arXiv cs.CL · há 67 d · 24 visualizações

Destilação do deepseek-r1:8B para o Qwen3-0.6B permite enriquecimento estruturado de texto rápido em dispositivo

Pesquisadores demonstram que destilar um professor de raciocínio de 8B (deepseek-r1:8B) em um modelo estudante de 0.6B (Qwen3-0.6B via QLoRA) permite extração estruturada em alto volume com latência e custo significativamente menores. O estudo avalia essa abordagem no mapeamento de artigos de notícias para objetos JSON contendo resumos e rótulos categóricos, comparando o modelo destilado contra linhas de base de prompting few-shot e decodificação restrita.