media Hugging Face Forums · há 3 d · open_models

Pesquisador busca experiência industrial com desafios de engenharia de destilação de conhecimento

Traduzido do English → Português (BR)

Um pesquisador que compartilha seu trabalho exploratório sobre destilação de conhecimento baseada em logits está pedindo à comunidade experiências industriais do mundo real e insights de engenharia.

O autor experimentou arquiteturas ResNet, quantização e poda de 90% no CIFAR-10/100 para entender a seleção de hiperparâmetros e impactos arquiteturais.
Eles buscam detalhes sobre contextos de problemas que levaram ao uso de destilação, abordagens específicas adotadas e dificuldades não óbvias encontradas.
O pedido foca em compensações inesperadas e situações onde mais compreensão do processo de destilação era necessária.

O objetivo é preencher a lacuna entre a exploração acadêmica e a aplicação industrial prática reunindo exemplos concretos de desafios de engenharia.

Importância 1/3 Confiança 1/3 Hugging Face Forums Inference efficiency Training methods

Ler original

Modelos de Linguagem Contextual gerenciam contexto nativamente como arquivos editáveis

Pesquisadores apresentam Modelos de Linguagem Contextual (CLMs), uma nova arquitetura que trata a janela de contexto do modelo como um arquivo editável, permitindo que o modelo faça atualizações irrestritas em sua própria memória. Essa abordagem transfere o gerenciamento de contexto do controle externo para o comportamento intrínseco do modelo, possibilitando tanto o aprendizado em contexto quanto o aprendizado paramétrico de estratégias de gerenciamento de contexto.

media Hugging Face Forums · há 9 d · 14 visualizações

Jen Wei depura problemas com os otimizadores Muon e Dion3 no OLMo-core

Jen Wei encontrou uma espiral de morte da taxa de aprendizado ao testar AdamW, Muon e a implementação mais recente do Dion3 dentro do OLMo-core para uma próxima palestra na Conferência PyTorch.

lab Hugging Face Blog · há 16 d · 19 visualizações

TRL v1.14 AsyncGRPOTrainer permite sincronização apenas com LoRA em Jobs do Hugging Face

O TRL v1.14 introduz suporte ao LoRA no AsyncGRPOTrainer, permitindo que ele treine um adaptador de Adaptação de Baixo Ranque e sincronize apenas esse pequeno arquivo com os workers de inferência do vLLM. Essa arquitetura desacopla os jobs de treinamento e geração em máquinas separadas, usando um Storage Bucket compartilhado como ponte de sistema de arquivos, eliminando a necessidade de NCCL ou comunicação direta de rede entre nós.

media Hugging Face Forums · há 23 d · 19 visualizações

KV Graft Steering transfere conceitos congelando estados KV

Uma demonstração mostra que congelar os estados de chave-valor (KV) de um texto guia permite que um modelo Qwen2.5-3B-Instruct aplique novas instruções sem incluir o guia no prompt ativo. O método envolve executar o texto guia pelo modelo uma vez, congelar seu cache KV e então gerar respostas sobre esse prefixo oculto.

arxiv arXiv cs.CL · há 29 d · 26 visualizações

Consolidando mais de 200 aplicativos em um único LLM auto-hospedado por meio de GRPO multi-eixos e SLERP

O artigo descreve um método para consolidar o tráfego de mais de 200 aplicativos internos em um único modelo de linguagem grande (LLM) auto-hospedado, a fim de atender às restrições de residência de dados e à fragmentação de GPUs. A abordagem preenche as lacunas de qualidade na execução de instruções, chamada de funções e distribuição de tarefas internas, treinando especialistas GRPO separados por eixo e mesclando-os por meio de SLERP em duas etapas.