O artigo propõe o Symphony, uma arquitetura híbrida programável e especializada projetada para abordar ineficiências no sistema de memória em arquiteturas atuais de alto desempenho, como GPUs. Ele foca na orquestração de dados ao longo da hierarquia de memória para reduzir o movimento desnecessário de dados e a distância.
Os pesquisadores abordam descontinuidades temporais no relighting de vídeos de longo prazo reformulando a tarefa como tradução de domínio latente condicionado temporalmente. A estrutura impõe continuidade entre blocos propagando os latentes do domínio-alvo através dos limites e utiliza autocondicionamento mascarado do domínio-alvo para tornar esse comportamento aprendível.
Pesquisadores da Nvidia introduziram o FusionRelight, um método para realinhamento de retratos que combina transferência de iluminação fisicamente plausível com preservação de identidade e inferência compacta em tempo real. A abordagem utiliza a Fusão Híbrida de Conhecimento de Domínio (HDKF), uma estrutura de treinamento que destila priors de física, refletância e realismo a partir de dados sintéticos, One-Light-at-a-Time (OLAT) e in-the-wild em um modelo estudante.
Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.
Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.
A NVIDIA apresentou o OmniDreams, um modelo de mundo generativo fundamental projetado para resolver os gargalos na avaliação de políticas de direção autônoma dentro de simulações em loop fechado. Treinado intermediária e posteriormente a partir do modelo de difusão Cosmos com 21 mil horas de cenários de condução, ele gera vídeos condicionados por ações em tempo real de forma autoregressiva.
O artigo apresenta o JacNet, uma arquitetura de rede neural que aprende diretamente o Jacobiano de uma função de entrada-saída em vez do mapeamento em si. Essa abordagem permite controle preciso sobre as propriedades da derivada, permitindo a imposição de priors estruturais como invertibilidade e continuidade k-Lipschitz.
O artigo introduz uma tese de jlorraine que aborda os desafios de aplicar otimização bilevel ou aninhada a configurações de aprendizado profundo em larga escala. Enquanto a otimização baseada em gradiente tipicamente atualiza um único conjunto de parâmetros, muitas aplicações exigem a atualização de subconjuntos de parâmetros em diferentes objetivos aninhados uns dentro dos outros.
Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.
Pesquisadores identificaram o Deslocamento de Informação Visual Relevante (RVIS) durante a decodificação como a causa principal da falha dos métodos existentes de poda de tokens visuais em Modelos de Linguagem Grande Multimodais (MLLMs). Para abordar isso, eles propõem a Poda de Tokens Consciente do Deslocamento na Fase de Decodificação (DSTP), um framework sem treinamento que alinha os tokens visuais com os requisitos de raciocínio em mudança.
Pesquisadores apresentam o GenRecal, um framework de destilação de propósito geral que transfere conhecimento de grandes modelos de visão e linguagem (VLM) para contrapartes menores e mais eficientes. O método aborda o desafio das arquiteturas VLM heterogêneas usando um Recalibrator para alinhar e adaptar representações de características entre diferentes tipos de modelos.
Pesquisadores introduzem a Otimização de Política na Zona Próxima (ZPPO), um método que injeta conhecimento do professor nos prompts, em vez dos gradientes da política, para lidar com a fragilidade na destilação de conhecimento e no desvio no aprendizado por reforço. A ZPPO constrói Perguntas com Candidato Binário Incluído (BCQ) e Perguntas com Candidato Negativo Incluído (NCQ) para perguntas difíceis, recirculando-as por meio de um buffer de replay até que a precisão do aluno melhore ou sejam removidas.
Pesquisadores propõem um novo framework de destilação pensar-responder que melhora a capacidade de modelos visuo-linguísticos compactos de utilizar evidência visual ao mascarar prefixos de raciocínio salientes. Esta abordagem aborda o problema do "esquecimento visual" comum em rastros longos de pensar-responder, onde os estudantes perdem o foco nas pistas visuais durante o raciocínio estendido.
Pesquisadores propõem o SpatialClaw, um framework sem treinamento que adota o código como a interface de ação para melhorar o raciocínio espacial aberto 3D e 4D em modelos de visão-linguagem. Diferente dos agentes existentes que dependem de execução de passagem única ou chamadas de ferramentas rígidas, o SpatialClaw mantém um kernel Python com estado pré-carregado com quadros de entrada e primitivas de percepção.
Pesquisadores propõem a Otimização de Política Exploratória de Agentes (AXPO) para abordar a "Lacuna entre Pensamento e Ação" em modelos de visão e linguagem que exigem ferramentas externas. Essa lacuna faz com que métodos padrão de RL, como GRPO, tentem usar ferramentas apenas em ~30% dos rollouts, com altas taxas de falha suprimindo os sinais de aprendizado.
Pesquisadores propõem o ROSA, um sistema de serviço para modelos fundamentais de robótica projetado para fábricas de robôs que vai além das premissas de computação de borda para um único robô. O sistema utiliza serviço compartilhado de GPU-pool para permitir que frotas de robôs acessem GPUs de classe de servidor pela rede.
Pesquisadores da NVIDIA introduziram o Spatial-IQ, um framework de diagnóstico projetado para decompor a inteligência espacial de grandes modelos de linguagem multimodais (MLLMs). Diferente dos benchmarks existentes que tratam os modelos como caixas-pretas, esta abordagem decompõe a contagem de objetos em estruturas 3D empilhadas em nove sub-tarefas perceptivas e cognitivas alinhadas com estágios do desenvolvimento humano.
Pesquisadores apresentam o Cluster-Guided Vector Quantization (CGVQ), um método projetado para melhorar o desempenho de taxa-distorção na compressão de imagens baseada em primitivas gaussianas. A abordagem particiona os parâmetros de Gaussiana em grupos homogêneos antes da quantização, abordando a ineficiência causada pelo armazenamento de grandes números de parámetros de ponto flutuante por primitiva.
Pesquisadores analisam vídeos de gameplay do jogo competitivo de tiro Delta Force para extrair e compreender a comunicação não verbal emergente, como gestos e padrões de movimento. Este trabalho aborda uma lacuna em estudos anteriores que se concentraram amplamente em jogos MOBA ou coordenação verbal em outros shooters.
Pesquisadores da NVIDIA estão abordando a dificuldade de agendar jogos competitivos em grupo e recriar ambientes de laboratório adotando a metodologia de experimentação de campo. Essa abordagem integra a experimentação diretamente nas estruturas dos torneios, criando torneios-experimento híbridos.