lab NVIDIA Research · agora mesmo · research

Onyx alcança custo 1,7-9,9x menor e latência 2,3-12,3x menor para busca ANN disk-oblivious

Traduzido do English → Português (BR)

Pesquisadores propõem o Onyx, uma abordagem eficiente em custos para busca de vizinhos mais próximos aproximados (ANN) disk-oblivious que equilibra largura de banda e contagem de acessos invertendo o design dos sistemas ORAM-ANN de última geração.

O Onyx introduz dois componentes co-projetados: o Onyx-ANNS usa uma representação intermediária compacta para podar acessos intensivos em largura de banda sem prejudicar a recall, enquanto o Onyx-ORAM emprega um design de árvore rasa consciente da localidade para reduzir a contagem de acessos. Essa abordagem minimiza o consumo de largura de banda na camada ANN e a contagem de acessos na camada ORAM, endereçando a superutilização de recursos SSD encontrada em designs anteriores.

Em comparação com sistemas de busca ANN disk-oblivious existentes, o Onyx alcança custo 1,7−9,9× menor e latência 2,3−12,3× menor.

Importância 1/3 Confiança 3/3 NVIDIA Research NVIDIA Hardware & chips Inference efficiency

Ler original

NVIDIA lança GPIR para recuperação privada de informação acelerada por GPU

Pesquisadores da NVIDIA apresentaram o GPIR, um sistema que acelera a Recuperação Privada de Informação (PIR) em GPUs ao abordar a alta computação e o tráfego de memória no lado do servidor inerentes aos protocolos baseados em reticulados. O sistema emprega um modelo de execução híbrido consciente das etapas que alterna dinamicamente entre kernels em nível de operação e em nível de etapa para maximizar a reutilização de dados no chip.

lab NVIDIA Research · agora mesmo · 1 visualização Ao vivo

NVIDIA caracteriza desempenho e custo de MPC e FHE para PPML

Um novo estudo apresenta uma caracterização unificada em nível de sistema da computação multipartidária segura (MPC) e criptografia totalmente homomórfica (FHE) para inferência de aprendizado de máquina que preserva a privacidade. O trabalho avalia duas variantes de MPC — conversão de compartilhamento aritmético/binário e compartilhamento secreto de funções — junto com FHE em múltiplos modelos CNN e Transformer.

media Together AI Blog · há 1 d · 3 visualizações

Together AI otimiza GEMMs do ThunderKittens para a NVIDIA Vera Rubin NVL72

A equipe de kernels da Together AI otimizou a biblioteca ThunderKittens para aproveitar os novos recursos da plataforma NVIDIA Vera Rubin NVL72, com foco específico em melhorar o desempenho das multiplicações de matriz NVFP4 e FP8.

arxiv arXiv cs.LG · há 8 d · 18 visualizações

FlashAttention-4 introduz Direct-P para inferência e treinamento de FP4 com consciência de hardware

O FlashAttention-4 aborda as limitações de desempenho dos núcleos de tensores de ponto flutuante de 4 bits (FP4) do Blackwell, introduzindo novos caminhos para inferência não causal e treinamento causal. O método, chamado Direct-P, mapeia escores diretamente para probabilidades FP4 para contornar os custos de conversão de softmax que normalmente dominam quando os produtos matriciais diminuem.

lab OpenAI News · há 17 d · 32 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.