lab NVIDIA Research · ahora mismo · research

Onyx logra un costo 1,7-9,9 veces menor y una latencia 2,3-12,3 veces menor para la búsqueda ANN disk-oblivious

Traducido del English → Español

Los investigadores proponen Onyx, un enfoque eficiente en costos para la búsqueda de vecinos más cercanos aproximados (ANN) disk-oblivious que equilibra el ancho de banda y el recuento de accesos invirtiendo el diseño de los sistemas ORAM-ANN de última generación.

Onyx introduce dos componentes co-diseñados: Onyx-ANNS utiliza una representación intermedia compacta para podar accesos intensivos en ancho de banda sin afectar la precisión, mientras que Onyx-ORAM emplea un diseño de árbol poco profundo consciente de la localidad para reducir el recuento de accesos. Este enfoque minimiza el consumo de ancho de banda en la capa ANN y el recuento de accesos en la capa ORAM, abordando la sobreutilización de recursos SSD encontrada en diseños anteriores.

En comparación con los sistemas de búsqueda ANN disk-oblivious existentes, Onyx logra un costo 1,7−9,9× menor y una latencia 2,3−12,3× menor.

Importancia 1/3 Confianza 3/3 NVIDIA Research NVIDIA Hardware & chips Inference efficiency

Leer original

NVIDIA lanza GPIR para la recuperación privada de información acelerada por GPU

Investigadores de NVIDIA han presentado GPIR, un sistema que acelera la Recuperación Privada de Información (PIR) en GPUs abordando la alta computación y el tráfico de memoria en el lado del servidor inherentes a los protocolos basados en retículas. El sistema emplea un modelo de ejecución híbrido consciente de las etapas que cambia dinámicamente entre kernels a nivel de operación y a nivel de etapa para maximizar la reutilización de datos en el chip.

lab NVIDIA Research · ahora mismo · 1 vista En vivo

NVIDIA caracteriza el rendimiento y costo de MPC y FHE para PPML

Un nuevo estudio presenta una caracterización unificada a nivel de sistema de la computación multipartita segura (MPC) y la criptografía totalmente homomórfica (FHE) para inferencia de aprendizaje automático que preserva la privacidad. El trabajo evalúa dos variantes de MPC —conversión de compartición aritmética/binaria y compartición secreta de funciones— junto con FHE en múltiples modelos CNN y Transformer.

media Together AI Blog · hace 1 d · 3 vistas

Together AI optimiza los GEMMs de ThunderKittens para NVIDIA Vera Rubin NVL72

El equipo de núcleos de Together AI ha optimizado la biblioteca ThunderKittens para aprovechar las nuevas características de la plataforma NVIDIA Vera Rubin NVL72, enfocándose específicamente en mejorar el rendimiento para multiplicaciones de matrices NVFP4 y FP8.

arxiv arXiv cs.LG · hace 8 d · 18 vistas

FlashAttention-4 introduce Direct-P para inferencia y entrenamiento de FP4 consciente del hardware

FlashAttention-4 aborda las limitaciones de rendimiento de los núcleos de tensor de punto flotante de 4 bits (FP4) de Blackwell introduciendo nuevas rutas para la inferencia no causal y el entrenamiento causal. El método, llamado Direct-P, mapea las puntuaciones directamente a probabilidades FP4 para evitar los sobrecostos de conversión de softmax que suelen dominar una vez que los productos matriciales se reducen.

lab OpenAI News · hace 17 d · 32 vistas

OpenAI informa de que el chip Jalapeño ofrece hasta 3,6 veces menor latencia y 1,9 veces mayor eficiencia

OpenAI ha publicado los resultados iniciales de rendimiento de Jalapeño, su primer chip de inferencia personalizado, demostrando ganancias significativas en velocidad y eficiencia energética en comparación con los sistemas comerciales existentes. La empresa afirma que la nueva arquitectura permite un mayor rendimiento y menor latencia simultáneamente, abordando una compensación común en el hardware actual.