media r/LocalLLaMA · hace 1 h · open_models

El código personalizado hace que DeepSeek V4.1 sea más rápido que la API oficial en GPUs A100

Traducido del English → Español

Un usuario ha desarrollado una implementación personalizada que permite ejecutar el modelo DeepSeek V4.1 en GPUs NVIDIA A100 con un rendimiento que supera a la API oficial.

El proyecto está disponible a través del repositorio de GitHub shi3z/deepseekv4.1-A100-custom.
Este logro es notable porque el hardware A100 no admite nativamente la precisión FP4, que normalmente se requiere para estas optimizaciones.
El código personalizado permite velocidades de inferencia más rápidas en comparación con el punto final oficial estándar.

Importancia 2/3 r/LocalLLaMA DeepSeek Hardware & chips Inference efficiency

Leer original

DeepSeek lanza v4.1-Flash con arquitectura 763B-P8B-D16B para inferencia eficiente

DeepSeek ha lanzado DeepSeek v4.1-Flash, un nuevo modelo insignia de pesos abiertos que presenta una nueva arquitectura causal codificador-decodificador diseñada para maximizar la eficiencia de inferencia y reducir costos.

media Hugging Face Forums · hace 10 h · 1 vista

Propuesta de un entorno de ejecución de IA independiente del proveedor con gestión de memoria consciente

Una propuesta en los foros de Hugging Face describe una capa común de ejecución y gestión de memoria para GPU, diseñada para desacoplar el código de la aplicación de proveedores específicos de hardware como NVIDIA, AMD e Intel. El objetivo es permitir a los usuarios especificar un presupuesto de memoria en lugar de configurar manualmente indicadores específicos del backend, mapas de dispositivos o estrategias de descarga.

lab NVIDIA Research · hace 14 h · 4 vistas

Onyx logra un costo 1,7-9,9 veces menor y una latencia 2,3-12,3 veces menor para la búsqueda ANN disk-oblivious

Los investigadores proponen Onyx, un enfoque eficiente en costos para la búsqueda de vecinos más cercanos aproximados (ANN) disk-oblivious que equilibra el ancho de banda y el recuento de accesos invirtiendo el diseño de los sistemas ORAM-ANN de última generación.

lab NVIDIA Research · hace 14 h · 2 vistas

NVIDIA lanza GPIR para la recuperación privada de información acelerada por GPU

Investigadores de NVIDIA han presentado GPIR, un sistema que acelera la Recuperación Privada de Información (PIR) en GPUs abordando la alta computación y el tráfico de memoria en el lado del servidor inherentes a los protocolos basados en retículas. El sistema emplea un modelo de ejecución híbrido consciente de las etapas que cambia dinámicamente entre kernels a nivel de operación y a nivel de etapa para maximizar la reutilización de datos en el chip.

lab NVIDIA Research · hace 14 h · 4 vistas

NVIDIA caracteriza el rendimiento y costo de MPC y FHE para PPML

Un nuevo estudio presenta una caracterización unificada a nivel de sistema de la computación multipartita segura (MPC) y la criptografía totalmente homomórfica (FHE) para inferencia de aprendizaje automático que preserva la privacidad. El trabajo evalúa dos variantes de MPC —conversión de compartición aritmética/binaria y compartición secreta de funciones— junto con FHE en múltiples modelos CNN y Transformer.