media Hugging Face Forums · hace 1 h · open_models

Patience Strong propone construir redes neuronales como dispositivos semiconductores

Traducido del English → Español

Patience Strong argumenta que las redes neuronales actuales consumen una potencia de cómputo excesiva al emular circuitos en software en lugar de implementarlos como hardware físico. El artículo sugiere reemplazar esta emulación con un dispositivo semiconductor donde los pesos y sesgos se almacenan en memoria no volátil.

Los pesos y sesgos se realizan como convertidores digital a analógico (DAC) con registros no volátiles que sobreviven a la pérdida de energía.
Las funciones de activación se implementan utilizando transistores de conmutación rápida que se activan basándose en umbrales de voltaje o corriente.
El dispositivo procesa neuronas en paralelo, ofreciendo mejoras potenciales de velocidad sobre las GPU y un consumo de energía significativamente menor.
Las versiones sucesivas de IA pueden sobrescribirse directamente en el chip no volátil, manteniendo la paridad con las prácticas actuales de actualización.

El autor sostiene que este enfoque elimina la necesidad de computadoras convencionales para procesar la lógica de la red, requiriéndolas solo para el manejo de entrada y salida.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Hardware & chips Research paper

Artículos relacionados

lab NVIDIA Research · hace 22 d · 6 vistas

Nvidia presenta el algoritmo 2M que reduce la multiplicación de matrices complejas a dos GEMM reales

Un nuevo artículo introduce el algoritmo de multiplicación 2M, que reduce el costo de la multiplicación de matrices complejas de tres General Matrix Multiplications (GEMM) reales a solo dos. Este enfoque se aplica a matrices con partes reales e imaginarias enteras mediante pasos de procesamiento previo y posterior en tiempo cuadrático.

arxiv arXiv cs.AI · hace 43 d

HAMON: Pronóstico óptico pasivo para series temporales de largo plazo

HAMON utiliza componentes ópticos pasivos para realizar pronósticos de series temporales de largo plazo, superando a los mejores modelos digitales en ETTm2 en todos los horizontes y en ETTh2 en todos excepto el horizonte más largo. Logra hasta un 14% menos de MSE y se basa en la propagación óptica física sin capas digitales entrenables, demostrando que la mezcla óptica pasiva puede producir pronósticos competitivos.

arxiv arXiv cs.LG · hace 43 d

HAMON: Núcleo de Pronóstico Óptico Pasivo

HAMON utiliza difracción óptica pasiva para generar pronósticos, superando las líneas base digitales en ETTm2 en todos los horizontes y ETTh2 en todos excepto el horizonte más largo. Logra hasta un 14% menos de MSE y opera sin mezcla digital entrenable, confiando en cambio en la propagación óptica física.

lab Hugging Face Blog · hace 4 h

Ai2 lanza la plataforma OlmoEarth para inferencia geoespacial a escala planetaria

Ai2 ha lanzado la plataforma OlmoEarth, un sistema de infraestructura diseñado para llevar los modelos base de observación terrestre desde el ajuste fino hasta la inferencia a gran escala. La plataforma aborda los desafíos de ingeniería del procesamiento de terabytes de datos satelitales multimodales entre múltiples proveedores y resoluciones.

arxiv arXiv cs.LG · hace 13 h

Moonshot AI lanza Kimi K3, un modelo MoE de 2.8T parámetros con contexto de millón de tokens

Moonshot AI ha presentado Kimi K3, un modelo Mixture-of-Experts de código abierto que cuenta con 2.8 billones de parámetros totales y 104 mil millones de parámetros activados por token. El modelo admite capacidades nativas de visión y una ventana de contexto de 1 millón de tokens, aprovechando Kimi Delta Attention y Stable LatentMoE para lograr una eficiencia de escalado aproximada de 2.5x en comparación con su predecesor, Kimi K2.