Un usuario de Reddit busca recomendaciones de hardware para ejecutar múltiples modelos pequeños y medianos localmente para tareas de análisis, extracción y razonamiento de datos. El usuario tiene la intención de usar la configuración para la construcción de modelos, pruebas, creación de LoRA y destilación, mientras reserva modelos grandes en la nube como Opus para tareas complejas.
- Objetivo: Ejecutar múltiples modelos pequeños y medianos localmente para análisis de datos, extracción y capacidades ligeras de razonamiento.
- Características adicionales: Se desea generación de imágenes y uso de computadora, pero son secundarias.
- Enfoque de desarrollo: El usuario quiere utilizar DGX Sparks por su valor comercial en la construcción y prueba de modelos localmente, en lugar de solo inferencia.
- Tareas avanzadas: Interés en construir LoRAs y destilar modelos medianos en dominios específicos.
- Alternativa en la nube: Modelos grandes como Opus seguirán usándose para tareas de diseño masivo y depuración difícil.