korshunov.ai
Español
Todos los artículos Página 1 / 59
media r/LocalLLaMA · hace 3 h

Dock eGPU Oculink MINISFORUM DEG1 reacondicionado disponible por $59

Un dock eGPU Oculink MINISFORUM DEG1 reacondicionado está actualmente disponible por $59. El listado del producto destaca su sólida calidad de construcción, señalando que el dispositivo tiene suficiente peso para sujetar firmemente una tarjeta gráfica. A diferencia de algunas alternativas de menor costo, este dock incluye redrivers para garantizar la integridad de la señal. Un usuario que compró una unidad el año pasado reportó experiencias positivas con su rendimiento y estabilidad. El artículo se puede comprar directamente en la página de productos reacondicionados del fabricante.
media r/LocalLLaMA · hace 3 h

Consulta sobre agrupación de Nvidia DGX Spark y AMD Ryzen AI Max 395 para inferencia con memoria unificada

Un usuario preguntó sobre la viabilidad de agrupar un Nvidia DGX Spark con un AMD Ryzen AI Max 395 para ejecutar un único modelo de lenguaje grande. Ambos dispositivos cuentan con 128GB de memoria unificada, lo que ofrece una capacidad combinada potencial de aproximadamente 256GB menos la sobrecarga del sistema operativo. El DGX Spark está equipado con una interfaz de red de 200Gbit, mientras que el sistema AMD Strix actualmente solo tiene Ethernet de 5Gbit pero incluye una ranura PCIe Gen 4x4. El usuario señaló que DeepSeek v4 Flash puede caber en dos DGX Sparks y se preguntó si el Strix podría servir como un nodo alternativo. Para mejorar la conectividad, propusieron agregar un Mellanox ConnectX-6 QSFP+28 al sistema AMD para lograr un mayor ancho de banda en el enlace.
media r/LocalLLaMA · hace 3 h

Colony: Una simulación educativa de los mecanismos de atención de LLM mediante analogías basadas en agentes

Colony es un recurso educativo diseñado para explicar el mecanismo de atención de los Modelos de Lenguaje Grande a través de analogías simples que involucran agentes. La simulación sitúa a estos agentes dentro de un entorno de tablero inspirado en el Juego de la Vida de Conway. Cada agente en el sistema representa un rol específico dentro del mecanismo del bloque de autoatención de un LLM. Este enfoque visual permite a los usuarios observar cómo fluye y se interactúa la información durante el proceso de atención. El proyecto está disponible como una herramienta de código abierto para aquellos interesados en explorar estos conceptos sin matemáticas complejas. Sirve como una manera divertida y accesible de comprender el funcionamiento interno de los modelos transformadores.
media r/LocalLLaMA · hace 3 h

Un usuario observa que los chatbots en la nube parecen menos inteligentes que los modelos locales

Un usuario de Reddit informa que los chatbots en la nube como ChatGPT y Claude a menudo parecen menos capaces que los modelos de código abierto como Kimi o GLM al discutir conceptos abstractos. El autor señala que estos modelos comerciales frecuentemente saltan a conclusiones, simplifican en exceso las ideas y dependen de patrones de redacción repetitivos. Este descenso percibido en la inteligencia se atribuye a los system prompts diseñados para imponer una personalidad específica para el engagement del usuario. Si bien este comportamiento fue particularmente prominente durante la era de GPT-4o, según se informa persiste en las versiones actuales. El usuario cuestiona si acceder a estos modelos a través de la API raw elimina los system prompts restrictivos o si permanecen incrustados. La publicación busca comentarios de la comunidad sobre si los modelos en la nube funcionan mejor sin estas restricciones.
media r/LocalLLaMA · hace 3 h

Gefen: Una alternativa directa a AdamW con una reducción de memoria de 8x

Gefen se presenta como una alternativa directa al optimizador AdamW, afirmando una reducción octuple en el uso de memoria durante el entrenamiento. El proyecto incluye un repositorio de GitHub disponible en ndvbd/Gefen y un artículo de investigación correspondiente alojado en arXiv bajo el identificador 2606.13894. Esta presentación destaca el potencial de Gefen para optimizar la eficiencia de recursos en flujos de trabajo de aprendizaje automático. El material fuente proporcionado enlaza directamente con la documentación técnica y la base de código para su verificación adicional. No se detallan métricas de rendimiento adicionales ni benchmarks comparativos en el texto disponible.
media r/LocalLLaMA · hace 3 h

SDXL ejecutándose localmente en el navegador con WebGPU, de código abierto

Una extensión del navegador permite la generación local de imágenes utilizando modelos SDXL a través de WebGPU, ejecutándose en la GPU del usuario sin configuraciones externas. La herramienta admite dos modelos: SDXL-Lighting fp16 (7 GB) y una versión de 4 bits (3.6 GB), con requisitos que incluyen al menos 8 GB de VRAM para el modelo completo y un navegador con soporte de WebGPU (Chrome/Edge 122+ o Firefox más reciente).
media r/LocalLLaMA · hace 3 h

Ingeniería inversa de Windows Copilot para crear una API compatible con OpenAI gratuita

Un usuario ha creado una API local que replica la funcionalidad de GPT-4 compatible con OpenAI utilizando el servicio gratuito de Copilot de Microsoft. La herramienta inicia sesión en una cuenta de Microsoft una vez, se ejecuta localmente en un dispositivo Windows y expone un servidor en http://localhost:8000/v1 que admite streaming y conversaciones multironda sin requerir una clave de API ni facturación. Está diseñada para uso personal y educativo, y está disponible en GitHub en https://github.com/sums001/Windows-Copilot-API.
media r/LocalLLaMA · hace 3 h

Grandes noticias para los propietarios de AMD Strix Halo+: la NPU ya es utilizable

La NPU de AMD ahora es completamente utilizable, lo que permite modelos de IA híbridos en dispositivos Strix Halo+. Los usuarios pueden aprovechar el modo híbrido para combinar el rendimiento de la NPU y la iGPU, con herramientas como Lemonade y documentación oficial que facilitan las pruebas tempranas. La comunidad ahora está solicitando modelos híbridos compatibles con MTP para impulsar aún más el rendimiento.
media r/LocalLLaMA · hace 3 h

Mi micro-benchmark: ¿qué tan buenos son los LLM para simular el comportamiento de humedecimiento?

El autor evalúa a los LLM en la simulación del comportamiento de humedecimiento utilizando Surface Evolver, una herramienta de 1992 para modelar superficies líquidas. Los LLM se evalúan objetivamente comparando sus archivos generados contra implementaciones de referencia, con resultados que muestran el conteo de aprobaciones y los costos de tokens para cada modelo.
media r/LocalLLaMA · hace 3 h

Los hacks de modelos aumentan la velocidad de GLM5.2 de 2.5 a más de 50 tok/s

Un usuario logró más de 50 tokens por segundo para GLM5.2 en su sistema GH200 combinando el cabezal MTP del repositorio FP8 de zai con el modelo cuantizado AWQ-INT4 de CyanKiwi. Este enfoque híbrido, implementado mediante un script de fusión y vLLM parcheado, alcanzó un mejor caso de ~55 tok/s con concurrencia 4x y ~45 tok/s para inferencia única, con transmisión desde RAM a VRAM.
media r/LocalLLaMA · hace 3 h

Informe del Banco de Corea: El uso de IA ahorra 1 hora semanal pero sin ganancia real de productividad

El Banco de Corea informa que el uso de IA reduce la carga laboral semanal en un 3,8%, equivalente a una hora por semana. Sin embargo, no encuentra conexión entre el tiempo ahorrado y el aumento de la productividad, ya que la IA genera más informes y no hay pago adicional por tareas extra. Incluso en condiciones ideales, el crecimiento real de la productividad es como máximo del 1%.
media r/LocalLLaMA · hace 3 h

Verificación de sentido común con GPU dual: ¿Es una compra inteligente?

Un usuario pregunta si vale la pena agregar una GTX 5060 Ti 16GB a su configuración existente de RTX 5090 para tener más VRAM y ejecutar LLMs más grandes y extender la generación de video en ComfyUI. La actualización permitiría usar Qwen 3.6 con contexto de 256K y mejorar la generación de video en 1440p, aunque las ganancias de rendimiento en ComfyUI son limitadas debido a las restricciones actuales del software.