Un usuario de Reddit pregunta sobre el rendimiento en el mundo real de VibeThinker-3B más allá de las puntuaciones de benchmark, centrándose en la depuración, programación, razonamiento, latencia y usabilidad. El modelo está disponible en Hugging Face y se describe en un artículo en arXiv.
Los usuarios informan que los modelos de lenguaje locales están negándose a responder preguntas sin guardrails, lo que genera preocupaciones sobre la censura en configuraciones de IA descentralizadas. El tema fue compartido en la comunidad LocalLLaMA de Reddit, donde los usuarios describen instancias de modelos que bloquean respuestas a consultas legítimas.
Una publicación de blog detalla cómo implementar flujos de trabajo de agentes de múltiples documentos en Microsoft Word utilizando LLMs locales. La guía describe los pasos para habilitar que los agentes procesen e interactúen con múltiples documentos dentro de un único entorno de Word.
Una publicación de Reddit titulada 'The meme must go on' comparte una imagen de un meme relacionado con los modelos LLaMA locales. La publicación fue realizada por el usuario /u/ego100trique e incluye un enlace a la imagen y a la sección de comentarios.
EvoTensile utiliza algoritmos evolutivos para ajustar núcleos GEMM para GPUs AMD, mejorando el rendimiento del layout NT de 20 a 40 TFLOPS en Strix Halo. Esta aceleración representa un avance significativo respecto a los núcleos no optimizados, aunque sigue por debajo de la línea de techo teórica de 59.4 TFLOPS.
El equipo de PLN de la Universidad Estatal de Ohio ha lanzado QUEST-35B, un agente de investigación profunda de código abierto entrenado en aproximadamente 32 GPUs H100 utilizando 8.000 muestras sintéticas. El equipo ha liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda de código cerrado.
Los investigadores de la Universidad Estatal de Ohio entrenaron QUEST-35B, un agente de investigación profunda, utilizando aproximadamente 32 GPUs H100 y 8.000 muestras sintéticas. Han liberado como código abierto la receta de entrenamiento, el código, los pesos y los conjuntos de datos, con resultados de evaluación que muestran un rendimiento competitivo en comparación con los principales sistemas de investigación profunda propietarios.
GLM-5.2, el modelo abierto más potente hasta la fecha, ahora puede ejecutarse localmente usando llama.cpp y Unsloth Studio. El modelo cuantizado a 2 bits conserva ~82% de precisión tras reducir su tamaño de 1.51TB a 238GB, una reducción del 84%, y es compatible con configuraciones de 256GB de RAM o VRAM.
Un usuario agradeció al equipo de DeepSeek por lanzar DeepSeek V4 Pro y su versión Flash, que cabe en hardware local. La publicación se realizó siete meses después de una publicación inicial en Reddit.
Le Chaton Fat ha sido requantizado en formato GGUF y pronto estará disponible en Hugging Face. Se recomienda a los usuarios instalar un comando pip específico para acceder al modelo, incluyendo banderas como --trust-remote y --just-do-it.
Un usuario pregunta sobre el autoalojamiento de herramientas de revisión de código debido a que Gemini Code Assist finaliza el soporte para consumidores y se traslada exclusivamente al ámbito empresarial. Están explorando aplicaciones o acciones de GitHub para soluciones locales o basadas en la nube.
SupraLabs ha lanzado SupraVL-Nano-900k, un modelo de visión y lenguaje con 900k parámetros, completamente transparente, entrenado desde cero en Flickr8k. Cuenta con un codificador visual CNN, un decodificador estilo GPT-2 y fusión por concatenación de prefijos, con todos los componentes documentados abiertamente y diseñados para claridad educativa.
RefRad2D es un conjunto de datos bilingüe a gran escala de 1.2M pares de imagen-texto de TC y RM de la práctica clínica. Entrenado con estos datos, RadGrounder logra resultados competitivos en VQA y realiza fundamentación espacial sin degradar la calidad del lenguaje, permitiendo salidas verificables en radiología.
Un nuevo conjunto de datos, IFLLM, recopila trayectorias del ratón y datos de fijación ocular de usuarios que interactúan con LLMs. Muestra que la retroalimentación implícita mejora significativamente la alineación de LLMs, aumentando la precisión del modelo de recompensa basado en texto del 55% al 64% y casi triplicando las mejoras en la calidad de respuesta después del entrenamiento DPO en ocho LLMs.
H-RePlan introduce un marco de replanificación jerárquica que separa la recuperación de estrategias locales del dispositivo de la replanificación global del orquestador. Supera a las líneas base existentes al lograr una mayor tasa de finalización y adherencia a las instrucciones, con menor costo en tokens, mediante una recuperación consciente del alcance en sistemas de agentes multi-dispositivo.
StylisticBias introduce una prueba controlada para evaluar el sesgo social a nivel de atributos en modelos de lenguaje multimodales grandes. Revela que la edad y el tipo de cuerpo dominan los efectos a nivel de identidad, mientras que el estilo de moda y 15 atributos visuales clave impulsan la mayoría del sesgo, representando casi el 80% de la variación. La prueba destaca que los juicios del modelo son más sensibles a las pistas relacionadas con la apariencia, especialmente en contextos socioeconómicos y basados en estilo.
LedgerAgent introduce un libro contable estructurado para mantener los estados de las tareas separados en agentes que llaman a herramientas. Convierte estos estados en prompts y aplica restricciones de políticas antes de la ejecución de las herramientas, reduciendo las violaciones de políticas y mejorando el rendimiento en dominios de atención al cliente.
Un usuario ha demostrado que las GPUs Tesla P40 pueden modificarse a una configuración de 8+6 pines y utilizarse con disipadores estándar de la 1080 TI. Diseñó un deflector de flujo de aire 2-1-2 que permite un rendimiento sostenido estable de 120-130W, previene el apagado térmico y reduce el ruido a aproximadamente 42dB, mejorando significativamente sobre las opciones de refrigeración existentes.
SETI @ Home es un proyecto que utiliza computación distribuida para el análisis de datos de radiotelescopios. No se conoce ningún sistema existente que funcione como un motor de inferencia LLM distribuido bajo este nombre. La propuesta sugiere que tal sistema podría construirse, pero sigue siendo especulativo y no implementado.
Los transformers de cadena de pensamiento (CoT) pueden simular eficientemente algoritmos de Word RAM con una sobrecarga solo polilogarítmica. Esta eficiencia mejora a log-cuadrado para conjuntos de instrucciones planos y logarítmico para aquellos sin multiplicación, en contraste con las simulaciones anteriores de máquinas de Turing que requieren una sobrecarga cuadrática.