Sipp es una biblioteca de código abierto que permite la inferencia en el navegador utilizando llama.cpp. Permite a los usuarios ejecutar inferencia de modelos de lenguaje locales directamente en navegadores web sin depender de servicios en la nube. El proyecto está disponible en GitHub en https://github.com/noumena-labs/Sipp.
Un desarrollador creó un Nano LLM con 20.2M de parámetros en un MacBook Air utilizando el framework MLX. El proyecto demuestra que construir un modelo de lenguaje grande desde cero es factible con hardware mínimo y conocimientos básicos de Python.
Las pruebas iniciales muestran que el chip de primera generación ofrece un rendimiento por vatio significativamente mejor que las soluciones líderes actuales. Diseñado desde cero para los modelos de lenguaje grandes actuales y futuros, el chip amplía la plataforma de pila completa de OpenAI y se implementará a escala de gigavatios con socios de centros de datos en múltiples generaciones.
La NPU de AMD ahora es completamente utilizable, lo que permite modelos de IA híbridos en dispositivos Strix Halo+. Los usuarios pueden aprovechar el modo híbrido para combinar el rendimiento de la NPU y la iGPU, con herramientas como Lemonade y documentación oficial que facilitan las pruebas tempranas. La comunidad ahora está solicitando modelos híbridos compatibles con MTP para impulsar aún más el rendimiento.
El autor evalúa a los LLM en la simulación del comportamiento de humedecimiento utilizando Surface Evolver, una herramienta de 1992 para modelar superficies líquidas. Los LLM se evalúan objetivamente comparando sus archivos generados contra implementaciones de referencia, con resultados que muestran el conteo de aprobaciones y los costos de tokens para cada modelo.
El Tribunal Federal Suizo está evaluando el modelo de lenguaje Heretic para su propio uso con el fin de abordar problemas de sobre-alineación en solicitudes legales. Un artículo sobre la sobre-alineación en tribunales multilingües de derecho penal evalúa a Heretic, concluyendo positivamente, particularmente en la Sección 5.2.
Un usuario logró más de 50 tokens por segundo para GLM5.2 en su sistema GH200 combinando el cabezal MTP del repositorio FP8 de zai con el modelo cuantizado AWQ-INT4 de CyanKiwi. Este enfoque híbrido, implementado mediante un script de fusión y vLLM parcheado, alcanzó un mejor caso de ~55 tok/s con concurrencia 4x y ~45 tok/s para inferencia única, con transmisión desde RAM a VRAM.
El Banco de Corea informa que el uso de IA reduce la carga laboral semanal en un 3,8%, equivalente a una hora por semana. Sin embargo, no encuentra conexión entre el tiempo ahorrado y el aumento de la productividad, ya que la IA genera más informes y no hay pago adicional por tareas extra. Incluso en condiciones ideales, el crecimiento real de la productividad es como máximo del 1%.
El modelo Nex-N2-Mini-Ultra-Uncensored-Heretic ya está disponible, con pensamiento agéntico y 5/100 rechazos, y una KLD de 0.0020. Se lanza en formatos Safetensors y GGUF y es accesible a través de Hugging Face. El creador señala que se eligió Heretic 1.2.0 sobre 1.4.0 debido a un mejor rendimiento al evitar KLD altas y mantener umbrales de rechazo bajos.
Un usuario pregunta si vale la pena agregar una GTX 5060 Ti 16GB a su configuración existente de RTX 5090 para tener más VRAM y ejecutar LLMs más grandes y extender la generación de video en ComfyUI. La actualización permitiría usar Qwen 3.6 con contexto de 256K y mejorar la generación de video en 1440p, aunque las ganancias de rendimiento en ComfyUI son limitadas debido a las restricciones actuales del software.
El modelo Qwen-AgentWorld-35B-A3B muestra un rendimiento sólido en tareas de programación, con una puntuación de 65.63% en la Evaluación de Escritura de Software y 65.92% en el benchmark general. Supera a Qwen3.5-35B-A3B y compite con modelos más grandes en tareas basadas en agentes, con una primera impresión que destaca su mayor precisión en flujos de trabajo de agentes a largo plazo.
La interfaz web de llama.cpp ahora admite la ejecución de JavaScript generado por modelos de lenguaje en el navegador utilizando Web Workers, habilitado a través de una configuración opcional. El código se ejecuta en un iframe aislado con restricciones de seguridad, aunque las solicitudes de red parecen estar deshabilitadas y las capacidades del sandbox permitidas carecen de documentación clara.
Un usuario informa que Gemma 4 26B cuantizado a Q3 funciona a 25 tokens por segundo en un MacBook Air, con un rendimiento casi tan bueno como bf16 para tareas de no-código y llamada de herramientas. Cuestiona si este rendimiento refleja sesgo de confirmación o si los modelos pequeños cuantizados son genuinamente utilizables.
Los usuarios comparten que hf-accelerate's model-memory-usage y el calculador de VRAM de LLM de NyxKrage son herramientas comunes para estimar las necesidades de VRAM y RAM. La herramienta de NyxKrage se destaca por ser consciente del KV-cache y configurable con ajustes de cuantización y longitud de contexto, aunque los resultados pueden variar entre modelos y motores como llama.cpp o vLLM debido a los comportamientos de cuantización y caché.
Baidu ha lanzado Unlimited-OCR, un modelo que transcribe docenas de páginas en un único pase hacia adelante utilizando Atención de Ventana Deslizante de Referencia (R-SWA). Se basa en DeepSeek-OCR, heredando su codificador, compresión de imágenes y arquitectura MoE, con solo 500M de parámetros activos por token. El modelo alcanza una precisión del 93.92% en OmniDocBench v1.6, superando el 87.01% de DeepSeek-OCR en v1.5, aunque los resultados reportados por el fabricante requieren validación independiente.
Un usuario informa que Qwen3.6-27B se ejecuta significativamente menos de manera inteligente en vLLM que en llama.cpp, presentando problemas como ignorar mensajes, alucinar llamadas a herramientas y no reconocer el contexto de conversaciones previas. A pesar de la configuración adecuada y las plantillas de prompt, el modelo parece perder coherencia e interpretar mal su propio uso de herramientas, con errores que ocurren de manera consistente en lugar de esporádica.
KaLM-Reranker-V1 es un reordenador rápido, pero no de interacción tardía, que desacopla el cálculo de la consulta y del pasaje mientras mantiene una fuerte modelación de relevancia a través de cross-attention. Alcanza rendimiento de vanguardia en BEIR, supera a modelos industriales como Qwen3-Reranker, y muestra excelentes resultados en MIRACL y LMEB, con el modelo Nano de 0.27B manteniéndose competitivo frente a modelos de 7-12B.
llama.cpp ahora soporta los modelos granite-speech-4.1-2b-plus y LFM2.5-ColBERT/Embedding-350M. Las actualizaciones del backend Vulkan incluyen soporte para convoluciones 3D, operaciones alineadas, GET_ROWS_BACK y estabilidad numérica mejorada en las capas feedforward. Las mejoras adicionales cubren mejoras en la interfaz de usuario y cobertura de pruebas del backend.
Una startup ha desarrollado un modelo cerrado Domyn Large de 260B parámetros para uso empresarial y un modelo abierto de 10B disponible en HuggingFace. La compañía anuncia un nuevo modelo de IA europeo, Domyn, que escalará a 400 mil millones de parámetros.
Los usuarios preguntan frecuentemente cómo procesar 10 mil millones de documentos con información personal identificable (PII) utilizando IA, citando requisitos del cliente. Un post en Reddit plantea la pregunta de quién está financiando este tipo de trabajo con LLMs locales y cuál es la demanda actual del mercado.