Lemonade v10.8 introduce gestión dinámica de VRAM que descarga automáticamente los modelos inactivos y reduce el tamaño del KV-cache para recuperar memoria de GPU. Añade soporte de descarga a la nube para proveedores compatibles con OpenAI, permitiendo el servicio de modelos local-first con enrutamiento opcional a la nube. Una nueva puerta de enlace MCP expone los modelos locales como herramientas mediante POST /mcp, permitiendo que los modelos locales se utilicen como herramientas en aplicaciones compatibles con MCP.
Lemonade v10.8 lanza gestión automática de memoria, descarga a la nube y soporte para herramientas MCP
Traducido del English → Español