lab NVIDIA Research · ahora mismo · research

Twill deriva automáticamente horarios óptimos de software pipelining y especialización de warp para GPUs con Tensor Cores

Traducido del English → Español

Los investigadores han presentado Twill, un sistema que formula el software pipelining (SWP) y la especialización de warp (WS) como un problema de optimización conjunta resoluble por solucionadores de restricciones comerciales. Este enfoque automatiza la derivación de horarios óptimos de ejecución para programas iterativos en arquitecturas GPU.

Twill es libre de heurísticas y garantiza producir horarios óptimos para una amplia clase de programas iterativos.
El sistema puede redescubrir y demostrar la optimalidad de los horarios SWP y WS desarrollados manualmente por expertos para Flash Attention.
La validación se realizó en las arquitecturas GPU NVIDIA Hopper y Blackwell.

Al reemplazar heurísticas de compilación frágiles e intuición humana con una optimización holística, Twill asegura la utilización máxima de unidades de función fija y núcleos de propósito general en GPUs modernas complejas.

Importancia 1/3 Confianza 3/3 NVIDIA Research Hardware & chips Inference efficiency

Leer original

llama.cpp b10675 añade soporte de hoisting para IDs de fila y conteo de expertos en shaders

El proyecto llama.cpp lanzó la versión b10675, que incluye una actualización clave a su backend Vulkan. Esta versión añade soporte de hoisting para IDs de fila y conteos de expertos dentro del código del shader.

github llama.cpp · hace 12 h · 1 vista

llama.cpp añade ajustes fa-vec para Apple M4 Pro

El proyecto llama.cpp ha añadido ajustes de vector de atención rápida (fa-vec) para la GPU Apple M4 Pro a través de una nueva contribución al backend Metal. Esta actualización sigue al trabajo previo para soportar GPUs adicionales de Apple y fue generada usando la herramienta `ggml-metal-tuning` en un MacBook Pro de 14 pulgadas de noviembre de 2024.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10643 añade soporte multi-NPU y backend Hexagon totalmente asíncrono

El proyecto llama.cpp lanzó la versión b10643, introduciendo soporte para dispositivos multi-NPU (IQ9, IQ10) y un backend completamente asíncrono para la arquitectura Hexagon.

media Hugging Face Forums · hace 3 d · 4 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 3 d · 3 vistas

llama.cpp b10628 añade soporte para transporte RPC de Apple RDMA

El proyecto llama.cpp ha lanzado la versión b10628, introduciendo soporte para Apple RDMA como mecanismo de transporte de llamada a procedimiento remoto (RPC).