media Hugging Face Forums · há 1 h · open_models

mlx-smolvla permite execução nativa de checkpoints SmolVLA com MLX no Apple Silicon

Traduzido do English → Português (BR)

O projeto de código aberto mlx-smolvla fornece um ambiente de execução Python para executar checkpoints SmolVLA usando MLX no Apple Silicon, com inferência, um servidor do protocolo LeRobot e uma prévia para treinamento LoRA. Os benchmarks em um Apple M5 Pro mostram que o caminho MLX atinge uma latência mediana de 110,75 ms para blocos de 50 ações, que é 1,85× mais rápido que PyTorch-MPS.

O runtime é nativo do MLX sem dependências de Torch ou Transformers.
Canais estritos de compatibilidade da CPU garantem comparação determinística com PyTorch, enquanto o Metal usa verificações estatísticas.
O projeto inclui um servidor de políticas que implementa o protocolo gRPC de inferência assíncrona do LeRobot.
O treinamento LoRA é atualmente uma prévia de pesquisa com validação de paridade limitada.

O autor observa que os checkpoints base brutos carecem de interfaces eficazes de ação física e requerem checkpoints revisados com estatísticas de robô correspondentes para clientes de movimento.

Importância 1/3 Confiança 1/3 Hugging Face Forums Hardware & chips Local inference

Artigos relacionados

media r/LocalLLaMA · há 16 h · 1 visualização

NVIDIA lança PAIR para clusters de IA pessoais

A NVIDIA lançou o PAIR, uma ferramenta projetada para ajudar os usuários a conectar hardware antigo em um cluster de IA pessoal. A iniciativa visa aproveitar dispositivos existentes para executar cargas de trabalho de IA localmente.

media Hugging Face Forums · há 26 d · 17 visualizações

RunSnack permite compartilhamento de GPU P2P via um único link

RunSnack é uma ferramenta que permite aos usuários compartilhar diretamente o poder de computação da GPU com outros através de um único link, eliminando a necessidade de contas ou plataformas em nuvem. Ele visa pesquisadores e estudantes de ML que precisam de acesso de curto prazo a hardware como A100s ou 4090s sem infraestrutura tradicional.

media Hugging Face Forums · há 14 h · 1 visualização

Heshware explora camada de memória baseada em grafos para IA local

A Heshware está investigando se um grafo ativado dinamicamente de nós de memória pode servir como uma camada de memória de longo prazo interpretável para um modelo de linguagem local. Esta proposta deriva do Marven Neural Node Network, originalmente uma visualização interativa do processamento cognitivo.

github llama.cpp · há 19 h · 1 visualização

llama.cpp b10816 adiciona ajustes fa-vec para M3 e novos binários

O projeto llama.cpp lançou a versão b10816, que inclui atualizações para o backend Metal em dispositivos Apple Silicon. O lançamento foca em adicionar os ajustes restantes de fast-vector especificamente para a arquitetura do chip M3.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.