media Hugging Face Forums · agora mesmo · open_models

RunSnack permite compartilhamento de GPU P2P via um único link

Traduzido do English → Português (BR)

RunSnack é uma ferramenta que permite aos usuários compartilhar diretamente o poder de computação da GPU com outros através de um único link, eliminando a necessidade de contas ou plataformas em nuvem. Ele visa pesquisadores e estudantes de ML que precisam de acesso de curto prazo a hardware como A100s ou 4090s sem infraestrutura tradicional.

Os hosts executam um script para gerar um link compartilhável para sua GPU.
Os inquilinos abrem o link em um navegador para acessar um terminal xterm.js instantâneo com acesso à GPU.
A computação é executada dentro de um contêiner Docker isolado com configurações de somente leitura e privilégios reduzidos.
A transferência de dados usa WebRTC para comunicação criptografada entre pares sem visibilidade do servidor central.
O mercado é orgânico, permitindo que os usuários negociem preços diretamente via Discord ou outros canais.

O autor busca feedback da comunidade de ML sobre preocupações de segurança, recursos ausentes como armazenamento persistente e expectativas de preço em comparação com serviços existentes.

Importância 1/3 Confiança 1/3 Hugging Face Forums Hardware & chips Local inference

Artigos relacionados

github llama.cpp · há 1 h Ao vivo

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.

media r/LocalLLaMA · há 3 h

Meta abre o código-fonte do modelo para dispositivo Muse Glimmer

A Meta lançou o modelo para dispositivo Muse Glimmer como um projeto de código aberto. A empresa também anunciou que uma variante chamada Muse Spark 1.2 está programada para ser lançada em breve.

github llama.cpp · há 5 h

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

media Hugging Face Forums · há 1 d · 8 visualizações

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.