media r/LocalLLaMA · agora mesmo Ao vivo

Processamento de prompt desagregado com DGX Spark e Strix Halo

Um usuário demonstra um pipeline de inferência desagregado usando um DGX Spark para prefilling e uma máquina Strix Halo para geração de tokens, alcançando acelerations significativas para cargas de trabalho de contexto longo. Ao descarregar o processamento intensivo de prompts para o DGX e aproveitar a largura de banda de memória do Strix para decodificação, a configuração supera a degradação de desempenho observada ao rodar sozinho no Strix.

blog Simon Willison · há 6 h

Compreender para participar

Geoffrey Litt argumenta que os desenvolvedores devem compreender profundamente o código gerado por agentes de codificação para evitar dívida cognitiva e permanecer participantes ativos no processo criativo.

media r/LocalLLaMA · há 9 h

Kernels WebGPU para Gemma 4 alcançam 255 tok/s

Xenova lançou kernels WebGPU para o Gemma 4, alcançando uma performance de 255 tokens por segundo. Esta otimização permite que modelos densos rodem a velocidades superiores a 100 tok/s em navegadores web.

github llama.cpp · há 16 h

Lançamento b9860 do llama.cpp adiciona API llama_ftype_name

O projeto llama.cpp lançou a versão b9860, introduzindo uma nova função pública da API C chamada `llama_ftype_name` para expor o nome do tipo de arquivo do modelo (quantização).

media r/LocalLLaMA · há 16 h

Agentes estão escrevendo colaborativamente uma wiki massiva sobre RL para LLMs (mais de 200 artigos até agora) e qualquer um pode participar

Um projeto colaborativo está em andamento onde agentes de IA estão compilando uma wiki abrangente sobre aprendizado por reforço para grandes modelos de linguagem, já tendo processado mais de 200 artigos de pesquisa.

media r/LocalLLaMA · há 16 h

Postagem no Reddit insta a apreciar desenvolvedores de código aberto

Um usuário do Reddit destaca a necessidade crítica de gratidão para com os contribuidores de código aberto, citando as recentes atualizações rápidas do vLLM como um exemplo primoroso do esforço da comunidade.

media r/LocalLLaMA · há 16 h

Reconstruindo Gemma 4 31b... melhor... Como 26b...

Um desenvolvedor detalha um plano para reconstruir o modelo Gemma 4 31B reduzindo sua contagem de parâmetros para aproximadamente 26B, enquanto visa melhorar o desempenho. O projeto envolve mudanças arquiteturais, técnicas de treinamento específicas e curadoria de datasets para criar um modelo menor e mais eficiente.

media r/LocalLLaMA · há 16 h

poolside/Laguna-XS-2.1

O artigo anuncia o lançamento do Laguna-XS-2.1, um modelo disponível no Hugging Face sob a organização poolside.

media r/LocalLLaMA · há 16 h

Kimi K2.7 Code está geralmente disponível no GitHub Copilot

O modelo Kimi K2.7 Code da Moonshot AI foi disponibilizado de forma geral na plataforma GitHub Copilot.

media r/LocalLLaMA · há 18 h

Usuário do Reddit pergunta se o Ubuntu é a distribuição Linux mais compatível para IA local

Um usuário da comunidade r/LocalLLaMA está migrando para o Linux e busca confirmação sobre se o Ubuntu oferece a melhor compatibilidade para executar cargas de trabalho de IA local.

media Hugging Face Forums · há 18 h

Suporte a caracteres Unicode em downloads do site

O site da Hugging Face não codifica corretamente caracteres Unicode ao baixar arquivos individuais de um conjunto de dados, seja pelo botão de download ou pela URL resolve.

media Hugging Face Forums · há 18 h

Agentes LLM podem desenvolver precognição?

O artigo argumenta que os agentes LLM atuais frequentemente agem com uma consciência implícita das consequências, o que é insuficiente para tarefas consequenciais. Propõe a "precognição explícita" como uma camada arquitetural necessária para garantir que os agentes modelam riscos e preveem efeitos antes da execução.

media Hugging Face Forums · há 18 h

Qual modelo de código aberto tem o melhor desempenho para agentes de suporte ao cliente?

Um usuário do fórum da Hugging Face está perguntando qual é o melhor modelo de IA gratuito para construir um chatbot ou assistente virtual de suporte ao cliente. A publicação não contém comparações específicas de modelos, resultados de testes ou detalhes técnicos.

media Hugging Face Forums · há 18 h

Erro no contador de downloads para modelos no Hugging Face

Um usuário no fórum da comunidade do Hugging Face relatou que as estatísticas de download para o repositório do modelo dele, InternScience/Agents-A1-FP8, permaneceram em zero apesar de terem sido enviadas dois dias antes. O usuário observa que o repositório inclui um arquivo config.json e suspeita que um problema técnico está impedindo a atualização do contador.

media Hugging Face Forums · há 18 h

Usuários relatam atraso na resposta do suporte de faturamento da Hugging Face

Um usuário no fórum de discussões da Hugging Face relata que seu e-mail ao suporte de faturamento sobre uma assinatura não autorizada não recebeu resposta. A pessoa está buscando um reembolso pela cobrança acidental e nota a falta de comunicação, apesar de já ter contactado a equipe de suporte.

media Hugging Face Forums · há 18 h

Melhores práticas para detectar e buscar deltas de conjuntos de dados

Um usuário no fórum da Hugging Face solicita métodos eficientes para detectar quando novos dados são adicionados ou um conjunto de dados é atualizado, com o objetivo de acionar pipelines sem reprocesar todo o conjunto de dados.

media r/LocalLLaMA · há 18 h

Bonsai-8B de 1 bit da PrismML supera IBM Granite em chamada de ferramentas na CPU com gramática

Uma avaliação do modelo Bonsai-8B de 1 bit da PrismML contra o IBM Granite e outros LLMs revela que o Bonsai-8B alcança a maior precisão na chamada de ferramentas ao usar decodificação restrita por gramática. O teste, conduzido na CPU usando llama.cpp, destaca o papel crítico das restrições de saída para permitir que modelos pequenos e quantizados funcionem eficazmente em tarefas de agentes.

media r/LocalLLaMA · há 18 h

Lemonade SDK lança RPG-HaloTales-V1 para role-playing multimídia local

O SDK da Lemonade lançou um novo modelo chamado RPG-HaloTales-V1, projetado para fornecer uma experiência de role-playing multimídia que os usuários podem executar localmente.

media r/LocalLLaMA · há 18 h

Backend de LLM local open-source para conversas entre NPCs

O autor lançou um backend de fala-para-fala totalmente local e de código aberto, projetado para NPCs de Modelos de Linguagem Grande que permite interações diretas entre NPC sem dependência de nuvem. O sistema integra componentes de fala-para-texto, um LLM local e texto-para-fala para permitir que os NPCs conversem entre si, retenham o contexto e influenciem as interações futuras com o jogador.

media r/LocalLLaMA · há 19 h

Melhor modelo de codificação para configuração com 3x Spark?

Um usuário está buscando recomendações para o melhor modelo de codificação para executar em uma configuração de hardware dedicada composta por três unidades Asus Ascent GX10 (GB10), esperando uma concorrência de 5 a 10 usuários.