media r/LocalLLaMA · há 3 h

Processamento de prompt desagregado com DGX Spark e Strix Halo

Um usuário demonstra um pipeline de inferência desagregado usando um DGX Spark para prefilling e uma máquina Strix Halo para geração de tokens, alcançando acelerations significativas para cargas de trabalho de contexto longo. Ao descarregar o processamento intensivo de prompts para o DGX e aproveitar a largura de banda de memória do Strix para decodificação, a configuração supera a degradação de desempenho observada ao rodar sozinho no Strix.

blog Simon Willison · há 8 h

Compreender para participar

Geoffrey Litt argumenta que os desenvolvedores devem compreender profundamente o código gerado por agentes de codificação para evitar dívida cognitiva e permanecer participantes ativos no processo criativo.

media r/LocalLLaMA · há 9 h

OpenLumara agora conecta qualquer UI a modelos locais via endpoint da OpenAI

O framework de código aberto OpenLumara agora suporta conexão com qualquer interface de usuário que possa se comunicar com um endpoint da OpenAI, como KoboldLite e OpenWebUI. Esta atualização permite que os usuários integrem o harness eficiente em tokens em seus fluxos de trabalho existentes sem alterar seu frontend preferido.

media r/LocalLLaMA · há 9 h

Alguém está usando LLMs locais para geração em larga escala de dados espaciais ou layout de cidades em software como o QGIS?

Um usuário está buscando recomendações de modelos de linguagem locais capazes de gerar dados estruturais em larga escala, como layouts inteiros de cidades, redes rodoviárias e sistemas de grade complexos.

blog Simon Willison · há 9 h

llm-coding-agent 0.1a0

Simon Willison lançou o llm-coding-agent 0.1a0, um experimento inicial na construção de um agente de codificação simples usando sua biblioteca LLM como estrutura de agente. O projeto foi gerado solicitando ao Claude Code que escrevesse uma especificação e implementasse a ferramenta usando TDD vermelho/verde.

media r/LocalLLaMA · há 9 h

Dica: use este PR do llama.cpp para melhorar o PP no Intel ARC

Um pull request da comunidade para o llama.cpp melhora significativamente a velocidade de processamento de prompts para usuários do Intel ARC, beneficiando especificamente hardware como o B580. O contribuidor otimizou o código com assistência do Claude para acelerar o manuseio do contexto.

media r/LocalLLaMA · há 9 h

Pesquisadores constroem verme de IA autorreplicante que opera inteiramente com modelos locais de pesos abertos

Um novo artigo do Arxiv detalha a criação de um verme de IA autorreplicante que funciona inteiramente usando modelos locais de pesos abertos. Este desenvolvimento destaca o potencial de agentes de IA autônomos para operar sem dependências externas.

media r/LocalLLaMA · há 10 h

Em direção a uma melhor geração de kernels HIP para GPUs AMD: Dados sintéticos, busca multiagente e aprendizado por reforço

Este artigo do blog Scaling Intelligence da Stanford discute métodos para melhorar a geração de kernels HIP para GPUs AMD usando dados sintéticos, busca multiagente e aprendizado por reforço.

media r/LocalLLaMA · há 11 h

R9700 duplo: Melhor fórmula para Qwen3.6 27B?

Um usuário investiga a otimização do modelo Qwen3.6-27B em uma configuração com duas GPUs AMD Radeon R9700 usando llama.cpp, comparando o desempenho entre os backends Vulkan e ROCm.

media r/LocalLLaMA · há 11 h

Kernels WebGPU para Gemma 4 alcançam 255 tok/s

Xenova lançou kernels WebGPU para o Gemma 4, alcançando uma performance de 255 tokens por segundo. Esta otimização permite que modelos densos rodem a velocidades superiores a 100 tok/s em navegadores web.

blog Simon Willison · há 11 h

Usando DSPy para avaliar e melhorar os prompts do sistema SQL do Agente Datasette

Simon Willison utilizou o Claude Code com o modelo Fable 5 para automatizar a avaliação e otimização dos prompts do sistema para o Agente Datasette, focando especificamente em seu recurso de execução de consultas SQL apenas para leitura. O processo envolveu instalar a última versão alpha do Datasette e DSPy para identificar fraquezas na forma como o agente lida com informações de esquema.

media r/LocalLLaMA · há 11 h

Pioneiro de IA da Nvidia rejeita AGI e compara OpenAI e Anthropic à AOL

Uma figura proeminente da Nvidia afirmou que não acredita em Inteligência Geral Artificial (AGI) e argumenta que o foco da indústria deve mudar para modelos personalizados de código aberto para empresas.

media r/LocalLLaMA · há 12 h

Benchmarks locais com uma RTX 3090 - Qwen3.6 27b vs Ornith

Um usuário comparou Qwen3.6 27b, Gemma4 26B A4B QAT e Ornith1.0 35B MoE usando o framework inspect-ai em uma RTX 3090 para avaliar o desempenho de modelos locais. Os testes revelaram resultados mistos nos benchmarks de conhecimento geral, fundamentação e codificação, com Qwen3.6 geralmente liderando nas pontuações, enquanto Ornith mostrou pontos fortes em áreas específicas como DROP.

media r/LocalLLaMA · há 12 h

Usuário estende Gemma 4 31B para um modelo de 44B com 88 camadas

Um usuário do Reddit estendeu o modelo Google Gemma 4 31B, que tem 60 camadas, para uma versão maior de 44B parâmetros contendo 88 camadas. Esta modificação foi realizada porque a Google não lançou uma versão densa maior do modelo para uso no Lyzr Architect.

media Hugging Face Forums · há 12 h

Saturação de evidências k*: a profundidade de recuperação deve ser calibrada, não adivinhada

Um benchmark piloto sobre profundidade de evidências para chamadas LLM argumenta que a calibração deve se estender além da correção factual para incluir contaminação epistêmica e vazamento de enquadramento. O estudo define 'k*' como o ponto de saturação de evidências onde a confiabilidade é maximizada, distinguindo-o das métricas padrão top-k do recuperador ou de densidade de estado.

media Hugging Face Forums · há 13 h

Teste de estresse epistêmico — Claude Sonnet 5 validado por MarCognity-AI

O artigo descreve uma validação do Claude Sonnet 5 usando o Agente Cético da MarCognity-AI para expor a lacuna entre a confiança textual e a verificabilidade real, denominada "fratura epistêmica".

media Hugging Face Forums · há 13 h

Framework Aiywin propõe Recursão Espiral para Raciocínio de IA

O desenvolvedor independente Aiywin.ai apresenta um framework cognitivo que substitui o processamento linear padrão por loops de recursão espiral para lidar com anomalias e dados incompletos. O sistema expande matematicamente os parâmetros contextuais até encontrar uma resolução estruturada, em vez de parar ou alucinar.

media Hugging Face Forums · há 13 h

Benchmarking de Solo e MoA em múltiplas tarefas

O artigo apresenta resultados de benchmark comparando modelos individuais contra configurações de Mixture-of-Agents (MoA) em seis tarefas: Bug, Tool, Arch, Clinical, DLQ e uma média geral. O framework de avaliação utilizou Hermes Agent v0.18, com pontuações geradas por ChatGPT 5.5 e Claude opus 4.8 com base em uma rubrica que pondera Corretude, Completude, Profundidade, Acionabilidade, Clareza e Confiança.

media r/LocalLLaMA · há 14 h

Usuário solicita modelos de visão para detectar fogo ou fumaça

Um usuário do Reddit está buscando recomendações de modelos de visão capazes de detectar fogo ou fumaça, especificamente no contexto de monitorar escombros fumegantes durante a temporada de fogos de artifício de 4 de julho.

media r/LocalLLaMA · há 15 h

Análise de 2,3k aplicativos de IA local revela 82 categorias e casos de uso diversos

Uma análise da Mac App Store identificou 2.259 aplicativos de IA local entre mais de 20.000 entradas raspadas, destacando um ecossistema crescente de ferramentas de nicho que empacotam modelos com fluxos de trabalho específicos. A pesquisa abrange 82 categorias distintas, desde tarefas comuns como transcrição e OCR até funções especializadas como estilismo de guarda-roupa e assistência à saúde de pets.