media r/LocalLLaMA · há 9 h · open_models

inclusionAI lança Realtime-Venus, um modelo de interação áudio-visual de 9B

Traduzido do English → Português (BR)

A inclusionAI lançou o sistema Realtime-Venus no Hugging Face, com dois checkpoints: Realtime-Venus-Omni e Realtime-Venus-Audio. O checkpoint Omni é um modelo de interação áudio-visual de 9B adaptado do MiniCPM-o 4.5 que observa e ouve continuamente para decidir quando responder.

A conversa full-duplex nativa permite que o modelo perceba enquanto fala, distinguindo backchannels e interrupções.
A interação Omni-Proativa inicia respostas com base em eventos de vídeo e áudio alinhados temporalmente, sem esperar por um prompt do usuário.
A delegação emite solicitações in-stream em uma linha do tempo causal compartilhada para lidar com tarefas externas sem bloquear a conversa.
O arquivo de memória de longo vídeo sem treinamento registra momentos visualmente informativos e recupera evidências relevantes sem treinamento adicional.
O sistema gera saída tanto de texto quanto de fala usando os recursos Token2wav embutidos.

O lançamento fornece ferramentas para interação áudio-visual proativa em tempo real, com tratamento de interrupção semântica e capacidades de memória de longo prazo.

Importância 2/3 Novo ambiente de avaliação com diferenciais r/LocalLLaMA Multimodal Open weights

Artigos relacionados

lab Tencent Hunyuan (HF) · há 1 d · 4 visualizações

Tencent lança os analisadores de documentos WeVisDoc-2B e WeVisDoc-4B

A Tencent lançou o WeVisDoc, um analisador de documentos de ponta a ponta para imagens de páginas, ajustado finamente a partir dos modelos Qwen3-VL. O sistema converte as imagens das páginas em Markdown estruturado, incluindo fórmulas LaTeX e tabelas HTML.

lab Tencent Hunyuan (HF) · há 1 d · 4 visualizações

Tencent lança WeVisDoc-4B, um analisador de documentos de ponta a ponta

A Tencent lançou o WeVisDoc-4B, um analisador de documentos de ponta a ponta para imagens de páginas que converte páginas em Markdown estruturado com fórmulas LaTeX e tabelas HTML. Fine-tuned a partir do Qwen3-VL-4B-Instruct, o modelo alcança uma pontuação geral de 95.38 no OmniDocBench v1.6 e ocupa o primeiro lugar entre os analisadores comparados em todas as quatro configurações relatadas.

media r/LocalLLaMA · há 5 d · 10 visualizações

Intern Large Models lança modelo multimodal Intern-S2-397B

A Intern Large Models lançou o modelo Intern-S2-397B, disponível no Hugging Face. O lançamento inclui suporte de dia 0 do vLLM para executar o modelo.

lab IBM Research (Granite) · há 8 d · 13 visualizações

IBM e NASA lançam o modelo base lunar NASA-IBM Lunar Foundation Model como código aberto

A IBM e a NASA tornaram código aberto o modelo base lunar NASA-IBM Lunar Foundation Model, um sistema de IA que consolida décadas de dados lunares multimodais de missões dos EUA e do Japão em uma única representação. Construído sobre a arquitetura TerraMind da IBM, o modelo integra observações em diferentes escalas e ângulos de visão para enfrentar desafios como iluminação complexa e resolução de dados.

media r/LocalLLaMA · há 9 d · 12 visualizações

DeepSeek lança V4-1 Flash, um modelo MoE de 552B com contexto de 1M tokens

A DeepSeek lançou seu novo modelo, o DeepSeek V4-1 Flash. É um modelo Mixture-of-Experts (MoE) multimodal que possui uma base de 552 bilhões de parâmetros.