Inference efficiency — korshunov.ai

Tema · Inference efficiency

lab Microsoft Research Blog · há 7 d · 28 visualizações

Microsoft Research mostra que o descarregamento da inferência de IA física melhora o desempenho do robô e a vida útil da bateria

A Microsoft Research desafia a suposição de que a inferência de IA física deve ser executada exclusivamente nas GPUs onboard dos robôs, demonstrando que o descarregamento para infraestrutura de borda ou nuvem melhora significativamente as cargas de trabalho de manipulação móvel. Seu estudo sistemático das cargas de trabalho de robótica revela que depender do processamento onboard limita o desempenho, a vida útil da bateria e a escalabilidade.

lab OpenAI News · há 8 d · 24 visualizações

Reduza pela metade o tempo e o custo de pesquisa com GPT-6 Astra

A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.

lab NVIDIA Research · há 16 d · 20 visualizações

FastGen-PDD introduz destilação de decodificação paralela para geração rápida de vídeo e imagem

Pesquisadores introduzem a Destilação de Decodificação Paralela (PDD), um método simplificado baseado em trajetória para acelerar a inferência em modelos de difusão e correspondência de fluxo. Ao contrário das abordagens atuais que dependem de destilação variacional de pontuação difícil de otimizar e perdas adversariais, o PDD prevê múltiplos passos de desruído por avaliação da rede.

lab NVIDIA Research · há 19 d · 24 visualizações

Onyx alcança custo 1,7-9,9x menor e latência 2,3-12,3x menor para busca ANN disk-oblivious

Pesquisadores propõem o Onyx, uma abordagem eficiente em custos para busca de vizinhos mais próximos aproximados (ANN) disk-oblivious que equilibra largura de banda e contagem de acessos invertendo o design dos sistemas ORAM-ANN de última geração.

lab NVIDIA Research · há 19 d · 28 visualizações

NVIDIA lança GPIR para recuperação privada de informação acelerada por GPU

Pesquisadores da NVIDIA apresentaram o GPIR, um sistema que acelera a Recuperação Privada de Informação (PIR) em GPUs ao abordar a alta computação e o tráfego de memória no lado do servidor inerentes aos protocolos baseados em reticulados. O sistema emprega um modelo de execução híbrido consciente das etapas que alterna dinamicamente entre kernels em nível de operação e em nível de etapa para maximizar a reutilização de dados no chip.

lab NVIDIA Research · há 19 d · 26 visualizações

NVIDIA caracteriza desempenho e custo de MPC e FHE para PPML

Um novo estudo apresenta uma caracterização unificada em nível de sistema da computação multipartidária segura (MPC) e criptografia totalmente homomórfica (FHE) para inferência de aprendizado de máquina que preserva a privacidade. O trabalho avalia duas variantes de MPC — conversão de compartilhamento aritmético/binário e compartilhamento secreto de funções — junto com FHE em múltiplos modelos CNN e Transformer.

lab OpenAI News · há 19 d · 37 visualizações

OpenAI escala o serviço de armazenamento Habitat para 70 milhões de requisições por segundo

A OpenAI escalou sua plataforma interna de armazenamento online, chamada Habitat, para lidar com mais de 70 milhões de requisições por segundo para mais de um bilhão de usuários semanais do ChatGPT em quase 40 regiões geográficas. O sistema agora atende a mais de 500 petabytes de dados, evoluindo de uma simples biblioteca cliente-side em Python para um serviço distribuído complexo.

media AI News (smol.ai) · há 18 d · 51 visualizações

DeepSeek lança V4.1-Flash, um modelo de pesos abertos focado em extrema eficiência de inferência

A DeepSeek lançou o V4.1-Flash, um novo modelo principal de pesos abertos projetado para extrema eficiência de inferência e baixo custo. O modelo utiliza uma arquitetura de codificador-decodificador causal para reduzir significativamente os custos de computação ativa e de KV/cache.

media Latent Space · há 19 d · 34 visualizações

DeepSeek lança v4.1-Flash com arquitetura 763B-P8B-D16B para inferência eficiente

A DeepSeek lançou o DeepSeek v4.1-Flash, um novo modelo principal de pesos abertos que apresenta uma nova arquitetura causal codificador-decodificador projetada para maximizar a eficiência da inferência e reduzir custos.

media MarkTechPost · há 20 d · 55 visualizações

DeepSeek lança DeepSeek-V4.1-Flash com contexto de 1M e cache KV FP4

A DeepSeek AI lançou o DeepSeek-V4.1-Flash, um modelo Mixture-of-Experts multimodal que possui uma janela de contexto de 1 milhão de tokens e um cache KV FP4 que reduz a pegada global do cache para 890 bytes por token. O modelo utiliza uma arquitetura de codificador-decodificador causal e Compressed Sparse Attention 2 (CSA2) para reduzir significativamente os requisitos de memória enquanto mantém o desempenho.

github vLLM · há 22 d · 29 visualizações

vLLM v0.29.0 aplica o cache de prefixo denso padrão a modelos híbridos

O projeto vLLM lançou a versão 0.29.0, que inclui uma correção de bug central relacionada ao cache de prefixo denso.

github vLLM · há 23 d · 18 visualizações

v0.29.0rc5 altera o prefix_cache_retention_interval padrão para dense no Mamba

A versão v0.29.0rc5 atualiza o valor padrão do parâmetro `prefix_cache_retention_interval` para `dense` especificamente para modelos Mamba.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 7 h · 1 visualização

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b11282 define CUDA_ARCH para passes de dispositivo MUSA

O projeto llama.cpp lançou a compilação b11282, que inclui uma correção para definir a macro `CUDA_ARCH` para os passes de dispositivo MUSA. Anteriormente, o cabeçalho do fornecedor MUSA não definia essa variável, fazendo com que os testes de arquitetura nas fontes ggml-cuda compartilhadas avaliassem zero e resultassem em corpos de kernel vazios.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 11 h · 2 visualizações

llama.cpp b11273 adiciona suporte a classifier_pooling para rerankers do ModernBERT

O projeto llama.cpp lançou a compilação b11273, que introduz suporte ao método `classifier_pooling` em modelos de reranking, direcionado especificamente às arquiteturas ModernBERT.

github llama.cpp · há 12 h · 2 visualizações

llama.cpp b11272 otimiza operação de concatenação Hexagon

O projeto llama.cpp lançou a compilação b11272, que inclui otimizações para o backend Hexagon. A mudança principal foca na otimização da operação de concatenação para melhorar o desempenho em hardware Qualcomm Snapdragon.

arxiv arXiv cs.CL · há 16 h · 1 visualização

Modelos de Linguagem Contextual gerenciam contexto nativamente como arquivos editáveis

Pesquisadores apresentam Modelos de Linguagem Contextual (CLMs), uma nova arquitetura que trata a janela de contexto do modelo como um arquivo editável, permitindo que o modelo faça atualizações irrestritas em sua própria memória. Essa abordagem transfere o gerenciamento de contexto do controle externo para o comportamento intrínseco do modelo, possibilitando tanto o aprendizado em contexto quanto o aprendizado paramétrico de estratégias de gerenciamento de contexto.

media Hugging Face Forums · há 18 h · 1 visualização

AI Hardware Fit conecta os requisitos de VRAM do modelo à seleção de GPU

O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.