lab NVIDIA Research · há 11 h · research

ShareMMU permite o compartilhamento seguro de tradução de endereços entre aceleradores não confiáveis com baixa sobrecarga

Traduzido do English → Português (BR)

Pesquisadores apresentam o ShareMMU, um design de IOMMU que permite que múltiplos aceleradores não confiáveis reutilizem com segurança endereços previamente traduzidos dentro de um espaço de endereço virtual compartilhado. Esta abordagem mitiga riscos de canais laterais associados a grandes Buffers de Tradução Compartilhada (TLBs) enquanto mantém alto desempenho.

O ShareMMU tem apenas 1,66% de sobrecarga de desempenho em comparação com uma linha de base não segura, superando significativamente o Border Control (32%) e o CryptoMMU (17%).
A variante resistente a canais laterais, ShareMMU-SP, adiciona aproximadamente 2,82% de sobrecarga.
O design aborda riscos de segurança em sistemas multi-aceleradores onde os processos não confiam mutuamente.

O ShareMMU fornece um mecanismo seguro e eficiente para compartilhar traduções de endereços em ambientes de nuvem e edge com aceleradores de terceiros.

Importância 1/3 Confiança 3/3 NVIDIA Research Hardware & chips Safety & alignment

Ler original

NVIDIA apresenta Computação Confidencial para inferência de IA segura

A NVIDIA desenvolveu a NVIDIA Confidential Computing (CC) como uma solução para abordar preocupações de privacidade, soberania e segurança de dados durante a inferência de modelos de IA. A tecnologia é projetada para fornecer um ambiente seguro para processar dados enquanto estão em uso, direcionando-se especificamente às necessidades de aplicações de IA agéntica. Esta abordagem visa permitir que as organizações adotem a IA sem comprometer a segurança ou o desempenho.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10997 amplia heurística de mosaico MoE para RDNA3.5

O projeto llama.cpp lançou a versão b10997, que inclui uma alteração na heurística ncols_opt de mosaicos do Mixture of Experts (MoE) para suportar a arquitetura RDNA3.5.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10994 corrige NaN do Metal em mul_mm_id para grandes ativações

A versão llama.cpp b10994 inclui uma correção para o backend do Metal que resolve saídas NaN na operação `mul_mm_id` quando os valores de ativação excedem a faixa f16. Este defeito anteriormente fazia com que modelos como o Mistral Small 4 produzissem vocabulários completamente NaN durante as etapas de prefill de 32 tokens ou mais em dispositivos Apple Silicon.

media Hugging Face Forums · há 1 d · 4 visualizações

AidenAI adiciona habilidade de autoconhecimento para distinguir reconhecimento de conclusão

AidenAI introduziu uma referência de autoconhecimento vinculada e específica do projeto na PR #624 para ajudar agentes a responderem perguntas sobre seu próprio ambiente com precisão. Essa mudança aborda o problema em que os agentes produzem respostas confiantes, mas sem fundamento, preenchendo lacunas com palpites plausíveis em vez de fatos verificáveis.

media Hugging Face Forums · há 1 d · 4 visualizações

Qwen-Scope e Gemma Scope 2 mostram que a consciência de avaliação tem oito direções, não uma

Um estudo usando o EvalAwareBench testa se os modelos de linguagem usam uma única direção compartilhada ou múltiplos detectores específicos de sinal para identificar contextos de avaliação. A pesquisa alternou oito fatores de gatilho independentemente em 1.298 prompts enquanto mantinha as tarefas subjacentes e as entidades fixas.