media Hugging Face Forums · há 3 d

A Arquitetura de Contexto Geracional: Resolvendo a Degradação do Contexto em LLMs

A Arquitetura de Contexto Geracional (GCA) propõe tratar a janela de contexto de um LLM como uma vida útil finita, em vez de armazenamento infinito, para resolver a "degradação do contexto" e a diluição da atenção em sistemas multiagente. Ao impor mortalidade artificial, os agentes são encerrados antes que o desempenho se degrade, transferindo seu estado para novas gerações por meio de um cofre Markdown em arquivo plano.

lab OpenAI News · há 3 d

HP Inc. lança parceria estratégica Frontier com a OpenAI

A HP Inc. está ampliando sua parceria estratégica com a OpenAI após pilotos bem-sucedidos, implementando IA em experiências do cliente, produtividade dos funcionários e desenvolvimento de software. A empresa utiliza a plataforma OpenAI Frontier como um modelo operacional unificado para governar contexto, permissões e avaliação à medida que avança de casos de uso experimentais para produção em toda a empresa.

github llama.cpp · há 3 d

Lançamento do llama.cpp b9837 adiciona sinalizador --reasoning-preserve e novos binários

O projeto llama.cpp lançou a versão b9837, que introduz um novo sinalizador `--reasoning-preserve` para o modelo de chat Jinja, a fim de reter tokens de raciocínio. Esta atualização também inclui mensagens de ajuda corrigidas e fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler em vários backends de hardware.

media Hugging Face Forums · há 3 d

HoLo-ToLk: Modelos de fala sem tokenizador em substrato HSL de 0 parâmetros

O autor apresenta o HoLo-ToLk, um projeto de pesquisa que constrói modelos de fala-para-texto (STT) e texto-para-fala (TTS) usando o substrato de bytes HSL de zero parâmetros sem tokenizadores ou embeddings de entrada aprendidos. O trabalho demonstra que os bytes brutos do HSL podem servir como um sinal viável para processamento de áudio quando combinados com modificações arquiteturais específicas.

github llama.cpp · há 4 d

Lançamento b9835 do llama.cpp com correções de parada na interface e pulso de raciocínio

O projeto llama.cpp lançou a versão b9835, que inclui uma correção para a funcionalidade de parada e pulso de raciocínio no modo de modelo único. Esta atualização aborda problemas específicos dentro da interface do usuário para melhorar o controle durante a inferência do modelo.

media Hugging Face Forums · há 4 d

Investigação Hipotética sobre o Aprendizado de Código Binário por IA

Um usuário do fórum faz uma pergunta especulativa sobre se treinar redes neurais ou sistemas de IA para entender código binário melhoraria significativamente suas capacidades gerais, particularmente em tarefas de programação.

media Hugging Face Forums · há 4 d

Conceito: Trocar dados por dados para treinar modelos de IA

Um usuário propõe um conceito para um site onde indivíduos trocam dados por dados para treinar modelos de IA, eliminando a necessidade de transações monetárias. O sistema opera em uma economia baseada em créditos, onde os usuários começam com uma quantidade definida de créditos e publicam recompensas por necessidades específicas de dados.

github llama.cpp · há 4 d

Lançamento b9833 do llama.cpp: Parser para MiniCPM5 e binários multi-plataforma

O projeto llama.cpp lançou a versão b9833, introduzindo um parser dedicado para o modelo MiniCPM5 junto com várias correções de bugs e refatorações. Esta atualização inclui suporte para parsing de chamadas de ferramenta, simplificação de gramática e correção do comportamento da API Jinja para garantir compatibilidade com os padrões Jinja2.

github llama.cpp · há 4 d

Lançamento b9832 do llama.cpp adiciona flag de depuração --dump-prog

O projeto llama.cpp lançou a versão b9832, introduzindo uma nova opção de linha de comando `--dump-prog` para o mecanismo de template Jinja, visando auxiliar na depuração. Esta atualização também inclui binários pré-compilados para macOS, Linux, Android, Windows e openEuler em várias arquiteturas de CPU e GPU.

github llama.cpp · há 4 d

Lançamento b9831 do llama.cpp adiciona suporte ao DFlash e novos binários

O lançamento b9831 do llama.cpp introduz o suporte ao DFlash v2, incluindo atenção de janela deslizante por tipos de camada, juntamente com um conjunto abrangente de binários pré-compilados para várias plataformas.

github llama.cpp · há 4 d

lançamento b9830 do llama.cpp adiciona sinalizador --offline e corrige bug de memória

O lançamento b9830 do llama.cpp introduz a capacidade de usar o sinalizador --offline com o comando llama download, permitindo que scripts verifiquem modelos em cache sem acesso à rede. Esta atualização também resolve uma vulnerabilidade latente de uso após liberação no callback on_done da tarefa URL, onde first_path estava sendo capturado incorretamente por referência.

media Hugging Face Forums · há 4 d

Usuário solicita recuperação de conta para zhoucantd

Um usuário nos fóruns do Hugging Face está perguntando se é possível recuperar sua conta, especificamente identificando o nome de usuário "zhoucantd". A postagem indica um tópico de discussão envolvendo dois participantes sobre essa solicitação.

media Hugging Face Forums · há 4 d

UCTF: Um Formato de Treinamento Comprimido Universal para IA Multilíngue

Um novo conceito chamado UCTF (Universal Compressed Training Format) propõe uma camada mediadora para abordar a redundância semântica no treinamento de LLMs multilíngues, comprimindo diversas línguas em um formato de token unificado e independente de língua.

media Hugging Face Forums · há 4 d

Criando um Widget de Chat de Site com Gradio Parte IV

Um usuário relata que seu widget de chatbot de IA anteriormente funcional em seu site parou de funcionar devido a um erro de política CORS após uma atualização recente do Gradio. O erro indica que o cabeçalho 'Access-Control-Allow-Credentials' na resposta está vazio, o que entra em conflito com o modo de credenciais da solicitação do cliente.

media Hugging Face Forums · há 4 d

A linguagem como portadora de inteligência: Além da previsão de tokens

Este artigo argumenta que os grandes modelos de linguagem derivam sua aparente inteligência das profundas relações geométricas e estados ocultos dentro da própria linguagem, em vez de provenientes de computação mecânica independente ou simples previsão de tokens.

github llama.cpp · há 4 d

Lançamento b9829 do llama.cpp: Redução de Logs e Binários Multiplataforma

O projeto llama.cpp lançou a versão b9829, que inclui uma redução da saída de logs no servidor, componentes comuns e módulos de decodificação especulativa. Esta atualização também padroniza as convenções de nomenclatura, substituindo CMN_ por COM_.

media Hugging Face Forums · há 4 d

Usuário busca colaboradores para novo projeto de conjunto de dados ML de Sudoku

Um usuário nos fóruns do Hugging Face está buscando colaboradores para construir um projeto de aprendizado de máquina e aprendizado profundo focado em Sudokus. O autor começou a criar um banco de dados do zero e tem como objetivo estabelecer uma organização independente para essa causa.

github llama.cpp · há 5 d

Lançamento b9828 do llama.cpp: Melhorias no Flash Attention via OpenCL e novos binários

O lançamento b9828 do llama.cpp introduz melhorias significativas no OpenCL, reestruturando especificamente os kernels do Flash Attention para precisão f16 e f32. Esta atualização inclui novos kernels de pré-prefill e suporte para formatos de quantização q4_0 e q8_0.

media Hugging Face Forums · há 5 d

Experiência com ablação de línguas distintas?

Um usuário pede experiências sobre a ablação do mandarim, russo e árabe de um modelo para criar uma versão predominantemente baseada no alfabeto latino. O objetivo é liberar espaço para treinamento adicional ou poda segura em contextos onde o inglês não tem ativação.

github llama.cpp · há 5 d

lançamento b9827 do llama.cpp adiciona otimização de cópia assíncrona 2D do CUDA

O lançamento b9827 do llama.cpp introduz uma otimização de desempenho para o CUDA, adicionando um caminho rápido cudaMemcpy2DAsync à função ggml_cuda_cpy. Esta alteração acelera cópias em stride com mesmo tipo e mesma forma, onde os tensores não são totalmente contíguos, mas cada linha é contígua, substituindo kernels de cópia escalar elemento a elemento mais lentos.