연구소 · Tencent
arxiv arXiv cs.CL · 5일 전 · 조회수 8회

KuaFu는 수십억 규모에서 사용자 행동을 이해로 압축합니다

Tencent는 원시 사용자 기록을 대화 에이전트 및 추천 시스템용 컴팩트한 표현으로 압축하는 통합 행동 압축 레이어인 KuaFu를 소개했습니다. 이 시스템은 2축 프로젝터를 사용하여 각 행동 항목을 너비 128-256의 2-4개 토큰으로 압축하여 수십억 사용자의 긴 시퀀스 처리 병목을 해결합니다.

lab Tencent Hunyuan (HF) · 16일 전 · 조회수 82회

Tencent, 엔드투엔드 문서 파서 WeVisDoc-4B 출시

Tencent은 페이지 이미지를 구조화된 Markdown(LaTeX 수식 및 HTML 테이블 포함)로 변환하는 엔드투엔드 문서 파서인 WeVisDoc-4B를 출시했습니다. Qwen3-VL-4B-Instruct에서 파인튜닝된 이 모델은 OmniDocBench v1.6에서 종합 점수 95.38을 달성했으며, 보고된 모든 네 가지 설정에서 비교된 파서 중 1위를 차지했습니다.

lab Tencent Hunyuan (HF) · 19일 전 · 조회수 21회

Tencent, Qwen3용 Simple Attention Sparsification 체크포인트 출시

Tencent은 Qwen3 모델의 각 쿼리에 대해 KV 블록을 순위 매기고 선택하는 방법을 학습하는 Simple Attention Sparsification (SAS) 체크포인트를 출시했습니다. 밀집 어텐션 점수를 증류하는 방법과 달리 SAS는 선택된 블록에 연속 게이트를 추가하여 언어 모델링 손실로 컨텍스트 랭킹의 엔드투엔드 최적화를 가능하게 합니다.