출처 · Tencent Hunyuan (HF)
lab Tencent Hunyuan (HF) · 16일 전 · 조회수 82회

Tencent, 엔드투엔드 문서 파서 WeVisDoc-4B 출시

Tencent은 페이지 이미지를 구조화된 Markdown(LaTeX 수식 및 HTML 테이블 포함)로 변환하는 엔드투엔드 문서 파서인 WeVisDoc-4B를 출시했습니다. Qwen3-VL-4B-Instruct에서 파인튜닝된 이 모델은 OmniDocBench v1.6에서 종합 점수 95.38을 달성했으며, 보고된 모든 네 가지 설정에서 비교된 파서 중 1위를 차지했습니다.

lab Tencent Hunyuan (HF) · 19일 전 · 조회수 21회

Tencent, Qwen3용 Simple Attention Sparsification 체크포인트 출시

Tencent은 Qwen3 모델의 각 쿼리에 대해 KV 블록을 순위 매기고 선택하는 방법을 학습하는 Simple Attention Sparsification (SAS) 체크포인트를 출시했습니다. 밀집 어텐션 점수를 증류하는 방법과 달리 SAS는 선택된 블록에 연속 게이트를 추가하여 언어 모델링 손실로 컨텍스트 랭킹의 엔드투엔드 최적화를 가능하게 합니다.