텐센트는 자신의 Hy4-preview 모델의 가중치를 출시했으며, 구체적으로 770B-A49B 변형입니다. 이 모델은 이제 Hugging Face에서 사용할 수 있습니다.
텐센트, Hy4-preview 770B-A49B 가중치 공개
텐센트, 770B 파라미터를 갖춘 Hy4-preview MoE 모델 출시
텐센트 Hy 팀은 총 770B의 파라미터를 가지며 토큰당 49B가 활성화되는 새로운 세대의 Mixture-of-Experts 플래그십 모델인 Hy4-preview를 오픈소스로 공개했습니다. 이 아키텍처는 78개의 레이어로 구성되어 있으며, 첫 번째 레이어는 밀집 FFN을 사용하고 나머지 77개 레이어는 256개의 라우팅된 전문가를 갖춘 MoE를 사용하며, 추론 디코딩을 위한 네이티브 MTP 레이어도 포함됩니다.
텐센트, 770B 파라미터를 갖춘 Hy4 프리뷰 MoE 모델 출시
텐센트 Hy 팀은 총 770B의 파라미터를 가지며 토큰당 49B가 활성화되는 새로운 세대의 Mixture-of-Experts 플래그십 모델인 Hy4 프리뷰를 오픈소스로 공개했습니다. 이 아키텍처는 첫 레이어가 밀집 FFN을 사용하고 나머지 77개 레이어가 256개의 라우팅된 전문가와 함께 MoE를 사용하며, 추론 디코딩을 위한 네이티브 MTP 레이어를 갖추고 있습니다.
텐센트, WeMM-Embedding-2B 멀티모달 임베딩 모델 출시
텐센트는 Qwen3.5를 기반으로 구축된 범용 멀티모달 임베딩 모델인 WeMM-Embedding-2B를 출시했으며, 이 모델은 텍스트, 이미지, 비디오, 시각적 문서 및 인터리브드 입력을 받아 2,048차원 L2 정규화 임베딩을 반환합니다.
텐센트, 범용 멀티모달 임베딩 모델 WeMM-Embedding-4B 출시
텐센트는 Qwen3.5를 기반으로 구축된 범용 멀티모달 임베딩 모델인 WeMM-Embedding-4B를 출시했습니다. 이 모델은 텍스트, 이미지, 비디오, 시각적 문서 및 인터리브된 입력을 받아 2,560차원 L2 정규화 임베딩을 반환합니다.
Tencent, WeMM-Embedding-9B 범용 멀티모달 임베딩 모델 출시
Tencent은 Qwen3.5를 기반으로 구축된 범용 멀티모달 임베딩 모델인 WeMM-Embedding-9B를 출시했으며, 텍스트, 이미지, 비디오, 시각적 문서 및 인터리브된 입력을 받아 4,096차원 L2 정규화 임베딩을 반환합니다.