Turboderp가 ExLlamaV3 v1.0.0을 출시했습니다. 이는 1년 이상의 개발 끝에 라이브러리의 첫 번째 프로덕션 버전입니다. 이번 업데이트는 추론 속도 향상과 의존성 감소를 목표로 하는 중요한 아키텍처 변경 사항과 커널 최적화를 도입합니다.
- flash-attention-2 및 xformers 의존성 제거.
- Gemma4를 포함한 대부분의 모델에 tensor-parallel 지원 확장.
- KV 양자화 지연을 제거하는 온라인 캐시 양자화가 포함된 새로운 어텐션 커널 도입.
- 모든 attn/GDN 모듈의 그래프 경로와 새로운 conv1d 커널 추가.
- Ampere GPU에서 GEMM/GEMV 성능이 크게 향상되었으며 새로운 INT8 GEMV 커널 추가.
- 새로운 MoE 커널 티켓 스케줄러 구현 및 GptOssForCausalLM 및 NemotronHForCausalLM 지원 추가.
이번 릴리스는 이러한 광범위한 최적화 및 버그 수정을 통해 더 빠른 추론 기능과 더 넓은 모델 호환성을 제공하는 것을 목표로 합니다.