사용자, RTX 5090에서 긴 컨텍스트로 35B NVFP4 모델 실행 시도

한 사용자가 NVIDIA RTX 5090 GPU에서 NVFP4 양자화 형식을 사용하는 35B 파라미터 모델을 실행하기 위한 권장 사항과 도움을 요청하고 있습니다. 목표는 100k 이상의 토큰 길이를 지원하는 컨텍스트를 포함하며, 이상적으로는 무검열 또는 전문화된 모델로 실행하는 것입니다.

• AEON-7 Ornith 1.0 35B Uncensored NVFP4 실행 시도는 실패했으며, 권장 serve 명령어가 GDX Spark 128GB 하드웨어를 위해 최적화되어 있었기 때문입니다.
• 사용자는 35B .gguf 모델 실행에는 문제가 없다고 보고하지만, 이 특정 설정에 대해 vLLM을 성공적으로 구성하지 못했습니다.

이 게시물은 확장된 컨텍스트 창을 갖춘 소비자용 RTX 5090 하드웨어에서 고용량 NVFP4 모델을 배포하는 데 있어 현재의 과제를 강조합니다.