DeepSeek v4 Flash 모델에 대한 초기 테스트는 사용자 인터페이스 및 사용자 경험 디자인 기술에서 눈에 띄는 향상을 나타냅니다. 이러한 개선에도 불구하고 이 모델은 토큰을 많이 소비하는 것으로 지적되었습니다.
media
r/LocalLLaMA
·
1시간 전
·
open_models
DeepSeek v4 Flash의 초기 테스트는 UI/UX 디자인 기능에서 상당한 개선을 보여줍니다
번역 English → 한국어
관련 기사
arxiv
arXiv cs.CL
·
4일 전
·
조회수 2회
PIVOT이 쿼리 그룹 간 접두사 스캔을 공유하여 토큰 수준 희소 어텐션을 가속화
PIVOT(Proxy Indexing Via One full-prefix Traversal)은 DeepSeek Sparse Attention(DSA) 인덱서를 위한 학습 불필요한 드롭인 대체재로, 근처 쿼리 그룹 간에 하나의 접두사 스캔을 공유하여 계산 중복성을 줄입니다. PIVOT은 각 쿼리에 대해 개별적으로 모든 선행 토큰을 점수 매기는 대신, 그룹을 단일 프록시 쿼리로 집계하여 후보 집합을 얻고, 여기서 각 쿼리별로 상위 k개 토큰을 선택합니다.
lab
NVIDIA Research
·
4일 전
·
조회수 7회
2D 가우시안 기반 이미지 압축을 위한 클러스터화된 코드북 양자화
연구자들은 가우시안 프리미티브 기반 이미지 압축의 레이트-왜곡 성능을 개선하도록 설계된 Cluster-Guided Vector Quantization (CGVQ)를 제시합니다. 이 접근 방식은 양자화 전에 가우시안 매개변수를 동질적인 그룹으로 분할하여 프리미티브당 많은 부동 소수점 매개변수를 저장함으로써 발생하는 비효율성을 해결합니다.
lab
Hugging Face Blog
·
9일 전
·
조회수 1회
Diffusers에 Nunchaku Lite 4비트 추론 네이티브 지원 추가
Hugging Face Diffusers는 이제 `from_pretrained()`를 통해 Nunchaku Lite 체크포인트를 네이티브로 로드할 수 있게 되어 별도의 추론 엔진이나 로컬 CUDA 컴파일이 필요하지 않게 되었습니다. 이 통합은 SVDQuant 방법을 사용하여 4비트 가중치와 활성화(W4A4)로 트랜스포머 레이어를 실행하며, 메모리 사용량을 크게 줄이는 동시에 추론 속도를 향상시킵니다.
media
Hugging Face Forums
·
16일 전
·
조회수 13회
FireRed Image Edit v1.1에 대한 INT8 ConvRot 양자화 요청
Hugging Face 포럼의 한 사용자가 FireRed Image Edit v1.1 모델에 대한 INT8 또는 FP8 ConvRot 버전의 잠재적 개발에 대해 문의하고 있습니다.
media
r/LocalLLaMA
·
19일 전
·
조회수 3회
ZimengXiong, Apple Silicon 및 iPhone용 MLX로 Hunyuan3D 포트
개발자 ZimengXiong은 Hunyuan3D-Paint 및 Hunyuan3D-Shape 모델에 대한 Swift-MLX 및 Python MLX 포트를 완료하여 Apple Silicon 장치에서 로컬 이미지-3D 생성을 가능하게 했습니다. 이 작업은 macOS 및 iOS용 오픈소스 Modelr 데스크톱 앱으로 배포되며, Swift 애플리케이션에 기술을 통합하기 위한 소스 코드도 포함되어 있습니다.