vLLM은 이전 v0.27.0 릴리스를 기반으로 구축된 패치 업데이트인 버전 0.27.1을 출시했습니다.
- 이 업데이트는 양자화된 DSpark Markov 헤드에 대한 지원을 도입합니다.
github
vLLM
·
15시간 전
·
inference
vLLM v0.27.1, 양자화된 DSpark Markov 헤드 지원 추가
번역 English → 한국어
관련 기사
github
llama.cpp
·
8시간 전
llama.cpp b10361이 EXAONE 4.5의 SWA를 수정하고 메타데이터 경로에서 TENSOR_SKIP을 건너뜀
llama.cpp b10361 릴리스는 로딩 중 잘못된 파라미터 순서로 인해 LGAI-EXAONE 4.5 모델에서 슬라이딩 윈도우 어텐션(SWA)이 활성화되지 않는 치명적인 버그를 해결합니다.
lab
Hugging Face Blog
·
12시간 전
ALTK-Evolve는 추론 비용을 크게 줄이면서 ACE와 동등하거나 더 높은 정확도를 달성
에이전트 트랜지션을 가중치 업데이트 없이 재사용 가능한 가이드라인으로 변환하는 에이전틱 메모리 시스템인 ALTK-Evolve는 ACE보다 훨씬 적은 토큰을 사용하면서도 정확도를 동등하게 유지하거나 초과합니다. ACE가 모든 단계에서 포괄적인 플레이북을 주입하는 것과 달리, ALTK-Evolve는 모델의 용량에 기반하여 관련성 있는 가이드라인만 선택적으로 검색하여 제공합니다.
lab
NVIDIA Research
·
15시간 전
·
조회수 10회
DSTP가 복잡한 MLLM 추론에서 시각적 토큰 가지치기 실패를 완화합니다
연구자들은 디코딩 중 관련 시각 정보 이동(RVIS)이 멀티모달 대규모 언어 모델(MLLM)에서 기존 시각적 토큰 가지치기 방법의 실패 주원인임을 확인했습니다. 이를 해결하기 위해 그들은 학습이 필요 없는 프레임워크인 Decoding-stage Shift-aware Token Pruning(DSTP)을 제안하며, 이는 시각적 토큰을 변화하는 추론 요구 사항과 정렬시킵니다.
media
MarkTechPost
·
17시간 전
·
조회수 1회
webAI가 로컬 자동 형식화를 위한 1.7B 및 3B 공식 논리 모델 패밀리 TwIL-LM 출시
webAI는 로컬 하드웨어에서 자동 형식화를 위해 설계된 1.7B 및 3B 파라미터를 가진 공식 논리 추론기 두 가지로 구성된 TwIL-LM 모델 패밀리를 출시했습니다. 이 모델들은 영어를 일차 논리로 변환하고 결론의 타당성을 검증하며, 3B 변형은 도메인 내 공식 논리 작업에서 매크로 게이트 점수 0.4218을 달성했습니다.
media
AI News (smol.ai)
·
17시간 전
Meta, Muse Glimmer 30B 오픈 가중치 모델 출시; Anthropic, 리만 경계 개선
Meta는 Apache 2.0 라이선스 하에 로컬 에이전트 배포를 위해 최적화된 30B 밀집 멀티모달 모델인 Muse Glimmer를 출시했으며, 향후 Muse Spark 1.2의 가중치도 제공할 것이라고 약속했다.