media r/LocalLLaMA · 1시간 전 · open_models

Nokia Applied Research, AnyJev 출시로 모든 LLM을 Jev 스타일 의사결정 모델로 전환

번역 English → 한국어

Nokia Applied Research는 사용자가 단일 순전파를 통해 LLM의 내부 상태에서 신뢰할 수 있는 결정을 직접 추출할 수 있게 하는 프로젝트인 AnyJev를 출시했습니다.

이 방법은 생성 루프, 파싱 또는 파인튜닝이 필요하지 않습니다.
이는 느린 채팅봇을 빠르고 저렴한 결정론적 분류기로 효과적으로 변환합니다.

중요도 2/3 차별점을 갖춘 새 평가 환경 r/LocalLLaMA Inference efficiency Research paper

TokenProbe는 추론 품질을 유지하면서 CoT 토큰 사용량을 76% 줄입니다

연구자들은 체인-오브-스루트(Chain-of-Thought) 추론의 높은 토큰 소비를 시퀀스 내 토큰의 비균일한 가치를 활용하여 해결하는 프레임워크 TokenProbe를 제시했습니다. 이 방법은 정규화된 로그 확률을 사용하여 핵심 구조적 토큰과 중복된 필러를 구별함으로써 선택적 압축을 가능하게 합니다.

media Hugging Face Forums · 16일 전 · 조회수 33회

GlucoEdge: INT8 양자화를 통한 디바이스 내 혈당 경향 예측

독립 연구자 Mohamed Menasy는 연속 혈당 모니터링기 데이터로부터 5개 클래스, 15분 단위 혈당 경향을 예측하기 위한 엔드투엔드 디바이스 내 머신러닝 파이프라인을 상세히 설명하는 GlucoEdge를 출판했습니다. 이 작업은 단 2,909개의 파라미터만 포함하는 컴팩트한 1D CNN을 소개하며 PyTorch에서 LiteRT로의 변환까지 전체 워크플로우를 다룹니다.

media Hugging Face Forums · 16일 전 · 조회수 48회

문헌 검토 결과 압축 절감이 측정된 에너지와 약한 상관관계만 보임

독립 연구자가 양자화, 가지치기, 증류 등의 모델 압축 기법이 실제로 측정된 에너지 소비를 줄이는지 아니면 단순히 FLOPs 만 낮추는지 분석하는 문헌 검토를 발표했습니다.

lab Hugging Face Blog · 41일 전 · 조회수 62회

Multiverse Computing의 QAH가 4비트 GPT-OSS를 풀정밀 원본보다 더 잘 수행하게 만듦

Multiverse Computing은 압축된 양자화된 대형 언어 모델을 원래의 사전 압축 교사 모델에서 직접 증류하는 방법인 양자화 인식 치유(Quantization-Aware Healing, QAH)를 소개합니다. 120B 모델인 GPT-OSS를 60B 매개변수로 압축하고 MXFP4로 양자화한 모델에 적용한 결과, 이 접근법은 9개 벤치마크 중 7개에서 자체 풀정밀 bfloat16 버전보다 더 나은 성능을 보입니다.

arxiv arXiv cs.CL · 53일 전 · 조회수 49회

축소된 행렬 곱셈: LLM 추론을 위한 입력 적응형 행렬곱 축소

연구자들은 Transformer의 행렬 곱을 모델 가중치를 수정하지 않고 수축 차원을 따라 정보적인 슬라이스를 선택하여 줄이는 학습 없는 입력 적응형 추론 방법인 축소된 행렬 곱셈(RMM)을 제안합니다. 간단한 유지 비율 제어를 통해 RMM은 1B에서 70B 파라미터에 이르는 언어 모델 전반에 걸쳐 매끄럽고 예측 가능한 정확도-효율성 트레이드오프를 제공합니다.