korshunov.ai ML 세계의 핵심을 한눈에
KO
출처 · arXiv cs.CL
arxiv arXiv cs.CL · 18시간 전

축소된 행렬 곱셈: LLM 추론을 위한 입력 적응형 행렬곱 축소

연구자들은 Transformer의 행렬 곱을 모델 가중치를 수정하지 않고 수축 차원을 따라 정보적인 슬라이스를 선택하여 줄이는 학습 없는 입력 적응형 추론 방법인 축소된 행렬 곱셈(RMM)을 제안합니다. 간단한 유지 비율 제어를 통해 RMM은 1B에서 70B 파라미터에 이르는 언어 모델 전반에 걸쳐 매끄럽고 예측 가능한 정확도-효율성 트레이드오프를 제공합니다.
arxiv arXiv cs.CL · 18시간 전

AutoDesign은 메타-하니스 최적화를 통해 장기적 에이전트 설계를 개선한다

이 논문은 롤아웃 피드백을 기반으로 하니스를 재귀적으로 개선하는 코드 에이전트를 안내하기 위해 메타-하니스 옵티마이저를 사용하는 프레임워크인 AutoDesign을 소개합니다. 저자들은 PosterBench라는 새로운 벤치마크를 사용하여 학술 논문에서 포스터 생성 작업에 이 접근 방식을 평가합니다.
arxiv arXiv cs.CL · 19시간 전

Intern-S2-Preview는 멀티모달 사전 훈련과 RL을 갖춘 과학용 에이전트 파운데이션 모델을 소개합니다

저자들은 Intern-S2-Preview를 제시하는데, 이는 멀티모달 과학적 이해, 추론, 생성 및 장기 작업을 지원하도록 설계된 일련의 과학용 에이전트 파운데이션 모델입니다. 훈련 파이프라인은 렌더링된 과학 문서, 교차된 이미지-텍스트 데이터 및 다양한 과학 코퍼스를 대상으로 한 과학 멀티모달 사전 훈련으로 시작됩니다.
arxiv arXiv cs.CL · 3일 전 · 조회수 1회

MiLMMT-46-v1.0, 레퍼런스 없는 사후 학습을 통해 다국어 번역 성능 향상

연구자들이 레퍼런스 없는 사후 학습을 활용하는 다국어 기계 번역용 오픈 대규모 언어 모델인 MiLMMT-46-v1.0을 공개했습니다. 감독 학습 파인튜닝된 MiLMMT-46-v0.1을 기반으로, 연구팀은 언어 식별에 의해 게이트되는 두 개의 레퍼런스 없는 품질 추정 모델을 기반으로 한 보상과 함께 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 적용했습니다.
arxiv arXiv cs.CL · 4일 전 · 조회수 10회

Macaron-V1이 지속적 학습을 위한 Mixture-of-LoRA와 함께 오픈 에이전트 모델 패밀리 출시

Macaron-V1은 경험적 지능을 위해 설계된 오픈 에이전트 모델 패밀리로, 시스템이 실제 세계의 경험으로부터 학습하고 배포 후에도 지속적으로 개선할 수 있도록 합니다. 이 아키텍처는 두 가지 목표를 중심으로 합니다: 모델-하니스 쌍의 재귀적 자기 개선을 통한 적응과, 사용자 턴마다 전문가 어댑터를 선택하는 Mixture-of-LoRA(MoL) 시스템을 통한 협업.
arxiv arXiv cs.CL · 5일 전 · 조회수 8회

GPT-5와 GPT-5 Nano가 미생물 발암 증거 추출에서 전문가 수준에 도달

미생물 발암에 대한 체계적 증거 합성을 대상으로 대규모 언어 모델을 벤치마킹한 연구 결과, GPT-5와 GPT-5 Nano가 도메인 전문가와 구별되지 않는 성능을 보였다고 밝혔다. 연구진은 Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, GPT-5 Nano를 여러 질문 유형에 걸쳐 77개 항목으로 구성된 구조화된 템플릿을 사용하여 24편의 연구 논문에 대해 평가했다.
arxiv arXiv cs.CL · 8일 전 · 조회수 4회

M$^3$R-Bench는 다중 모달 은유 이해를 위한 증거 기반 벤치마크를 소개합니다

연구자들은 증거 기반 다중 모달 은유 이해를 평가하기 위해 설계된 인간 검증 주석이 포함된 1,000개의 이미지-텍스트 인스턴스를 포함하는 통합 벤치마크인 M$^3$R-Bench를 소개합니다. 이 벤치마크는 개념적 은유 이론에 기반한 은유 발생, 대상-소스 매핑, 감정 및 단계별 설명에 대한 결합 주석을 제공합니다.
arxiv arXiv cs.CL · 15일 전 · 조회수 4회

대규모 메모리 디코더: 매개변수형 장기 메모리를 6.9B 파라미터로 확장

연구자들은 매개변수형 장기 메모리 모델을 6.9B 파라미터까지 확장하고 300B 토큰으로 사전 훈련하는 시스템인 대규모 Memory Decoder를 제시합니다. 이 데이터 규모에서 표준 Faiss 파이프라인의 실행 불가능성을 해결하기 위해, 저자들은 kNN 분포의 희소 및 배치별 로딩을 사용하는 분산 인덱싱 파이프라인을 구현했습니다.
arxiv arXiv cs.CL · 15일 전 MLE-bench · 71.21% · 조회수 3회

Frontis-MA1, OpenMLE 재귀적 자기개선을 통해 최첨단 MLE 달성

Frontis는 머신러닝 엔지니어링에서의 재귀적 자기개선을 위해 설계된 35B 파라미터 AI4AI 모델인 Frontis-MA1과 오픈소스 OpenMLE 스택을 출시했습니다. 이 시스템은 검증 가능한 작업 환경, 연산자 학습(long-horizon search), 그리고 장기적 탐색을 통합하여 실행 기반 훈련을 통해 자체 코드를 개선하는 에이전트를 가능하게 합니다.
arxiv arXiv cs.CL · 15일 전 · 조회수 3회

OSReward는 크로스플랫폼 컴퓨터 사용 보상 모델에 대한 표준화된 평가를 도입합니다

연구자들은 컴퓨터 사용 에이전트 궤적에 대한 심판 역할을 하는 비전-언어 모델(VLM)의 신뢰성을 평가하기 위해 설계된 현실적인 벤치마크인 OSReward를 소개합니다. 이 연구는 최신 VLM조차도 체계적인 관용 편향에 시달리며 규모 확장에 너무 비싸다는 점을, 반면 저렴한 오픈 모델은 성능이 낮다는 점을 보여줍니다.
arxiv arXiv cs.CL · 16일 전 · 조회수 5회

Living-Harness가 자체 진화하는 에이전트 하네스를 통해 Pass@1을 약 10포인트 향상

연구자들은 Living-Harness를 제안했는데, 이는 완료된 트래젝토리와 평가자 신호를 유한한 하네스 업데이트를 위한 사후 증거로 변환하는 자기 진화형 에이전트 하네스입니다. Evolution-SOP의 지침에 따라 시스템은 에피소드 추상화와 구조화된 업데이트 증거를 추출하여 에피소드 메모리와 상태 그래프를 작성합니다.
arxiv arXiv cs.CL · 16일 전 · 조회수 3회

헌법적 중간 학습은 능력 손실 없이 지속 가능한 정렬 이점을 산출한다

연구원들은 120B 규모 모델의 학습 과정에 가치 기반 콘텐츠를 삽입하여 표준 사후 학습 방법보다 더 내구성이 강한 정렬을 생성하는지 확인하기 위해 헌법적 중간 학습을 테스트했다. 연구 결과, 이 접근 방식은 특히 지도 미세 조정 이후의 협박 성향을 완화하는 데 특히 Alignment 일반화와 내구성을 크게 향상시키는 것으로 나타났다.
arxiv arXiv cs.CL · 17일 전 · 조회수 1회

Relay-OPD는 온파시얼리 디스틸레이션에서 학습 궤적 길이를 50% 이상 단축합니다

연구자들은 표준 온파시얼리 디스틸레이션에서 학생의 오류가 신뢰할 수 없는 감독을 초래하는 접두사 실패 문제를 해결하기 위해 Relay On-Policy Distillation (Relay-OPD)를 소개했습니다. 이 방법은 교사-학생 연속성 비대칭을 트리거로 사용하여, 학생이 재개하기 전에 교사가 잠시 개입하여 궤적을 재지시합니다.
arxiv arXiv cs.CL · 18일 전 · 조회수 3회

PIVOT이 쿼리 그룹 간 접두사 스캔을 공유하여 토큰 수준 희소 어텐션을 가속화

PIVOT(Proxy Indexing Via One full-prefix Traversal)은 DeepSeek Sparse Attention(DSA) 인덱서를 위한 학습 불필요한 드롭인 대체재로, 근처 쿼리 그룹 간에 하나의 접두사 스캔을 공유하여 계산 중복성을 줄입니다. PIVOT은 각 쿼리에 대해 개별적으로 모든 선행 토큰을 점수 매기는 대신, 그룹을 단일 프록시 쿼리로 집계하여 후보 집합을 얻고, 여기서 각 쿼리별로 상위 k개 토큰을 선택합니다.