arxiv arXiv cs.CL · 방금 · research

STAR 지표와 StarPO 프레임워크가 문서 간 기계 번역 정렬을 개선

번역 English → 한국어

연구자들은 문장 수준의 구조적 충실도를 정량화하기 위해 설계된 보조 지표인 Sentence Translation Alignment Rate (STAR)를 소개합니다. 이는 누락과 환각과 같은 문제를 해결합니다. 그들은 가설을 구조적 품질로 순위 매기고 동적 정렬 마스크를 사용하여 정렬되지 않은 세그먼트에 최적화를 집중하는 프레임워크인 STAR-masked Preference Optimization (StarPO)를 제안합니다.

STAR는 소스-대상 대응 위반을 해결하기 위해 구조적 충실도를 명시적으로 측정합니다.
StarPO는 훈련 중 특정 정렬되지 않은 세그먼트를 최적화하기 위해 동적 정렬 마스크를 활용합니다.
뉴스 및 문학 도메인 전반의 실험은 번역 품질과 무결성의 상당한 개선을 보여줍니다.
StarPO를 사용하는 컴팩트 모델은 GPT-4o와 같은 거대한 독점 시스템보다 성능을 뛰어넘으며 우수한 토큰 효율성을 유지합니다.

이 프레임워크는 더 작은 모델이 더 나은 토큰 효율성을 유지하면서 큰 독점 시스템을 능가할 수 있게 합니다.

중요도 2/3 arXiv cs.CL Research paper Training methods

관련 기사

arxiv arXiv cs.AI · 8일 전 · 조회수 12회

Harness Continual Learning 은 동결된 모델 매개변수 외부에서 에이전트 상태를 적응시킵니다

저자들은 에이전트가 모델 매개변수를 업데이트하는 대신 실행 대상 하네스를 진화시켜 개선하는 패러다임인 Harness Continual Learning (HCL) 을 소개합니다. 이 접근 방식은 프롬프트, 메모리 및 라우팅 규칙과 같은 구성 요소를 통해 새로운 경험에 적응하면서 이전에 습득한 행동을 유지하는 과제를 해결합니다.

media r/LocalLLaMA · 9일 전 · 조회수 12회

Z.ai, 장기 추론 개선을 위해 GLM-5.3의 사후 학습을 확장

Z.ai는 GLM-5.3을 출시했으며, 이는 기본 모델이나 매개변수 수를 변경하지 않고도 사후 학습 확장이 장기 추론에서 상당한 이점을 가져온다는 것을 보여주는 통제 실험입니다.

media Hugging Face Forums · 14일 전 · 조회수 11회

ThetaMem은 고정 상태 시퀀스 메모리를 위해 부호 있는 승법 키 리프트를 제안합니다

ThetaMem은 재귀적 혼합기(recurrent mixer)에 대한 초기 단일 시드 연구로, 게이트 메커니즘을 정교화하는 대신 학습된 부호 있는 하다마르 또는 외적(key lifts)을 통해 재귀 상태를 수정합니다. 저자는 합성 벤치마크에서 혼합된 결과를 제시하며, 접근 방식을 반증할 수 있는 가장 저렴한 실험을 식별하기 위해 비판을 명시적으로 구합니다.

lab NVIDIA Research · 16일 전 · 조회수 40회

LLM이 하이퍼파라미터 최적화에서 베이지안 최적화와 동등하거나 이를 능가함

새로운 논문은 제한된 예산 설정에서 일반적으로 수동 접근 방식에 의존하는 프로세스인 하이퍼파라미터 최적화(HPO)를 자동화하기 위해 기초 대규모 언어 모델(LLM)을 사용하는 것을 탐구합니다. 저자들은 데이터셋 및 모델 설명에 기반하여 LLM이 하이퍼파라미터 구성을 제안하고, 이를 모델 성능에 따라 반복적으로 정제하는 방법론을 개발했습니다.

lab NVIDIA Research · 16일 전 · 조회수 45회

Source가 훈련 데이터 속성 추정을 위한 근사 언롤링 미분 도입

연구자들은 영향 함수의 계산 효율성과 언롤링 기반 접근법의 정확성을 결합한 새로운 훈련 데이터 속성 추정(TDA) 방법인 Source를 소개합니다. 영향 함수와 유사한 공식을 사용하여 언롤링 미분을 근사함으로써, Source는 최적화 편향이나 다단계 파이프라인을 고려하지 않는다는 암시적 미분 방법의 한계를 해결합니다.