lab NVIDIA Research · 1시간 전 · research

JacNet은 구조화된 야코비안을 직접 모델링하여 함수를 학습합니다

번역 English → 한국어

이 논문은 JacNet을 소개합니다. JacNet은 매핑 자체 대신 입력-출력 함수의 야코비안을 직접 학습하는 신경망 아키텍처입니다. 이 접근 방식은 미분 특성에 대한 정밀한 제어를 가능하게 하여 가역성 및 k-Lipschitz 연속성과 같은 구조적 사전 지식을 강제할 수 있습니다.

모델은 학습된 함수가 항상 가역적임을 보장하여 역함수 계산을 용이하게 합니다.
학습된 매핑에 1-Lipschitz 제약을 부과하는 능력을 보여줍니다.
이 방법은 실제 매핑에 대한 사전 지식을 학습 과정에 통합할 수 있는 메커니즘을 제공합니다.

미분을 직접 구조화함으로써 JacNet은 특정 응용 분야에 필요한 특정 수학적 특성을 만족하는 근사치를 학습하는 방법을 제시합니다.

중요도 1/3 신뢰도 3/3 NVIDIA Research Research paper Training methods

원문 보기

LLM이 하이퍼파라미터 최적화에서 베이지안 최적화와 동등하거나 이를 능가함

새로운 논문은 제한된 예산 설정에서 일반적으로 수동 접근 방식에 의존하는 프로세스인 하이퍼파라미터 최적화(HPO)를 자동화하기 위해 기초 대규모 언어 모델(LLM)을 사용하는 것을 탐구합니다. 저자들은 데이터셋 및 모델 설명에 기반하여 LLM이 하이퍼파라미터 구성을 제안하고, 이를 모델 성능에 따라 반복적으로 정제하는 방법론을 개발했습니다.

lab NVIDIA Research · 1시간 전 · 조회수 27회 실시간

Source가 훈련 데이터 속성 추정을 위한 근사 언롤링 미분 도입

연구자들은 영향 함수의 계산 효율성과 언롤링 기반 접근법의 정확성을 결합한 새로운 훈련 데이터 속성 추정(TDA) 방법인 Source를 소개합니다. 영향 함수와 유사한 공식을 사용하여 언롤링 미분을 근사함으로써, Source는 최적화 편향이나 다단계 파이프라인을 고려하지 않는다는 암시적 미분 방법의 한계를 해결합니다.

arxiv arXiv cs.CL · 8시간 전

MiLMMT-46-v1.0, 레퍼런스 없는 사후 학습을 통해 다국어 번역 성능 향상

연구자들이 레퍼런스 없는 사후 학습을 활용하는 다국어 기계 번역용 오픈 대규모 언어 모델인 MiLMMT-46-v1.0을 공개했습니다. 감독 학습 파인튜닝된 MiLMMT-46-v0.1을 기반으로, 연구팀은 언어 식별에 의해 게이트되는 두 개의 레퍼런스 없는 품질 추정 모델을 기반으로 한 보상과 함께 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 적용했습니다.

lab NVIDIA Research · 1일 전 · 조회수 2회

Masters는 마스킹 교사와 강화 학생을 통해 비전-언어 모델을 증류합니다

연구원들은 에지 배포에 적합한 컴팩트한 버전으로 대규모 비전-언어 모델을 증류하기 위한 마스크 점진적 강화 학습 프레임워크인 Masters를 제안합니다. 이 방법은 교사 및 학생 모델 간의 크기 차이로 인한 불안정성을 해결합니다.

lab NVIDIA Research · 1일 전 · 조회수 2회

ZPPO는 작은 비전-언어 모델 학습을 개선하기 위해 그래디언트 대신 프롬프트를 사용한다

연구자들은 지식 증류의 취약성과 강화학습에서의 드리프트(drift) 문제를 해결하기 위해 정책 그래디언트가 아닌 프롬프트에 교사 지식을 주입하는 방법인 근접 정책 최적화 영역(Zone of Proximal Policy Optimization, ZPPO)을 소개한다. ZPPO는 어려운 질문에 대해 이진 후보 포함 질문(Binary Candidate-included Questions, BCQ)과 부정 후보 포함 질문(Negative Candidate-included Questions, NCQ)을 구성하고, 학생의 정확도가 향상되거나 제외될 때까지 리플레이 버퍼를 통해 이를 순환시킨다.