media Hugging Face Forums · 2일 전 · open_models

MB-Bidram, 추론과 지식을 분리하는 실험적 WideNDepth 아키텍처 공개

번역 English → 한국어

MB-Bidram은 추론 능력과 지식 저장을 분리하도록 설계된 WideNDepth(WND)라는 실험용 신경망 아키텍처를 출시했습니다. 이 모델은 메모리 역할을 하는 'Wide 부분'과 추론자 역할을 하는 'Depth 부분'으로 구성됩니다.

WND는 서로 다른 부분이 각기 다른 작업에 집중하는 실험적 아키텍처입니다: 메모리에는 넓게, 추론에는 깊게.
WideNDepth 모델을 구축하기 위한 최소한의 PyTorch 프레임워크인 WiND도 아키텍처와 함께 오픈소스로 공개되었습니다.
이 프로젝트는 완성된 솔루션이 아니라 개선의 여지가 있는 진행 중인 작업으로 제시됩니다.

저자는 커뮤니티가 라이브러리와 아키텍처를 탐색하고 실험하며 잠재적으로 개선할 것을 초대합니다.

중요도 1/3 신뢰도 1/3 Hugging Face Forums Research paper Training methods

원문 보기

Fathom-Vaidya, 기준 기반 보상으로 의료 추론 개선

저자들은 진단 및 임상 의료 추론을 향상시키기 위해 합성 데이터와 기준 기반 강화 학습을 사용하는 30B 파라미터 모델인 Fathom-Vaidya를 소개합니다. 훈련 프레임워크는 먼저 MedBullets에서 파생된 질문들에 규칙 유도 RL을 적용한 후, 상호작용 임상 작업을 위해 다차원 기준과 함께 5.3k 합성 멀티 턴 시나리오를 활용합니다.

arxiv arXiv cs.AI · 1일 전 · 조회수 12회

Fathom-Vaidya, 기준 기반 보상을 통해 의료 추론 개선

저자들은 합성 데이터와 기준 기반 강화 학습을 사용하여 진단 및 임상 의료 추론을 모두 향상시키는 30B 파라미터 모델인 Fathom-Vaidya를 소개합니다. 훈련 프레임워크는 먼저 MedBullets에서 파생된 질문을 사용하여 진단 정확도를 목표로 하고, 다차원 기준이 있는 5.3k개의 생성 시나리오를 통해 다중 턴 임상 상호작용을 다룹니다.

arxiv arXiv cs.CL · 1일 전 · 조회수 12회

Fathom-Vaidya, 기준 기반 보상으로 의료 추론 개선

저자들은 합성 데이터와 기준 기반 강화 학습을 사용하여 진단 및 임상 의료 추론을 모두 향상시키는 30B 파라미터 모델인 Fathom-Vaidya를 소개합니다.

media Hugging Face Forums · 3일 전 · 조회수 18회

제안: 고정된 4B 모델에 대해 Qwen 9B에서 27B로 점진적 지식 전이

Hugging Face 포럼의 한 사용자가 점진적 지식 전이에 대한 실험을 제안합니다. 이는 고정 크기의 학생 모델(Qwen 4B)이 가장 큰 사용 가능한 모델에서 직접 학습하는 대신, 점점 더 큰 교사 모델로부터 순차적으로 학습하는 방식입니다.

arxiv arXiv cs.LG · 7일 전 · 조회수 20회

OpenAI, 완전히 감사 가능한 학습 실행으로 Open-1B 출시

OpenAI는 학습 중 모든 연산이 이종 상용 하드웨어에서 비트 단위의 정확도로 독립적으로 재현 가능한 체계 하에 훈련된 언어 모델인 Open-1B를 출시했습니다. 이 접근 방식은 GPU 커널 축소 및 데이터 배치 순서화와 같은 비결정론적 원인에 명확한 순서를 부과함으로써 오픈소스 모델에 내재된 재현성 문제를 해결합니다.