media r/LocalLLaMA · 2시간 전 · open_models

Arcee와 에너지부, Genesis-Science-1 구축을 위한 파트너십 체결

번역 English → 한국어

미국에서 오픈 가중치 모델을 개발하는 Arcee는 에너지부와 제휴하여 Genesis-Science-1을 만들었습니다. 이 협력은 과학 연구를 위해 특별히 설계된 오픈 모델로 이어졌습니다.

중요도 2/3 r/LocalLLaMA Open weights Research paper

Arcee AI와 DOE가 과학 연구를 위한 1T 오픈 가중치 모델인 Genesis-Science-1을 발표

미국 에너지부(DOE)와 Arcee AI는 과학 연구용으로 특별히 설계된 오픈 가중치 언어 모델인 Genesis-Science-1(GS1)의 개발을 발표했습니다. 이 이니셔티브는 정부 기관과 민간 기업의 공동 노력을 통해 다양한 과학 분야에 고급 AI 기능을 도입하는 것을 목표로 하는 제네시스 미션의 일부입니다.

media r/LocalLLaMA · 13일 전

Tencent, 청크 기반 희소 어텐션 HiLS-Attention-7B 출시

Tencent는 OLMo3 스타일의 백본으로 구축된 70억 파라미터 모델인 HiLS-Attention-7B 체크포인트를 출시했습니다. 이 모델은 언어 모델링 손실 하에서 청크 선택을 엔드투엔드로 학습하는 청크 기반 희소 어텐션 메커니즘을 구현합니다.

arxiv arXiv cs.AI · 14일 전

DiaLLM, 영어 방언 적응의 견고성-생성 격차 조사

DiaLLM 연구는 국제 영어 코퍼스(International Corpus of English)에서 세 가지 오픈 가중치 언어 모델 패밀리에 대해 계속적인 사전 학습을 수행함으로써 방언 이해와 생성 간의 단절을 해결합니다. 호주 영어, 인도 영어 및 북부 영국 영어를 비교하기 위해 암시적 및 명시적 사후 학습 패러다임에 세 가지 정렬 전략을 결합하여 적용합니다.

arxiv arXiv cs.CL · 14일 전

DiaLLM, 영어 방언 적응의 견고성-생성 격차 조사

DiaLLM 연구는 대규모 언어 모델에서 방언적 견고성과 생성이 분리되어 있으며, 지속적 사전 학습으로 형성된 벤치마크가 정렬이 실제 출력을 어떻게 재형성하는지 포착하지 못한다는 것을 드러냈다. 저자들은 International Corpus of English에서 세 가지 오픈 가중치 모델 패밀리에 지속적 사전 학습을 적용하고 호주 영어, 인도 영어 및 북부 영국 영어에 대해 암시적 및 명시적 사후 학습 패러다임과 세 가지 정렬 전략을 결합했다.\n\n- 명시적 변종 대상 적응은 방언적으로 신뢰할 수 있게 인식되며 광범위한 정렬보다 선호되는 출력을 생성한다.

media r/LocalLLaMA · 15일 전

Qllm이 KV 캐시 없는 O(1) 추론 모델 출시

한 연구자가 키-값(KV) 캐시의 필요성을 제거하여 O(1) 추론 시간을 달성하는 새로운 대규모 언어 모델 아키텍처인 Qllm을 출시했습니다. 100M 파라미터 모델을 위상 결합성(phase associativity) 기반으로 구축되었으며, 트랜스포머나 mamba 구조에 의존하지 않습니다.