media r/LocalLLaMA · 1시간 전 · open_models

Hugging Face, 최대 규모 오픈 코드 데이터셋 'The Stack v3' 출시

번역 English → 한국어

Hugging Face는 지금까지 가장 큰 오픈 코드 데이터셋인 The Stack v3를 출시했습니다. 이번 릴리스는 다양한 사용자의 요구를 충족하기 위해 두 가지 서로 다른 접근 방법을 제공합니다.

stack-v3-train: 거의 중복 제거됨, 품질 필터링됨, PII 비공개 처리된 버전으로 인라인 콘텐츠를 포함하며 Hugging Face datasets 라이브러리를 통해 접근 가능합니다.
stack-v3-full: 114 TB의 전체 코퍼스가 HF Storage Bucket으로 저장되어 있으며, 제외된 파일에 대한 cluster IDs 및 stubs와 함께 모든 중복이 보존됩니다.

이번 릴리스는 연구자와 개발자에게 방대한 원시 코드 저장소에 대한 접근을 제공하며, 즉시 훈련에 사용할 수 있는 사전 처리된 변형도 제공합니다.

중요도 2/3 r/LocalLLaMA Hugging Face Open weights Training data

RAGU가 컴팩트한 Meno-Lite-0.1 추출기를 탑재한 다단계 GraphRAG 엔진을 출시하다

RAGU는 엔티티 추출과 통합을 분리함으로써 구조화된 지식 통합을 개선하는 오픈소스 모듈식 GraphRAG 엔진입니다. 이는 단일 패스 시스템에서 발견되는 노이즈와 취약성을 줄이기 위해 두 단계의 유형 기반 추출 프로세스, DBSCAN 기반 중복 제거, LLM 요약, Leiden 커뮤니티 감지를 활용합니다.

lab IBM Research (Granite) · 8일 전

IBM이 고품질 코드의 방대한 합성 데이터셋인 CodeAlchemy를 오픈소스로 공개

IBM은 코드와 실행 트레이스를 페어링하여 AI 모델 성능을 향상시키기 위해 설계된 파이프라인 및 합성 데이터셋인 CodeAlchemy를 오픈소스로 공개했습니다. 이번 릴리스에는 15개 프로그래밍 언어에 걸쳐 거의 1조 개의 토큰이 포함되어 있으며, 이는 위키백과 크기의 최소 200배에 해당합니다.

arxiv arXiv cs.CL · 10일 전 · 조회수 1회

RAGU, 컴팩트한 Meno-Lite-0.1 추출기와 함께 다단계 GraphRAG 도입

RAGU는 추출과 통합을 분리하고, 유형 기반 추출, 중복 제거, 요약, 커뮤니티 감지를 포함한 두 단계 프로세스를 통해 구조화된 지식 통합을 개선하는 오픈소스 모듈형 GraphRAG 엔진입니다.

arxiv arXiv cs.CL · 11일 전

Freya-TTS, 토크나이저 없는 터키어 TTS 모델 공개 (8.0% WER)

연구자들은 터키어에 최적화된 컴팩트한 토크나이저 없는 텍스트 음성 변환(TTS) 모델인 Freya-TTS를 소개했으며, Freya-TR-Eval 벤치마크에서 8.0%의 단어 오류율(WER)을 달성했습니다. 1억 8320만 파라미터의 비자기회귀 조건 흐름 매칭 Diffusion Transformer는 AudioVAE2의 고정된 연속 잠재 공간에서 작동하며, 음소 분할기나 이산 음성 토크나이저 없이 48 kHz 고품질 복원을 가능하게 합니다.

arxiv arXiv cs.AI · 15일 전

DiaLLM, 영어 방언 적응의 견고성-생성 격차 조사

DiaLLM 연구는 국제 영어 코퍼스(International Corpus of English)에서 세 가지 오픈 가중치 언어 모델 패밀리에 대해 계속적인 사전 학습을 수행함으로써 방언 이해와 생성 간의 단절을 해결합니다. 호주 영어, 인도 영어 및 북부 영국 영어를 비교하기 위해 암시적 및 명시적 사후 학습 패러다임에 세 가지 정렬 전략을 결합하여 적용합니다.