본 기사는 대규모 분자 동역학 시뮬레이션을 위한 GPU 시작 통신 기술에 중점을 둔 실용적인 가이드를 소개합니다.
GPU에서 데이터 전송 및 처리를 직접 최적화하는 방법을 상세히 설명하여, 이러한 워크로드에서 원자 동작을 관찰하는 데 필요한 계산 요구 사항을 다룹니다.
lab
NVIDIA Technical Blog
·
76일 전
·
inference
분자 동역학을 위한 GPU 시작 통신에 대한 NVIDIA 가이드
번역 English → 한국어
관련 기사
arxiv
arXiv cs.AI
·
62일 전
·
조회수 29회
SLAI의 T-Rex가 Ascend SuperPOD에서 DeepSeek-V4의 전체 파라미터 사후 학습을 가능하게 함
SLAI는 Ascend NPU SuperPOD에서 트릴리언 파라미터 규모의 MoE 모델에 대한 전체 파라미터 사후 학습을 위한 엔드투엔드 최적화 프레임워크인 T-Rex를 소개합니다. DeepSeek-V4 모델 계열을 대상 워크로드로 사용하여, 이 시스템은 계층적 병렬 처리 및 커널 실행 최적화를 통해 메모리 압박과 통신 오버헤드를 해결합니다.
arxiv
arXiv cs.CL
·
62일 전
·
조회수 23회
SLAI의 T-Rex가 Ascend SuperPOD에서 DeepSeek-V4의 전체 파라미터 사후 학습을 가능하게 함
SLAI는 Ascend NPU SuperPOD에서 트릴리언 파라미터 규모의 MoE 모델에 대한 전체 파라미터 사후 학습을 위한 엔드투엔드 최적화 프레임워크인 T-Rex를 소개합니다. DeepSeek-V4 모델 계열을 대상 워크로드로 사용하여, 이 시스템은 계층적 병렬 처리와 커널 실행 최적화를 통해 메모리 압박과 통신 오버헤드를 해결합니다.
lab
NVIDIA Technical Blog
·
78일 전
·
조회수 21회
NVIDIA, 대규모 LLM 학습의 goodput 향상을 위해 비균일 텐서 병렬화 제안
NVIDIA는 막대한 규모의 LLM 학습에서 인프라 문제를 해결하기 위해 비균일 텐서 병렬화를 사용하는 방법을 제안했습니다. 이 접근 방식은 장기간에 걸쳐 수천 개의 GPU에 걸친 작업이 발생할 때 발생하는 계획되지 않은 중단과 자원 변동으로 인한 지연을 완화하는 것을 목표로 합니다.
media
r/LocalLLaMA
·
2일 전
·
조회수 11회
중국 내 수요가 공급을 초과하면서 화웨이가 글로벌 AI 칩 출시를 보류
화웨이는 중국 내부의 수요가 가용 공급량을 초과함에 따라 인공지능 칩의 국제적 확장을 일시 중단했습니다. 이러한 전략적 전환으로 인해 AMD와 엔비디아 등의 경쟁사는 화웨이의 글로벌 시장 진입으로 인한 즉각적인 압박을 더 이상 받지 않게 되었습니다.
media
Hugging Face Forums
·
3일 전
·
조회수 16회
점진적 모델 성장 및 트랜스포머를 위한 오픈 하드웨어 프로필 제안
Hugging Face의 제안은 AI의 두 가지 상호 연결된 문제를 논의합니다: 개별 대형 모델을 훈련하는 의존성과 생태계의 범용 GPU에 대한 의존성.