ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.
- concat 연산에서 요소별 memcpy를 행 수준 memcpy로 교체합니다.
- 새로운 행 수준 복사 메커니즘에 대한 concat 오프셋을 수정합니다.
- 중복 검사를 제거하면서 concat 블록 크기 어설트를 추가하고 이동합니다.
- CPU, GPU 및 특수 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 빌드를 제공합니다.