llama.cpp b10614 릴리스는 연산 소스를 분할하고 병렬 컴파일을 활성화하여 Metal 백엔드에 중요한 아키텍처 변경을 도입했습니다. 이 업데이트에는 여러 새로운 커널 구현과 추가 양자화 형식 지원도 포함되어 있습니다.
- 빌드 시간을 개선하기 위해 metallib를 8개의 라이브러리로 분할하고 병렬로 로드합니다.
- f32, f16 및 bf16 데이터 유형을 지원하는 col2im_1d 연산을 추가합니다.
- Metal에 대한 CONV_2D_DW(심층 합성곱) 지원을 구현합니다.
- Q2_0 양자화 형식 지원을 추가합니다.
- snake 활성화 연산(mul, sin, sqr, mul, add)을 융합합니다.
- Metal 백엔드를 위해 FWHT 커널을 도입합니다.
이 릴리스는 CPU, GPU 및 다양한 가속기 백엔드에 대해 macOS, iOS, Linux, Windows, Android 및 openEuler용 사전 컴파일된 바이너리를 제공합니다.