저자는 단일 GPU에서 듀얼 GPU로 업그레이드하는 것이 더 크고 고품질의 모델 양자화를 사용할 수 있게 하는 것보다 병렬 처리를 통해 더 큰 이점을 제공한다고 주장합니다. 코딩 작업의 경우 Q4와 Q6/Q8 양자화 간의 품질 차이는 미미하여, 증가된 컨텍스트 윈도우와 처리량이 더 가치 있습니다.
- 설정은 분할된 하위 작업을 관리하기 위해 광범위한 컨텍스트를 가진 Qwen 27B 모델을 오케스트레이터로 사용합니다.
- Qwen 35B-A3B와 같은 서브 에이전트는 115k 컨텍스트 제한 내에서 좁은 작업을 처리하고 종료 전에 보고합니다.
- 이 아키텍처는 세 개의 에이전트가 병렬로 실행될 수 있게 하여 단일 모델과 비교하여 전체 처리량을 크게 증가시킵니다.
- 시스템은 하위 에이전트를 특정 잘 정의된 작업에 대해 활성화 상태로 유지함으로써 빈번한 모델 언로드 및 압축을 피합니다.
이 접근 방식은 부적절한 하드웨어에서 큰 100B+ 모델을 실행하려는 시도보다 더 실용적인 가치를 제공하며, SOTA 클로즈드 모델은 가끔씩 전문가 검토를 위해 예약됩니다.