Aiden은 복잡한 시각적 추론과 디바이스 작업을 동반한 풀듀플렉스 음성 대화를 필요로 하며, 두 가지를 모두 처리하는 단일 모델의 한계를 피하는 에이전트용 아키텍처를 설명합니다. 이 솔루션은 책임을 분할합니다: 실시간 음성 모델이 대화를 관리하고 별도의 더 강력한 모델이 백그라운드 작업을 실행하며 작업 큐를 통해 비동기적으로 조정합니다.

핵심 설계 결정에는 대화 계층이 백엔드 결과를 추측하지 않도록 작업 완료와 성공을 별도 신호로 추적하는 것이 포함됩니다. 포어그라운드에 도달하는 결과는 동시 출력을 병합하기 위한 500ms 집계 창이 있는 큐를 통과합니다. 디바이스 작업은 모호성을 피하기 위해 엄격하게 순차적으로 실행되며, 런타임 이벤트는 시스템 프롬프트의 빈번한 재작성을 피하기 위해 표준 UserMessage 객체로 변환됩니다.

저자는 이것이 dev-board 단계 구현이며 백엔드가 작업 중일 때 새로운 음성 입력이 도착할 때 인터럽트 처리에 대한 피드백을 구하고 있다고 언급합니다.