أعلنت NemotronLabs عن إطلاق NemotronLabs VoiceChat، وهو نموذج مفتوح الأوزان للتحويل من الكلام إلى كلام يعمل بنظام الاتصال الكامل (full-duplex)، يدمج قدرات استدعاء الأدوات بشكل أصيل ضمن بنية تدفق موحدة. يجمع النظام بين مشفر كلام متدفق ونموذج لغوي يعتمد على فك التشفير فقط، مع تدفقات إخراج متوازية لنص الوكيل والمكالمات الدالية المهيكلة، بالإضافة إلى فرع RNN-T مساعد للنسخ التدريجي ومُشفر TTS متدفق.
- يحقق أدنى معدلات الاستيلاء على التعامل مع فترات الصمت بين الأنظمة مفتوحة الأوزان التي خضعت للتقييم على Full-Duplex-Bench 1.0، مع معدل استيلاء بنسبة 100% بعد مقاطعات المستخدم، ودرجة جودة رد ما بعد المقاطعة تبلغ 4.33 من 5.
- يستأنف الردود بعد إشارات الاستماع الخلفية من المستخدم في 93% من الحالات على Full-Duplex-Bench 1.5.
- يحصل على متوسط طبيعي قدره 55.1 على VoiceBench، ودرجة F1 لاختيار الأدوات تبلغ 82.5% على Full-Duplex-Bench 3.0، رغم أن دقة الحجج وتنفيذ الأدوات من البداية للنهاية يتطلبان تحسينًا.
يُظهر النموذج أنه يمكن دمج التفاعل ثنائي الاتجاه، والتعرف على الكلام وتوليده، والقدرات اللغوية العامة، واستخدام الأدوات الخارجية في نموذج واحد مفتوح للتحويل من الكلام إلى كلام دون المساس بسلوك المحادثة في الوقت الفعلي.