शोधकर्ता CausalMix का प्रस्ताव करते हैं, एक विधि जो मौजूदा तरीकों में स्थिर वितरण मान्यताओं की सीमाओं को दूर करने के लिए बड़े भाषा मॉडल डेटा मिश्रण अनुकूलन को एक कारणात्मक अनुमान समस्या के रूप में प्रस्तुत करती है। दृष्टिकोण सांख्यिकीय विशेषताओं को सहचर के रूप में और डोमेन मिश्रणों को उपचार के रूप में सूत्रबद्ध करता है, बड़े मॉडलों के लिए इष्टतम मिश्रणों को बाह्य अनुमानित करने के लिए Qwen2.5-0.5B के 512 रनों से शर्तात्मक औसत उपचार प्रभाव (CATE) का अनुमान लगाता है।
- CausalMix भ्रांतिकारक पूर्वाग्रहों को अलग करने के लिए कारणात्मक मॉडलिंग का लाभ उठाकर स्थिति-निर्भर इष्टतम डेटा मिश्रणों को गतिशील रूप से अनुमानित करता है।
- फ्रेमवर्क Qwen3-4B-Base पर लंबी चेन-ऑफ-थॉट डेटा के लिए सफलतापूर्वक सामान्यीकृत होता है।
- प्रयोग दिखाते हैं कि CausalMix द्वारा निर्देशित मिश्रण कई डाउनस्ट्रीम कार्यों में प्रदर्शन को लगातार बेहतर बनाता है, RegMix और अन्य आधार रेखाओं को पार करता है।
- सीखे गए मिश्रण रणनीति के दृश्य विश्लेषण के लिए एक CATE इंटरप्रेटर प्रदान किया गया है।
CausalMix LLM डेटा मिश्रणों को अनुकूलित करने के लिए एक कारणात्मक और व्याख्या योग्य फ्रेमवर्क प्रदान करता है, जो महंगी पुनः प्रशिक्षण के बिना छोटे सेटिंग्स से बड़े डेटा पूल तक सहज स्केलिंग की अनुमति देता है।