Kimi k1.5 LLM के साथ पुनर्बल सीखने को स्केल करके o1 से मेल खाता है और short-CoT मॉडल्स को हराता है

Kimi k1.5 बहु-आवधिक LLM एक सरलीकृत पुनर्बल सीखने ढांचे का उपयोग करता है जो लंबे संदर्भ स्केलिंग और सुधारी हुई नीति अनुकूलन पर निर्भर है, Monte Carlo tree search या मान फलनों जैसे जटिल तकनीकों से बचता है।

• सिस्टम AIME पर 77.5, MATH 500 पर 96.2, और Codeforces पर 94वां प्रतिशतकलIncluding सहित कई मानकों में सर्वोत्तम तर्क प्रदर्शन प्राप्त करता है।
• इसका long2short विधि long-CoT तकनीकों का लाभ उठाकर short-CoT मॉडल्स को बढ़ावा देता है, जिसके परिणाम AIME पर 60.8, MATH500 पर 94.6, और LiveCodeBench पर 47.3 हैं।
• ये short-CoT सुधार मौजूदा मॉडल्स जैसे GPT-4o और Claude Sonnet 3.5 से काफी आगे हैं, जो +550% तक हो सकते हैं।

यह दृष्टिकोण दिखाता है कि पुनर्बल सीखने को स्केल करना AI सुधार के लिए नए अक्षों को अनलॉक करता है बिना जटिल इंफ्रास्ट्रक्चर पर निर्भर हुए, OpenAI के o1 से मेल खाते हुए और अन्य संदर्भ-छोटे मॉडल्स को काफी पीछे छोड़ते हुए।