تعاقدت أرسي، مطورة النماذج ذات الأوزان المفتوحة في الولايات المتحدة، مع وزارة الطاقة لإنشاء Genesis-Science-1. تؤدي هذه الشراكة إلى نموذج مفتوح مصمم خصيصًا لأغراض البحث العلمي.
media
r/LocalLLaMA
·
منذ 2 ساعة
·
open_models
أرسي ووزارة الطاقة تتعاونان لبناء Genesis-Science-1
مُترجم من English → العربية
مقالات ذات صلة
media
r/LocalLLaMA
·
منذ 10 ساعة
أرسي آي ووزارة الطاقة تعلنان عن جينيس-ساينس-1، نموذج مفتوح الأوزان بقدرة تريليون معلمة لأبحاث العلوم
أعلنت وزارة الطاقة (DOE) وأرسي آي عن تطوير جينيس-ساينcе-1 (GS1)، وهو نموذج لغوي بأوزان مفتوحة صُمم خصيصاً لأبحاث العلوم. يُعد هذا المبادرة جزءاً من مهمة جينيس، التي تهدف إلى جلب قدرات الذكاء الاصطناعي المتقدمة لمجموعة واسعة من المجالات العلمية من خلال جهد مشترك بين الوكالة الحكومية والشركة الخاصة.
media
r/LocalLLaMA
·
منذ 13 يوم
تيانتسِن تطلق HiLS-Attention-7B مع انتباه متقطع حسب الكتلة
أطلقت تيانتسِن نقطة فحص HiLS-Attention-7B، وهي نموذج بـ 7 مليارات معلمة مبني على هيكل أساسي بأسلوب OLMo3. يطبق النموذج آلية انتباه متقطع حسب الكتلة تتعلم اختيار الكتل بشكل نهائي تحت خسارة نمذجة اللغة.
arxiv
arXiv cs.AI
·
منذ 14 يوم
تبحث DiaLLM في فجوة المتانة-التوليد في تكيّف اللهجات الإنجليزية
تناولت دراسة DiaLLM الانفصال بين فهم وإنتاج الإنجليزية اللهجية من خلال إعادة التدريب المسبق المستمر لعائلات نماذج لغوية ذات أوزان مفتوحة على ثلاثة عائلات، باستخدام مجموعة اللغة الدولية. تطبق الدراسة نماذج ما بعد التدريب الضمنية والصريحة مقترنة بثلاث استراتيجيات محاذاة لمقارنة الإنجليزية الأسترالية والهندسية والبريطانية الشمالية.
arxiv
arXiv cs.CL
·
منذ 14 يوم
تحقيق DiaLLM في فجوة المتانة-التوليد في تكيف اللهجات الإنجليزية
تكشف دراسة DiaLLM أن المتانة اللهجية والتوليد منفصلان في النماذج اللغوية الكبيرة، حيث إن معايير التقييم التي تشكلت عبر التدريب المسبق المستمر لا تلتقط كيفية إعادة تشكيل المحاذاة للمخرجات الفعلية. قام المؤلفون بالتدريب المسبق المستمر لعائلات نماذج ذات أوزان مفتوحة ثلاث على مجموعة International Corpus of English وطبقوا نماذج ما بعد التدريب الضمنية والصريحة مقترنة بثلاث استراتيجيات محاذاة للغة الإنجليزية الأسترالية والهندسية والبريطانية الشمالية.\n\n- ينتج التكيف الصريح المستهدف للتنوع مخرعات تُعترف بها بشكل موثوق على أنها لهجية ومفضلة على المحاذاة الواسعة.
media
r/LocalLLaMA
·
منذ 15 يوم
إطلاق Qllm لنموذج استنتاج O(1) بدون ذاكرة تخزين مؤقت KV
أطلق باحث نموذج Qllm، وهو بنية جديدة لنموذج لغوي كبير تحقق وقت استنتاج O(1) من خلال القضاء على الحاجة إلى ذاكرة التخزين المؤقت للقيم الرئيسية (KV). تم بناء النموذج الذي يحتوي على 100 مليون معلمة على أساسية الربط الطوري ولا يعتمد على هياكل المحولات أو mamba.