مقارنات عادلة
تشترك الاستراتيجيات في الاهتمام، وMLP، والرمز المميز، والبيانات، وخط أنابيب التدريب، وميزانيات الضبط المعلنة.
النظام البرمجي 02/ البحث
تجارب المحولات التي تحافظ على الفرضية والميزانية والفشل والنتيجة معًا.
Hyphae Transformer هو إطار عمل PyTorch من الصفر للأبحاث الخاضعة للرقابة حول الاستراتيجيات المتبقية في المحولات المخصصة لوحدة فك التشفير فقط.
قم بتحويل أبحاث الهندسة المعمارية إلى عملية قابلة لإعادة التشغيل بدلاً من مجلد من البرامج النصية وعمليات التشغيل التي تم الإبلاغ عنها بشكل انتقائي.
01 / Benefits
أهمية الإطار
التحكم بتهيئة الهوية
تكشف إستراتيجيات ReZero الأساسية والمنقسمة والمُطبيعة لـ RMS عن بوابات ومسارات متبقية واضحة.
كائنات البحث المكتوبة
يتم تنظيم الفرضيات والمراحل والميزانيات والبيانات والأدلة والتقارير بدلاً من الإشارة إليها ضمنيًا بواسطة أسماء الملفات.
قابلة للاستئناف وعاجزة
تعمل نقاط التفتيش الذرية وتاريخ الإلحاق فقط على استعادة المحسن ومصدر البيانات وحالة RNG؛ لا يتم إعادة تشغيل البيانات المكتملة.
النتائج السلبية تبقى على قيد الحياة
تظل البذور الفاشلة والفترات غير الحاسمة والمحاولات الباطلة وقرارات التوقف دليلاً من الدرجة الأولى.
سحابة مع المقود
يتطلب الترويج السحابي وجود متغيرات محلية، وميزانية صريحة للتكلفة/العمر، واسترجاع العناصر، والتنظيف.
02 / Architecture
دورة حياة التجربة
النتيجة تتقدم فقط من خلال البوابات المرتبة. لا تسمح المنحنيات المؤقتة بالتوقف الاختياري.
- 01
التسجيل المسبق
السؤال، والاستراتيجية، وخط الأساس، والبذور، وهوية البيانات، وعتبة التأثير، والميزانيات، وقواعد الإيقاف
- 02
التحقق من صحة ثابت
المخططات، وهوية المصدر والمجموعة، والهندسة النموذجية، والتحقق من الحالة المحدودة والعقد
- 03
طيار صغير
يتم تشغيل التصحيح فقط قبل إنفاق كامل الرمز المميز أو ميزانية الأجهزة
- 04
طيار / محلي كامل
الملاحظات المقترنة، وشبكة التحقق الثابتة، ونقاط التفتيش، ومسارات البوابة، والفشل، وفترات الثقة
- 05
ترقية درجة السحابة
البيان الدقيق، والعداء المدرج في القائمة المسموح بها، والحد الأقصى للوقت الصعب/التكلفة، واسترجاع العناصر، وتدمير الموارد
- 06
تقرير غير قابل للتغيير
تجميع JSON/HTML، والأدلة لكل بذرة، والحكم، وعدم المطالبات، وعيوب البروتوكول، والقرار التالي
03 / Surface
محتوى المختبر
جوهر
بوابات ReZero، ونموذج وحدة فك التشفير فقط، ومخابئ KV للاستعلام المجمع، وRMSNorm، وSwiGLU، وRoPE، والمحسنات، وتشخيصات الإشارة.
مختبر
المخططات المكتوبة، ومشغل الحملة، والتسجيل، والذاكرة، والميزانيات، والبحث، والمقيم، والتسلسل، والتقارير.
التدريب المحكم
رؤوس تحكم مجمدة للإجابة وطلب الأدلة واتخاذ قرارات الامتناع عن التصويت بحدود صارمة لمؤشر الأدلة.
البيانات والتنفيذ
WikiText-2 المثبت بالمجموع الاختباري، ونطاقات enwiki8 الأساسية، والمسارات المحمولة، والحاويات، ومشغل البيان المدرج في القائمة المسموح بها.
04 / Evidence
ما تقوله الأدلة الحالية
أقوى نتيجة يتم الترويج لها هي نتيجة ضيقة: استراتيجية واحدة متبقية ضمن حملة محددة تبلغ 30 مليونًا، وليس تفوق المحولات العالمي.
يقترن تحسين NLL النهائي
95% CI [+1.59%, +3.06%]
تخفيض الرمز المميز إلى 1.8 NLL
ثمانية بذور مقترنة
العتبة السابقة عند 24/48 طبقة
متري ثانوي
تم الاحتفاظ بتجاوز الغطاء السحابي
يظل عيب البروتوكول مرئيًا
اجتازت الحملة المكونة من ثماني بذور والتي تبلغ 30 مليونًا الحد الأدنى العملي المسجل مسبقًا. ظلت الأحكام الأولية السابقة غير حاسمة، وتم الإبلاغ عن تجاوز ميزانية السحابة بدلاً من محوها.
ما يفعله الآن
- يقارن بين خمس إستراتيجيات متبقية ضمن خط أنابيب واحد مخصص لوحدة فك التشفير فقط.
- تشغيل حملات محلية وسحابية منظمة من بيانات صارمة.
- يلتقط نقاط التفتيش والتاريخ والمقاييس والفشل وفترات الثقة والميزانيات والتقارير.
- يدعم توليد الانحدار الذاتي وشريحة التدريب على التحكم في العمود الفقري المتجمد.
ما يطمح إلى فعله
- اختبر ما إذا كانت التأثيرات المرصودة تستمر عبر درجات المعلمة الأكبر وطول التسلسل والمدونة والهندسة المعمارية.
- قم بتحسين مشغل السحابة وأتمتة الأعمال الفنية قبل زيادة التكلفة.
- قم بتوسيع تقييم العمود الفقري المجمد المشروح بشكل مستقل قبل أي مطالبة بجودة الإنتاج.
- حافظ على ذاكرة البحث وسير عمل النشر محكومة بسياسات المصدر والكفاية الواضحة.
ما لا يثبت
- ليست خدمة نموذجية للإنتاج أو مطالبة عالمية بـ ReZero.
- يثبت العمود الفقري للتركيبات عقود التدريب والحوكمة، وليس جودة إنتاج جيما.
- لا يُسمح بالتوقف الاختياري لمجموعة الاختبار أو ميزانيات الضبط غير المتساوية.
- تظل أسماء الحزم التاريخية ومعرفات البيان متاحة للتوافق ولا تتم إعادة كتابتها.
Hyphae Transformer