عرض النطاق الترددي للذاكرة هو الهدف
تعمل الأوزان الثلاثية المعبأة على تقليل البايتات المتدفقة لكل رمز مميز؛ تستهلك تخطيطات الحوسبة ذاكرة الوصول العشوائي (RAM) فقط عندما يستفيد مسار الأجهزة.
النظام البرمجي 03/ الاستدلال
الشبكات الثلاثية على وحدات المعالجة المركزية (CPUs)، مع استخدام الرياضيات الدقيقة والذاكرة بشكل متعمد.
Hyphae BitNet هو المستودع الأساسي لوقت تشغيل celiums-bitnet الحالي: إنشاء دفعة واحدة، وخدمة HTTP الأصلية، وC ABI التجريبي، ومعايير التعبئة المسبقة/فك التشفير.
اجعل النماذج الثلاثية المدعومة قابلة للتشغيل على خوادم وحدة المعالجة المركزية العادية دون تحويل النواة التقريبية أو نمو ذاكرة الوصول العشوائي غير المتحكم فيه أو الأجزاء الداخلية للمحرك الموروثة إلى سلوك منتج مخفي.
01 / Benefits
سبب وجود بيئة التشغيل
التراكم الدقيق
I2_S uses (D−S)ρ and Q1 uses 2P−S with integer accumulation; approximate LUT-GEMM and T-MAC stay outside strict mode.
ميزانيات ذاكرة الوصول العشوائي المغلقة بالفشل
يرفض تحميل النموذج أو إنشاء الجلسة تجاوز الحد الأقصى لمجموعة العمل التي تم تكوينها بدلاً من جعل المضيف غير قابل للاستخدام.
تحميل مقيّد بعائلة النموذج
البنية المدعومة ومجموعات أنواع الملفات واضحة؛ تم رفض نماذج Llama/Qwen Q4 العادية وتنسيقات Q2 المتصادمة.
الواجهات المملوكة للمنتج
تستخدم التطبيقات celiums-bitnet CLI أو C ABI أو مجموعة HTTP الفرعية الأصلية بدلاً من الارتباط بأجزاء GGML الداخلية.
سجلات التحقق قبل التسويق
تتضمن المعايير ملخصات النموذج، وغطاء ذاكرة الوصول العشوائي (RAM)، ووحدة المعالجة المركزية/ISA، وتقسيم التعبئة المسبقة/فك التشفير، وJSON الخام، وعدم المطالبات الصريحة.
02 / Architecture
مسار الاستدلال عبر بيئة التشغيل
يظل GGUF المعبأ هو المتجر الدائم. يتطابق تخطيط حساب الذاكرة الاختياري المدرج في الميزانية مع ISA لوحدة المعالجة المركزية؛ قم بالتعبئة المسبقة وفك التشفير ثم استخدم حبات مختلفة.
- 01
تم التحقق من صحة GGUF
I2_S BitNet or Q1_0 Bonsai; architecture, type, revision, and digest remain operator-visible
- 02
بوابة الميزانية
يحتفظ ram_budget بمساحة المضيف ويفشل قبل التخصيص إذا لم يكن التخطيط المحدد مناسبًا
- 03
صورة حساب ISA
يقوم ARM i8mm بتوسيع Q1 إلى int8 ±1؛ يحتفظ x86 VNNI بألواح 4 × 8 معبأة بالبت؛ يستخدم I2_S مسارات tinyBLAS صارمة
- 04
prefill
تعيد GEMM استخدام كل لوحة وزن عبر ثمانية ثم أربعة صفوف تنشيط
- 05
فك الترميز
يعالج GEMV رمزًا مميزًا واحدًا ويبث صورة الوزن مرة واحدة؛ لا تدعي تحسينات التعبئة المسبقة أنها تعمل على تسريع عملية فك التشفير
- 06
وقت التشغيل العام
الرمز المميز، والتعبئة المسبقة، وفك التشفير، والسجلات، وأخذ العينات، والإلغاء، وعمليات رد الاتصال المتدفقة، ومقاعد HTTP/SSE، وJSONL
03 / Surface
نطاق المنتج المدعوم
شهادة BitNet 2B
Microsoft BitNet b1.58 2B في MOSTLY_I2_S مع هوية التحويل المثبتة وبوابات الدقة.
بونساي 27B نص وحدة المعالجة المركزية
عائلة Q1_0 Qwen35 محددة الكمية مسبقًا مع إشارات 1 بت، ومقاييس كتلة FP16، وDeltaNet بالإضافة إلى الاهتمام، واختيار واضح للعائلة.
وقت التشغيل والخدمة
إنشاء لقطة واحدة، ومجموعة فرعية من إكمال/دردشة HTTP الأصلية، وSSE، ومفاتيح API، والمقاييس، وتسلسلات التوقف، والإلغاء التعاوني.
بوابة Hyphae الاختيارية
يمكن لعملية Rust المنفصلة إضافة عمليات الاسترجاع والذاكرة والإيصالات والتسجيل والبراهين وذاكرة التخزين المؤقت الدلالية وMCP دون ربط Hyphae بـ GGML.
04 / Evidence
تأثيرات العتاد المقاسة
التعبئة المسبقة وفك التشفير لها خطوط سقف مختلفة. تبلغ الإيصالات المنشورة عن كليهما وتحافظ على الحالات التي يساعد فيها التخطيط في مرحلة واحدة ولكنه يضر بأخرى.
يتم تعبئة Graviton 4 مسبقًا في خيط واحد
Q1 expand-to-int8 vs packed mmap
فك تشفير Graviton 4 في موضوع واحد
يمكن أن تتراجع أعداد الخيوط العالية
زيون التعبئة المسبقة في موضوع واحد
8-row vs 4-row GEMM
ميزانية فاشلة متعمدة
تم رفضه قبل تخصيص النموذج
تنطبق أرقام Graviton وXeon فقط على النماذج المذكورة، والملخصات، والآلات، وعدد الخيوط، وأطوال الموجه/التوليد، والحد الأقصى 64 جيجا بايت. يمكن أن يؤدي توسيع Q1 إلى تقليل فك تشفير الخيوط العالية عند تشبع DRAM.
ما يفعله الآن
- يقوم بتشغيل BitNet 2B I2_S المعتمد وعائلة النص الصريحة Bonsai 27B Q1_0 CPU.
- يوفر أوامر التشغيل/الخدمة/المقعد/التحقق/الإصدار لـ CLI، وC ABI التجريبي، ومجموعة فرعية HTTP على شكل OpenAI.
- يحدد ملفات تعريف AVX2 الأصلية أو المحمولة أو العددية لوحدة المعالجة المركزية وتخطيطات الحوسبة المدرجة في الميزانية.
- التحقق من صحة سلوك النواة الدقيق من خلال أوراكل العددية/العامة، والمطهرات، واختبارات الحزمة، وبوابات الإصدار المدعومة بالنموذج.
ما يطمح إلى فعله
- قارن بين مربعات kernel الدقيقة الإضافية وتكميم التنشيط المشترك.
- استكشف الضغط الدقيق للقناة الصفرية والتشفيرات الثلاثية الأكثر كثافة دون تقليم تقريبي.
- قم بتقييم AMX كمسار للتعبئة المسبقة فقط مع الحفاظ على الأوزان الثابتة معبأة.
- جدولة ناضجة متعددة التسلسل وملكية طلب غير متزامنة.
- انقل مسارات GPU من التجارب الموروثة إلى نواة I2_S العامة والمختبرة بشكل واضح قبل مطالبات الدعم.
ما يرفضه عمدا
- ليس مشغل نموذج llama.cpp عشوائيًا؛ يتم رفض مجموعات البنية/التكميم غير المدعومة.
- لا يوجد استدلال GPU مدعوم، أو تجميع مستمر، أو واجهة برمجة تطبيقات OpenAI كاملة، أو عمليات التضمين، أو الأدوات، أو logprobs، أو TLS المدمج في المنتج الحالي.
- لا يوجد ادعاء بهوية البت العالمية عبر معايير ISA أو شهادة نقطة تفتيش المصدر.
- تحتفظ العناصر الثنائية العامة الحالية وعناصر الإصدار باسم منتج celiums-bitnet؛ لا يمحو المستودع الأساسي ملكية المنبع أو النموذج.
Hyphae BitNet