Bellek bant genişliği hedeftir
Paketlenmiş üçlü ağırlıklar, jeton başına aktarılan bayt miktarını azaltır; bilgi işlem düzenleri RAM'i yalnızca donanım yolu fayda sağladığında harcar.
Yazılım sistemi 03 / Çıkarım
Kesin matematik ve belleğin kasıtlı olarak kullanıldığı CPU'lar üzerindeki üçlü ağlar.
Hyphae BitNet, mevcut celiums-bitnet çalışma zamanının temel deposudur: tek seferlik nesil, yerel HTTP sunumu, deneysel bir C ABI ve önceden doldurma/kod çözme kıyaslamaları.
Yaklaşık çekirdekleri, kontrolsüz RAM büyümesini veya devralınan motor dahili bileşenlerini gizli ürün davranışına dönüştürmeden, desteklenen üçlü modelleri sıradan CPU sunucularında çalışır hale getirin.
01 / Benefits
Çalışma zamanı neden var
Kesin birikim
I2_S uses (D−S)ρ and Q1 uses 2P−S with integer accumulation; approximate LUT-GEMM and T-MAC stay outside strict mode.
Başarısız kapatılan RAM bütçeleri
Model yükleme veya oturum oluşturma, ana bilgisayarı kullanılamaz hale getirmek yerine, yapılandırılmış çalışma kümesi sınırını aşmayı reddeder.
Model ailesine göre kısıtlı yükleme
Desteklenen mimari ve dosya türü birleşimleri açıktır; sıradan Llama/Qwen Q4 modelleri ve çarpışan Q2 formatları reddedilir.
Ürüne ait arayüzler
Uygulamalar, GGML dahili bileşenlerine bağlanmak yerine celiums-bitnet CLI, C ABI veya yerel HTTP alt kümesini kullanır.
Pazarlamadan önce kanıt
Karşılaştırmalar arasında model özetleri, RAM sınırı, CPU/ISA, önceden doldurma/kod çözme bölümü, ham JSON ve açık hak talepleri yer almaz.
02 / Architecture
Çıkarımın çalışma zamanındaki akışı
Paketlenmiş GGUF, dayanıklı depo olmaya devam ediyor. İsteğe bağlı, bütçelendirilmiş bellek içi bilgi işlem düzeni CPU ISA ile eşleşir; önceden doldurun ve kodunu çözün, ardından farklı çekirdekler kullanın.
- 01
Doğrulanmış GGUF
I2_S BitNet or Q1_0 Bonsai; architecture, type, revision, and digest remain operator-visible
- 02
Bütçe kapısı
ram_budget, ana bilgisayar boşluğunu ayırır ve seçilen düzen sığamazsa tahsisten önce başarısız olur
- 03
ISA hesaplama görüntüsü
ARM i8mm, Q1'i int8 ±1'e genişletir; x86 VNNI bit dolu 4×8 panelleri tutar; I2_S katı TinyBLAS yollarını kullanıyor
- 04
Prefill
GEMM, her ağırlık panelini sekiz ve dört aktivasyon satırında yeniden kullanır
- 05
Decode
GEMV bir jetonu yönetir ve ağırlık görüntüsünü bir kez yayınlar; önceden doldurma optimizasyonları kod çözmeyi hızlandırıyormuş gibi görünmüyor
- 06
Herkese açık çalışma zamanı
Tokenleştirme, önceden doldurma, kod çözme, logitler, örnekleme, iptal etme, geri arama akışı, HTTP/SSE ve JSONL tezgahları
03 / Surface
Desteklenen ürün kapsamı
Sertifikalı BitNet 2B
Sabitlenmiş dönüşüm kimliği ve kesinlik kapılarıyla MOSTLY_I2_S'de Microsoft BitNet b1.58 2B.
Bonsai 27B CPU metni
1 bitlik işaretler, FP16 blok ölçekleri, DeltaNet artı dikkat ve açık aile seçimi ile önceden nicelenmiş Q1_0 Qwen35 ailesi.
Çalışma zamanı ve sunum
Tek seferde oluşturma, yerel HTTP tamamlama/sohbet alt kümesi, SSE, API anahtarları, ölçümler, durdurma dizileri ve işbirlikçi iptal.
İsteğe bağlı Hyphae ağ geçidi
Ayrı bir Rust işlemi, Hyphae'yi GGML'ye bağlamadan alma, bellek, makbuz, kayıt defteri, provalar, anlamsal önbellek ve MCP ekleyebilir.
04 / Evidence
Ölçülen donanım etkileri
Önceden doldurma ve kod çözmenin farklı tavan çizgileri vardır. Yayınlanan faturalar her ikisini de rapor ediyor ve bir düzenin bir aşamaya yardımcı olurken diğerine zarar verdiği durumları koruyor.
Tek iş parçacığında Graviton 4 ön dolumu
Q1 expand-to-int8 vs packed mmap
Graviton 4 tek iş parçacığında kod çözüyor
yüksek iplik sayıları gerileyebilir
Tek iş parçacığında Xeon ön dolumu
8-row vs 4-row GEMM
kasıtlı başarısız bütçe
model tahsisinden önce reddedildi
Graviton ve Xeon rakamları yalnızca adı geçen modeller, özetler, makineler, iş parçacığı sayıları, bilgi istemi/oluşturma uzunlukları ve 64 GiB sınırı için geçerlidir. Q1'in genişletilmesi, DRAM doygunluğa ulaştığında yüksek iş parçacıklı kod çözmeyi azaltabilir.
Bugün ne yapıyor
- Sertifikalı BitNet 2B I2_S ve açık Bonsai 27B Q1_0 CPU metin ailesini çalıştırır.
- CLI çalıştırma/sunma/bench/validate/version komutlarını, deneysel bir C ABI'yi ve OpenAI şekilli bir HTTP alt kümesini sağlar.
- Yerel, taşınabilir AVX2 veya skaler CPU profillerini ve bütçelendirilmiş bilgi işlem düzenlerini seçer.
- Skaler/jenerik kahinler, temizleyiciler, paket testleri ve model destekli sürüm geçitleri yoluyla tam çekirdek davranışını doğrular.
Ne yapmayı hedefliyor
- Ek tam çekirdek kutucuklarını ve paylaşılan aktivasyon nicemlemesini karşılaştırın.
- Yaklaşık budama olmadan tam sıfır kanal sıkıştırmayı ve daha yoğun üçlü kodlamaları keşfedin.
- Kalıcı ağırlıkları paketli halde tutarken AMX'i yalnızca önceden doldurmalı bir yol olarak değerlendirin.
- Olgun çok sıralı planlama ve eşzamansız istek sahipliği.
- Destek taleplerinden önce GPU yollarını devralınan deneylerden genel, açıkça test edilmiş I2_S çekirdeklerine taşıyın.
Kasıtlı olarak reddettiği şey
- Rastgele bir llama.cpp model çalıştırıcısı değil; desteklenmeyen mimari/kuantizasyon kombinasyonları reddedilir.
- Mevcut üründe desteklenen GPU çıkarımı, sürekli toplu işlem, eksiksiz OpenAI API, yerleştirmeler, araçlar, logproblar veya yerleşik TLS yoktur.
- ISA'lar arasında evrensel bit düzeyinde kimlik veya kaynak kontrol noktası sertifikasyonu iddiası yoktur.
- Mevcut genel ikili dosya ve sürüm yapıları, celiums-bitnet ürün adını korur; temel deposu yukarı akış veya model sahipliğini silmez.
Hyphae BitNet