Adil karşılaştırmalar
Stratejiler dikkati, MLP'yi, tokenizer'ı, verileri, eğitim hattını ve beyan edilen ayarlama bütçelerini paylaşır.
Yazılım sistemi 02 / Araştırma
Hipotezi, bütçeyi, başarısızlığı ve sonucu bir arada tutan transformatör deneyleri.
Hyphae Transformer, yalnızca kod çözücü transformatörlerinde kalan stratejiler üzerine kontrollü araştırmalara yönelik sıfırdan bir PyTorch çerçevesidir.
Mimari araştırmasını, komut dosyaları ve seçici olarak raporlanan çalıştırmalardan oluşan bir klasör yerine tekrar yürütülebilir bir sürece dönüştürün.
01 / Benefits
Çerçeve neden önemli
Kimlikle başlatılan kontrol
Kanonik, bölünmüş ve RMS ile normalleştirilmiş ReZero stratejileri, açık artık kapıları ve yörüngeleri ortaya çıkarır.
Yazılan araştırma nesneleri
Hipotezler, aşamalar, bütçeler, manifestolar, kanıtlar ve raporlar dosya adlarıyla ima edilmek yerine yapılandırılmıştır.
Devam ettirilebilir ve bağımsız
Atomik kontrol noktaları ve salt ekleme geçmişleri, optimize ediciyi, veri kaynağını ve RNG durumunu geri yükler; Tamamlanan bildirimler yeniden çalıştırılmaz.
Olumsuz sonuçlar hayatta kalıyor
Başarısız tohumlar, sonuçsuz aralıklar, geçersiz girişimler ve durdurma kararları birinci sınıf kanıtlar olmaya devam ediyor.
Tasmalı bulut
Bulut tanıtımı, yerel değişmezleri, açık bir maliyet/ömür boyu bütçesini, yapıtların alınmasını ve temizlemeyi gerektirir.
02 / Architecture
Deney yaşam döngüsü
Sonuç yalnızca sıralı kapılardan geçerek ilerler. Ara eğriler isteğe bağlı durdurmaya izin vermez.
- 01
Ön kayıt
Soru, strateji, temel, tohumlar, veri kimliği, etki eşiği, bütçeler ve durdurma kuralları
- 02
Statik doğrulama
Şemalar, kaynak ve derlem kimliği, model geometrisi, sonlu durum ve sözleşme kontrolleri
- 03
Mini pilot
Token veya donanım bütçesinin tamamını harcamadan önce yalnızca doğruluk amaçlı çalıştırma
- 04
Pilot / tam yerel
Eşleştirilmiş gözlemler, sabit doğrulama ızgarası, kontrol noktaları, kapı yörüngeleri, arızalar ve güven aralıkları
- 05
Tanıtılan bulut basamağı
Tam bildirim, izin verilenler listesindeki koşucu, zor zaman/maliyet sınırı, yapı alma ve kaynak imhası
- 06
Değişmez rapor
JSON/HTML'yi, tohum başına kanıtları, kararı, hak talebinde bulunulmayanları, protokol kusurlarını ve sonraki kararı toplayın
03 / Surface
Laboratuvarın içeriği
Çekirdek
ReZero kapıları, yalnızca kod çözücü modeli, gruplandırılmış sorgu KV önbellekleri, RMSNorm, SwiGLU, RoPE, optimize ediciler ve sinyal tanılama.
Laboratuvar
Yazılan şemalar, kampanya yürütücüsü, kayıt defteri, bellek, bütçeler, arama, değerlendirici, serileştirme ve raporlar.
Yönetilen eğitim
Dondurulmuş omurga, katı kanıt-gösterge sınırlarıyla yanıt, kanıt isteme ve kararlardan kaçınma için kontrol başkanlarına sahiptir.
Veriler ve yürütme
Sağlama toplamı sabitlenmiş WikiText-2, kanonik enwiki8 aralıkları, taşınabilir yollar, kapsayıcılar ve izin verilenler listesindeki bildirim çalıştırıcısı.
04 / Evidence
Mevcut kanıtların söylediği
Desteklenen en güçlü sonuç dar kapsamlıdır: evrensel transformatör üstünlüğü değil, belirli bir 30M kampanyası kapsamında kalan tek bir strateji.
eşleştirilmiş nihai NLL iyileştirmesi
95% CI [+1.59%, +3.06%]
1,8 NLL'ye token indirimi
sekiz eşleştirilmiş tohum
24/48 katmanda daha erken eşik
ikincil metrik
bulut sınırı taşması korundu
protokol hatası görünür durumda kalıyor
Sekiz tohumlu 30 milyon kampanyası, önceden kayıtlı uygulama eşiğini aştı. Daha önceki derinlik basamaklı birincil kararlar sonuçsuz kaldı ve bulut bütçesinin aşıldığı, silinmek yerine rapor edildi.
Bugün ne yapıyor
- Yalnızca kontrollü kod çözücüye yönelik bir işlem hattı altında beş kalan stratejiyi karşılaştırır.
- Katı bildirimlerden aşamalı yerel ve bulut kampanyaları yürütür.
- Kontrol noktalarını, geçmişleri, ölçümleri, arızaları, güven aralıklarını, bütçeleri ve raporları yakalar.
- Otoregresif oluşturmayı ve yönetilen donmuş omurga kontrolü eğitim dilimini destekler.
Ne yapmayı hedefliyor
- Gözlemlenen etkilerin daha büyük parametre, dizi uzunluğu, derlem ve mimari basamaklarında devam edip etmediğini test edin.
- Maliyeti ölçeklendirmeden önce bulut çalıştırıcıyı ve yapay yapı otomasyonunu iyileştirin.
- Herhangi bir üretim kalitesi iddiasından önce bağımsız olarak açıklamalı donmuş omurga değerlendirmesini genişletin.
- Araştırma hafızasını ve yayın iş akışlarını açık kaynak ve yeterlilik politikalarına tabi tutun.
Neyi tesis etmiyor
- ReZero için bir üretim modeli hizmeti veya evrensel bir iddia değildir.
- Fikstür omurgası, üretim Gemma kalitesini değil, eğitim ve yönetim sözleşmelerini kanıtlar.
- Test seti isteğe bağlı durdurmaya veya eşit olmayan ayar bütçelerine izin verilmez.
- Geçmiş paket adları ve bildirim tanımlayıcıları uyumluluk amacıyla kalır ve yeniden yazılmaz.
Hyphae Transformer