Faire Vergleiche
Strategien teilen Aufmerksamkeit, MLP, Tokenizer, Daten, Trainingspipeline und deklarierte Optimierungsbudgets.
Softwaresystem 02 / Forschung
Transformer-Experimente, die Hypothese, Budget, Misserfolg und Ergebnis zusammenhalten.
Hyphae Transformer ist ein völlig neues PyTorch-Framework für die kontrollierte Forschung zu Reststrategien in Nur-Decoder-Transformatoren.
Verwandeln Sie die Architekturforschung in einen wiederholbaren Prozess und nicht in einen Ordner mit Skripten und selektiv gemeldeten Ausführungen.
01 / Benefits
Warum das Framework wichtig ist
Identitätsinitialisierte Kontrolle
Kanonische, geteilte und RMS-normalisierte ReZero-Strategien legen explizite Rest-Gates und Trajektorien offen.
Typisierte Forschungsobjekte
Hypothesen, Phasen, Budgets, Manifeste, Beweise und Berichte sind eher strukturiert als durch Dateinamen impliziert.
Wiederaufnehmbar und idempotent
Atomare Prüfpunkte und Nur-Anhänge-Verläufe stellen Optimierer, Datenquelle und RNG-Status wieder her; Abgeschlossene Manifeste werden nicht erneut ausgeführt.
Negative Ergebnisse bleiben bestehen
Fehlgeschlagene Samen, nicht schlüssige Intervalle, ungültige Versuche und Stoppentscheidungen bleiben erstklassige Beweise.
Cloud mit Leine
Für die Cloud-Werbung sind lokale Invarianten, ein explizites Kosten-/Lebensdauerbudget, Artefaktabruf und Bereinigung erforderlich.
02 / Architecture
Lebenszyklus des Experiments
Ein Ergebnis schreitet nur durch geordnete Tore voran. Zwischenkurven erlauben kein optionales Anhalten.
- 01
Vorregistrieren
Frage, Strategie, Baseline, Seeds, Datenidentität, Wirkungsschwelle, Budgets und Stoppregeln
- 02
Statische Validierung
Schemata, Quell- und Korpusidentität, Modellgeometrie, Finite-State- und Vertragsprüfungen
- 03
Minipilot
Nur Korrektheit ausführen, bevor das gesamte Token- oder Hardwarebudget ausgegeben wird
- 04
Pilot / vollständig lokal
Gepaarte Beobachtungen, festes Validierungsraster, Kontrollpunkte, Gate-Trajektorien, Fehler und Konfidenzintervalle
- 05
Geförderte Cloud-Sprosse
Genaues Manifest, zugelassener Läufer, harte Zeit-/Kostenobergrenze, Artefaktabruf und Ressourcenzerstörung
- 06
Unveränderlicher Bericht
Aggregieren Sie JSON/HTML, Beweise pro Seed, Urteil, Nichtansprüche, Protokollmängel und die nächste Entscheidung
03 / Surface
Inhalt des Labors
Kern
ReZero-Gates, Nur-Decoder-Modell, KV-Caches mit gruppierter Abfrage, RMSNorm, SwiGLU, RoPE, Optimierer und Signaldiagnose.
Labor
Typisierte Schemata, Kampagnenläufer, Registrierung, Speicher, Budgets, Suche, Auswertung, Serialisierung und Berichte.
Geregelte Ausbildung
Die Steuerung mit eingefrorenem Rückgrat sorgt für Antwort, Anforderung von Beweisen und Enthaltungsentscheidungen mit strikten Evidenz-Zeiger-Grenzen.
Daten und Ausführung
Mit Prüfsummen versehenes WikiText-2, kanonische enwiki8-Bereiche, tragbare Pfade, Container und ein Manifest-Runner auf der Zulassungsliste.
04 / Evidence
Was die aktuelle Evidenz sagt
Das am stärksten beworbene Ergebnis ist eng: eine Reststrategie im Rahmen einer bestimmten 30-Millionen-Kampagne, keine universelle Transformatorüberlegenheit.
gepaarte endgültige NLL-Verbesserung
95% CI [+1.59%, +3.06%]
Token-Reduzierung auf 1,8 NLL
acht gepaarte Samen
früherer Schwellenwert bei 24/48 Schichten
sekundäre Metrik
Überschreitung der Wolkendecke bleibt erhalten
Protokolldefekt bleibt sichtbar
Die 30-Millionen-Kampagne mit acht Samen hat ihre vorab registrierte praktische Schwelle überschritten. Frühere tiefgreifende Primärurteile blieben ergebnislos, und die Überschreitung des Cloud-Budgets wird eher gemeldet als gelöscht.
Was es heute leistet
- Vergleicht fünf Reststrategien unter einer kontrollierten Nur-Decoder-Pipeline.
- Führt inszenierte lokale und Cloud-Kampagnen aus strengen Manifesten aus.
- Erfasst Prüfpunkte, Historien, Metriken, Fehler, Konfidenzintervalle, Budgets und Berichte.
- Unterstützt die autoregressive Generierung und einen kontrollierten Trainings-Slice für die Frozen-Backbone-Kontrolle.
Was geplant ist
- Testen Sie, ob beobachtete Effekte über größere Parameter-, Sequenzlängen-, Korpus- und Architektursprossen hinweg bestehen bleiben.
- Verbessern Sie die Cloud-Runner- und Artefaktautomatisierung, bevor Sie die Kosten skalieren.
- Erweitern Sie die unabhängig kommentierte Frozen-Backbone-Bewertung vor jedem Anspruch auf Produktionsqualität.
- Sorgen Sie dafür, dass das Forschungsgedächtnis und die Veröffentlichungsabläufe durch explizite Quellen- und Suffizienzrichtlinien geregelt werden.
Was es nicht feststellt
- Kein Produktionsmodellservice oder ein universeller Anspruch für ReZero.
- Das Rückgrat der Vorrichtung beweist Schulungs- und Governance-Verträge, nicht die Gemma-Qualität der Produktion.
- Es sind keine optionalen Testsätze oder ungleiche Optimierungsbudgets zulässig.
- Historische Paketnamen und Manifest-IDs bleiben aus Kompatibilitätsgründen erhalten und werden nicht neu geschrieben.
Hyphae Transformer