Des comparaisons équitables
Les stratégies partagent l'attention, le MLP, le tokenizer, les données, le pipeline de formation et les budgets de réglage déclarés.
Système logiciel 02 / Recherche
Expériences de transformation qui regroupent l'hypothèse, le budget, l'échec et le résultat.
Hyphae Transformer est un framework PyTorch à partir de zéro pour la recherche contrôlée sur les stratégies résiduelles dans les transformateurs uniquement décodeurs.
Transformez la recherche en architecture en un processus rejouable plutôt qu'en un dossier de scripts et d'exécutions rapportées de manière sélective.
01 / Benefits
Pourquoi ce framework compte
Contrôle initialisé par l'identité
Les stratégies ReZero canoniques, divisées et normalisées par RMS exposent des portes et des trajectoires résiduelles explicites.
Objets de recherche typés
Les hypothèses, les étapes, les budgets, les manifestes, les preuves et les rapports sont structurés plutôt que sous-entendus par des noms de fichiers.
Récupérable et idempotent
Les points de contrôle atomiques et les historiques à ajout uniquement restaurent l'optimiseur, la source de données et l'état RNG ; les manifestes terminés ne sont pas réexécutés.
Les résultats négatifs survivent
Les graines ratées, les intervalles non concluants, les tentatives invalides et les décisions d’arrêt restent des preuves de premier ordre.
Nuage en laisse
La promotion du cloud nécessite des invariants locaux, un budget coût/durée de vie explicite, la récupération des artefacts et le nettoyage.
02 / Architecture
Cycle de vie de l’expérience
Un résultat avance uniquement à travers des portes ordonnées. Les courbes intermédiaires n'autorisent pas l'arrêt optionnel.
- 01
Pré-inscrire
Question, stratégie, référence, graines, identité des données, seuil d'effet, budgets et règles d'arrêt
- 02
Validation statique
Schémas, identité des sources et du corpus, géométrie du modèle, vérifications des états finis et des contrats
- 03
Mini-pilote
Exécution correcte uniquement avant de dépenser la totalité du budget de jeton ou de matériel
- 04
Pilote / local complet
Observations appariées, grille de validation fixe, points de contrôle, trajectoires de porte, échecs et intervalles de confiance
- 05
Réseau cloud promu
Manifeste exact, exécuteur sur liste blanche, plafond de temps/coût, récupération d'artefacts et destruction de ressources
- 06
Rapport immuable
JSON/HTML agrégé, preuves par graine, verdict, non-réclamations, défauts de protocole et décision suivante
03 / Surface
Contenu du laboratoire
Cœur
Portes ReZero, modèle de décodeur uniquement, caches KV à requêtes groupées, RMSNorm, SwiGLU, RoPE, optimiseurs et diagnostics de signal.
Laboratoire
Schémas saisis, coureur de campagne, registre, mémoire, budgets, recherche, évaluateur, sérialisation et rapports.
Formation régie
Têtes de contrôle gelées pour répondre, demander des preuves et s'abstenir de décisions avec des limites strictes de pointeur de preuves.
Données et exécution
WikiText-2 épinglé par somme de contrôle, plages enwiki8 canoniques, chemins portables, conteneurs et exécuteur de manifeste sur liste autorisée.
04 / Evidence
Ce que disent les preuves actuelles
Le résultat le plus fort promu est restreint : une stratégie résiduelle dans le cadre d’une campagne spécifique de 30 M, et non une supériorité universelle du transformateur.
amélioration finale-NLL couplée
95% CI [+1.59%, +3.06%]
réduction du jeton à 1,8 NLL
huit graines appariées
seuil antérieur à 24/48 couches
métrique secondaire
dépassement de la calotte nuageuse conservé
le défaut de protocole reste visible
La campagne 30M à huit graines a dépassé son seuil pratique préenregistré. Les premiers verdicts approfondis antérieurs sont restés peu concluants et le dépassement du budget cloud est signalé plutôt qu'effacé.
Ce qu’il fait aujourd’hui
- Compare cinq stratégies résiduelles sous un pipeline contrôlé uniquement par décodeur.
- Exécute des campagnes locales et cloud organisées à partir de manifestes stricts.
- Capture les points de contrôle, les historiques, les mesures, les échecs, les intervalles de confiance, les budgets et les rapports.
- Prend en charge la génération autorégressive et une tranche d'entraînement au contrôle de la structure gelée gouvernée.
Ce qu’il prévoit
- Testez si les effets observés persistent sur des réseaux de paramètres, de longueur de séquence, de corpus et d'architecture plus grands.
- Améliorez l’automatisation de Cloud Runner et des artefacts avant de faire évoluer les coûts.
- Élargissez l’évaluation de la structure gelée annotée de manière indépendante avant toute réclamation relative à la qualité de la production.
- Gardez la mémoire de recherche et les flux de publication régis par des politiques explicites de source et de suffisance.
Ce qu'il n'établit pas
- Il ne s'agit pas d'un service de modèle de production ni d'une revendication universelle pour ReZero.
- L'épine dorsale du luminaire prouve les contrats de formation et de gouvernance, et non la qualité de la production Gemma.
- Aucun arrêt facultatif d’ensemble de test ou budgets de réglage inégaux ne sont autorisés.
- Les noms de packages historiques et les identifiants de manifeste restent conservés pour des raisons de compatibilité et ne sont pas réécrits.
Hyphae Transformer