Confronti onesti
Le strategie condividono attenzione, MLP, tokenizzatore, dati, pipeline di formazione e budget di ottimizzazione dichiarati.
Sistema software 02 / Ricerca
Esperimenti sui trasformatori che tengono insieme ipotesi, budget, fallimento e risultato.
Hyphae Transformer è un framework PyTorch creato da zero per la ricerca controllata sulle strategie residue nei trasformatori solo decodificatori.
Trasforma la ricerca sull'architettura in un processo riproducibile anziché in una cartella di script ed esecuzioni segnalate selettivamente.
01 / Benefits
Perché il framework conta
Controllo inizializzato dall'identità
Le strategie ReZero canoniche, divise e normalizzate con RMS espongono porte e traiettorie residue esplicite.
Oggetti di ricerca tipizzati
Ipotesi, fasi, budget, manifesti, prove e rapporti sono strutturati anziché impliciti nei nomi dei file.
Riprendibile e idempotente
I checkpoint atomici e le cronologie di sola aggiunta ripristinano l'ottimizzatore, l'origine dati e lo stato RNG; i manifest completati non vengono eseguiti nuovamente.
I risultati negativi sopravvivono
Semi falliti, intervalli inconcludenti, tentativi non validi e decisioni di arresto rimangono prove di prima classe.
Nuvola al guinzaglio
La promozione del cloud richiede invarianti locali, un budget costo/durata esplicito, recupero degli artefatti e pulizia.
02 / Architecture
Ciclo di vita dell’esperimento
Un risultato avanza solo attraverso i cancelli ordinati. Le curve intermedie non autorizzano arresti facoltativi.
- 01
Preregistrati
Domanda, strategia, linea di base, semi, identità dei dati, soglia di effetto, budget e regole di arresto
- 02
Convalida statica
Schemi, identità di sorgente e corpus, geometria del modello, verifiche degli stati finiti e contrattuali
- 03
Mini-pilota
Eseguire solo la correttezza prima di spendere l'intero token o il budget hardware
- 04
Pilota/locale completo
Osservazioni accoppiate, griglia di validazione fissa, checkpoint, traiettorie di gate, guasti e intervalli di confidenza
- 05
Ramo cloud promosso
Manifesto esatto, corridore nella lista consentita, limite di tempo/costo, recupero degli artefatti e distruzione delle risorse
- 06
Rapporto immutabile
JSON/HTML aggregato, prove per seed, verdetto, mancate rivendicazioni, difetti di protocollo e decisione successiva
03 / Surface
Contenuto del laboratorio
Nucleo
Gate ReZero, modello solo decoder, cache KV con query raggruppate, RMSNorm, SwiGLU, RoPE, ottimizzatori e diagnostica del segnale.
Laboratorio
Schemi digitati, runner della campagna, registro, memoria, budget, ricerca, valutatore, serializzazione e report.
Formazione governata
Il controllo a struttura congelata si dirige verso le decisioni di risposta, richiesta di prova e astensione con rigorosi limiti di puntatore di prova.
Dati ed esecuzione
WikiText-2 con checksum aggiunto, intervalli enwiki8 canonici, percorsi portatili, contenitori e un runner manifest inserito nella lista consentita.
04 / Evidence
Cosa dice l’evidenza attuale
Il risultato più forte promosso è limitato: una strategia residua nell’ambito di una specifica campagna di 30 milioni, non una superiorità universale del trasformatore.
miglioramento NLL finale abbinato
95% CI [+1.59%, +3.06%]
riduzione del gettone a 1,8 NLL
otto semi accoppiati
soglia precedente a 24/48 strati
metrica secondaria
superamento della copertura nuvolosa mantenuto
il difetto del protocollo rimane visibile
La campagna 30M a otto teste di serie ha superato la soglia pratica preregistrata. I precedenti verdetti primari sono rimasti inconcludenti e il superamento del budget per il cloud viene segnalato anziché cancellato.
Cosa fa oggi
- Confronta cinque strategie residue nell'ambito di un'unica pipeline controllata basata solo su decodificatore.
- Esegue campagne locali e cloud organizzate da manifest rigorosi.
- Acquisisce checkpoint, cronologie, metriche, errori, intervalli di confidenza, budget e report.
- Supporta la generazione autoregressiva e una sezione di addestramento al controllo della dorsale congelata governata.
Cosa intende fare
- Testare se gli effetti osservati persistono su parametri più ampi, lunghezza di sequenza, corpus e rami di architettura.
- Migliora l'automazione del cloud runner e degli artefatti prima di ridimensionare i costi.
- Espandi la valutazione del frozen backbone con annotazioni indipendenti prima di qualsiasi dichiarazione sulla qualità della produzione.
- Mantenere la memoria della ricerca e i flussi di lavoro di pubblicazione regolati da politiche esplicite di fonti e sufficienza.
Cosa non stabilisce
- Non è un servizio modello di produzione o una rivendicazione universale per ReZero.
- L'ossatura portante degli infissi dimostra contratti di formazione e governance, non produzione di qualità Gemma.
- Non sono consentiti arresti facoltativi del set di test o budget di ottimizzazione non uguali.
- I nomi storici dei pacchetti e gli identificatori manifest rimangono per compatibilità e non vengono riscritti.
Hyphae Transformer