Comparações justas
As estratégias compartilham atenção, MLP, tokenizador, dados, pipeline de treinamento e orçamentos de ajuste declarados.
Sistema de software 02 / Pesquisa
Experimentos transformadores que mantêm hipótese, orçamento, falha e resultado juntos.
Hyphae Transformer é uma estrutura PyTorch do zero para pesquisa controlada sobre estratégias residuais em transformadores somente decodificadores.
Transforme a pesquisa de arquitetura em um processo reproduzível, em vez de uma pasta de scripts e execuções relatadas seletivamente.
01 / Benefits
Por que o framework importa
Controle inicializado por identidade
Estratégias ReZero canônicas, divididas e normalizadas por RMS expõem portas e trajetórias residuais explícitas.
Objetos de pesquisa digitados
Hipóteses, etapas, orçamentos, manifestos, evidências e relatórios são estruturados e não implícitos em nomes de arquivos.
Resumível e idempotente
Pontos de verificação atômicos e históricos somente anexados restauram o otimizador, a fonte de dados e o estado do RNG; manifestos concluídos não são executados novamente.
Resultados negativos sobrevivem
Sementes fracassadas, intervalos inconclusivos, tentativas inválidas e decisões de interrupção permanecem evidências de primeira classe.
Nuvem com coleira
A promoção da nuvem requer invariantes locais, um orçamento explícito de custo/vida útil, recuperação de artefatos e limpeza.
02 / Architecture
Ciclo de vida do experimento
Um resultado avança apenas através de portas ordenadas. As curvas intermediárias não autorizam paradas opcionais.
- 01
Pré-registro
Pergunta, estratégia, linha de base, sementes, identidade de dados, limite de efeito, orçamentos e regras de parada
- 02
Validação estática
Esquemas, identidade de origem e corpus, geometria do modelo, estado finito e verificações de contrato
- 03
Minipiloto
Execute apenas a correção antes de gastar todo o token ou orçamento de hardware
- 04
Piloto / local completo
Observações emparelhadas, grade de validação fixa, pontos de verificação, trajetórias de portas, falhas e intervalos de confiança
- 05
Degrau de nuvem promovido
Manifesto exato, executor permitido, tempo difícil/limite de custo, recuperação de artefato e destruição de recursos
- 06
Relatório imutável
Agregar JSON/HTML, evidências por semente, veredicto, não reivindicações, defeitos de protocolo e próxima decisão
03 / Surface
O que o laboratório contém
Essencial
Portas ReZero, modelo somente decodificador, caches KV de consulta agrupada, RMSNorm, SwiGLU, RoPE, otimizadores e diagnóstico de sinal.
Laboratório
Esquemas digitados, executor de campanha, registro, memória, orçamentos, pesquisa, avaliador, serialização e relatórios.
Treinamento governado
Cabeças de controle de backbone congelado para respostas, solicitações de evidências e decisões de abstenção com limites estritos de ponteiros de evidências.
Dados e execução
WikiText-2 fixado por soma de verificação, intervalos enwiki8 canônicos, caminhos portáteis, contêineres e um executor de manifesto permitido.
04 / Evidence
O que a evidência atual diz
O resultado mais forte promovido é estreito: uma estratégia residual sob uma campanha específica de 30M, e não uma superioridade universal do transformador.
melhoria NLL final emparelhada
95% CI [+1.59%, +3.06%]
redução de token para 1,8 NLL
oito sementes emparelhadas
limite anterior em 24/48 camadas
métrica secundária
excesso de limite de nuvem retido
o defeito do protocolo permanece visível
A campanha 30M de oito sementes ultrapassou o limite prático pré-registrado. Os veredictos primários anteriores e detalhados permaneceram inconclusivos, e o estouro do orçamento da nuvem é relatado em vez de apagado.
O que faz hoje
- Compara cinco estratégias residuais em um pipeline controlado apenas por decodificador.
- Executa campanhas locais e na nuvem a partir de manifestos rígidos.
- Captura pontos de verificação, históricos, métricas, falhas, intervalos de confiança, orçamentos e relatórios.
- Suporta geração autoregressiva e uma fatia de treinamento de controle de backbone congelado governada.
O que pretende fazer
- Teste se os efeitos observados persistem em parâmetros maiores, comprimento de sequência, corpus e degraus de arquitetura.
- Melhore o cloud runner e a automação de artefatos antes de dimensionar os custos.
- Expanda a avaliação de backbone congelado anotada de forma independente antes de qualquer reclamação de qualidade de produção.
- Mantenha a memória de pesquisa e os fluxos de trabalho de publicação regidos por políticas explícitas de fonte e suficiência.
O que não estabelece
- Não é um serviço de modelo de produção ou uma reivindicação universal para ReZero.
- A espinha dorsal do equipamento comprova contratos de treinamento e governança, não a qualidade da produção Gemma.
- Nenhuma parada opcional do conjunto de testes ou orçamentos de ajuste desiguais são permitidos.
- Os nomes históricos dos pacotes e os identificadores de manifesto permanecem para fins de compatibilidade e não são reescritos.
Hyphae Transformer