Comparaciones justas
Las estrategias comparten atención, MLP, tokenizador, datos, canal de capacitación y presupuestos de ajuste declarados.
Sistema de software 02 / Investigación
Experimentos de transformers que mantienen unidas la hipótesis, el presupuesto, el fallo y el resultado.
Hyphae Transformer es un marco PyTorch desde cero para la investigación controlada de estrategias residuales en transformadores solo decodificadores.
Convierta la investigación de arquitectura en un proceso reproducible en lugar de una carpeta de scripts y ejecuciones informadas selectivamente.
01 / Benefits
Por qué importa el framework
Control inicializado por identidad
Las estrategias ReZero canónicas, divididas y normalizadas por RMS exponen puertas y trayectorias residuales explícitas.
Objetos de investigación mecanografiados
Las hipótesis, las etapas, los presupuestos, los manifiestos, las pruebas y los informes están estructurados en lugar de estar implícitos en los nombres de los archivos.
Reanudable e idempotente
Los puntos de control atómicos y los historiales de solo agregar restauran el optimizador, la fuente de datos y el estado del RNG; los manifiestos completados no se vuelven a ejecutar.
Los resultados negativos sobreviven
Las semillas fallidas, los intervalos no concluyentes, los intentos inválidos y las decisiones de parada siguen siendo pruebas de primera clase.
Nube con correa
La promoción de la nube requiere invariantes locales, un presupuesto explícito de costo/vida útil, recuperación de artefactos y limpieza.
02 / Architecture
Ciclo de vida del experimento
Un resultado avanza sólo a través de puertas ordenadas. Las curvas intermedias no autorizan paradas opcionales.
- 01
Preinscribirse
Pregunta, estrategia, línea de base, semillas, identidad de datos, umbral de efecto, presupuestos y reglas de parada
- 02
Validación estática
Esquemas, identidad de fuente y corpus, geometría de modelo, comprobaciones de estados finitos y contratos.
- 03
Minipiloto
Ejecución solo para corrección antes de gastar todo el presupuesto de token o hardware
- 04
Piloto/local completo
Observaciones pareadas, cuadrícula de validación fija, puntos de control, trayectorias de puerta, fallas e intervalos de confianza
- 05
Escalón de nube promocionado
Manifiesto exacto, corredor incluido en la lista permitida, límite de costo/tiempo difícil, recuperación de artefactos y destrucción de recursos
- 06
Informe inmutable
JSON/HTML agregado, evidencia por semilla, veredicto, no reclamaciones, defectos de protocolo y próxima decisión
03 / Surface
Lo que contiene el laboratorio
Centro
Puertas ReZero, modelo solo decodificador, cachés KV de consultas agrupadas, RMSNorm, SwiGLU, RoPE, optimizadores y diagnóstico de señales.
Laboratorio
Esquemas mecanografiados, corredor de campaña, registro, memoria, presupuestos, búsqueda, evaluador, serialización e informes.
Entrenamiento gobernado
Cabezales de control de columna congelada para decisiones de respuesta, solicitud de evidencia y abstención con estrictos límites de evidencia.
Datos y ejecución
WikiText-2 fijado con suma de comprobación, rangos canónicos enwiki8, rutas portátiles, contenedores y un ejecutor de manifiesto incluido en la lista de permitidos.
04 / Evidence
Lo que dice la evidencia actual
El resultado más fuerte promocionado es estrecho: una estrategia residual bajo una campaña específica de 30M, no la superioridad universal del transformador.
mejora final emparejada-NLL
95% CI [+1.59%, +3.06%]
reducción simbólica a 1,8 NLL
ocho semillas emparejadas
umbral anterior en 24/48 capas
métrica secundaria
Se mantiene el desbordamiento de la capa de nubes
El defecto del protocolo permanece visible.
La campaña 30M de ocho cabezas de serie superó su umbral práctico prerregistrado. Los veredictos primarios anteriores no fueron concluyentes y el exceso del presupuesto de la nube se informa en lugar de borrarse.
Lo que hace hoy
- Compara cinco estrategias residuales bajo un canal controlado de solo decodificador.
- Ejecuta campañas preparadas locales y en la nube a partir de manifiestos estrictos.
- Captura puntos de control, historiales, métricas, fallas, intervalos de confianza, presupuestos e informes.
- Admite generación autorregresiva y una porción de entrenamiento de control de columna vertebral congelada gobernada.
Lo que pretende hacer
- Pruebe si los efectos observados persisten en parámetros más grandes, longitud de secuencia, corpus y escalones de arquitectura.
- Mejore la automatización de artefactos y corredores de nube antes de aumentar los costos.
- Ampliar la evaluación de la columna vertebral congelada anotada de forma independiente antes de cualquier reclamo de calidad de producción.
- Mantener la memoria de investigación y los flujos de trabajo de publicación regidos por políticas explícitas de fuente y suficiencia.
Lo que no demuestra
- No es un servicio de modelo de producción ni un reclamo universal para ReZero.
- La columna vertebral del partido demuestra los contratos de formación y gobernanza, no la calidad de la producción.
- No se permiten paradas opcionales del conjunto de pruebas ni presupuestos de ajuste desiguales.
- Los nombres de paquetes históricos y los identificadores de manifiesto permanecen por compatibilidad y no se reescriben.
Hyphae Transformer