公正な比較
戦略は、アテンション、MLP、トークナイザー、データ、トレーニング パイプライン、および宣言された調整予算を共有します。
ソフトウェアシステム02 / 研究
仮説、予算、失敗、結果をまとめたトランスフォーマー実験。
Hyphae Transformer は、デコーダ専用トランスフォーマーの残差戦略に関する制御された研究のための、最初から作成された PyTorch フレームワークです。
アーキテクチャの調査を、スクリプトのフォルダーや選択的にレポートされた実行ではなく、再生可能なプロセスに変えます。
01 / Benefits
フレームワークの意義
ID 初期化コントロール
正規化、分割、および RMS 正規化された ReZero 戦略は、明示的な残留ゲートと軌跡を明らかにします。
型付きの研究オブジェクト
仮説、段階、予算、マニフェスト、証拠、レポートは、ファイル名によって暗示されるのではなく、構造化されます。
再開可能かつ冪等
アトミック チェックポイントと追加専用履歴により、オプティマイザー、データ ソース、および RNG 状態が復元されます。完了したマニフェストは再実行されません。
否定的な結果は生き残る
シードの失敗、決定的なインターバル、無効な試行、および停止の決定は、引き続き第一級の証拠となります。
ひもをつけたクラウド
クラウドのプロモーションには、ローカルの不変条件、明示的なコスト/ライフタイム予算、アーティファクトの取得、クリーンアップが必要です。
02 / Architecture
実験のライフサイクル
結果は順序付けられたゲートを通ってのみ進みます。中間カーブでは任意の停止は認められません。
- 01
事前登録する
質問、戦略、ベースライン、シード、データアイデンティティ、効果のしきい値、予算、停止ルール
- 02
静的検証
スキーマ、ソースとコーパスのアイデンティティ、モデルの幾何学構造、有限状態と契約のチェック
- 03
ミニパイロット
トークンまたはハードウェアの予算をすべて使い切る前に、正確性のみを考慮して実行
- 04
パイロット / 完全なローカル
ペアの観察、固定検証グリッド、チェックポイント、ゲート軌跡、失敗、および信頼区間
- 05
推進されたクラウドラング
正確なマニフェスト、ホワイトリストに登録されたランナー、ハードタイム/コストの上限、アーティファクトの取得、およびリソースの破棄
- 06
不変レポート
JSON/HTML、シードごとの証拠、評決、非クレーム、プロトコルの欠陥、および次の決定を集約
03 / Surface
研究環境の内容
コア
ReZero ゲート、デコーダー専用モデル、グループ化されたクエリ KV キャッシュ、RMSNorm、SwiGLU、RoPE、オプティマイザー、および信号診断。
研究室
型付きスキーマ、キャンペーン ランナー、レジストリ、メモリ、予算、検索、エバリュエーター、シリアル化、およびレポート。
管理されたトレーニング
凍結されたバックボーン制御は、回答、証拠の要求、および厳格な証拠ポインタ境界を使用した棄権決定に向かいます。
データと実行
チェックサム固定の WikiText-2、正規の enwiki8 範囲、ポータブル パス、コンテナ、およびホワイトリストに登録されたマニフェスト ランナー。
04 / Evidence
現在の証拠が示すこと
最も強力に促進された結果は狭いものです。特定の 30M キャンペーンの下での 1 つの残りの戦略であり、普遍的な変圧器の優位性ではありません。
ペア最終 NLL の改善
95% CI [+1.59%, +3.06%]
トークンを 1.8 NLL に削減
8つのペアの種子
24/48 レイヤーでの以前のしきい値
二次メトリック
雲量超過が維持される
プロトコルの欠陥が依然として目に見える
8 シードの 3,000 万キャンペーンは、事前に登録された実用的な基準をクリアしました。以前の徹底的な一次評決は決定的なものではなく、クラウド予算の超過は消去されるのではなく報告されています。
現在できること
- 1 つの制御されたデコーダ専用パイプラインで 5 つの残差戦略を比較します。
- 厳密なマニフェストから段階的なローカルおよびクラウド キャンペーンを実行します。
- チェックポイント、履歴、メトリクス、失敗、信頼区間、予算、レポートを取得します。
- 自己回帰生成と管理された凍結バックボーン制御トレーニングスライスをサポートします。
今後の方向性
- 観察された効果が、より大きなパラメータ、シーケンス長、コーパス、およびアーキテクチャのラング全体にわたって持続するかどうかをテストします。
- コストを拡張する前に、クラウド ランナーとアーティファクトの自動化を改善します。
- 実稼働品質を主張する前に、独立して注釈が付けられた凍結バックボーン評価を拡張します。
- 研究の記憶と出版のワークフローを、明示的な出典と十分性のポリシーによって管理します。
確立していないもの
- 製品版サービスやリゼロの普遍的な主張ではありません。
- フィクスチャのバックボーンは、プロダクション Gemma の品質ではなく、トレーニングとガバナンス契約を証明します。
- テストセットのオプションの停止や不均等な調整バジェットは許可されません。
- 過去のパッケージ名とマニフェスト識別子は互換性のために残されており、書き換えられることはありません。