공정한 비교
전략은 관심, MLP, 토크나이저, 데이터, 교육 파이프라인 및 선언된 튜닝 예산을 공유합니다.
소프트웨어시스템02 / 연구
가설, 예산, 실패, 결과를 함께 유지하는 변압기 실험입니다.
Hyphae Transformer는 디코더 전용 변환기의 잔여 전략에 대한 통제된 연구를 위한 처음부터 끝까지 PyTorch 프레임워크입니다.
아키텍처 연구를 스크립트 폴더와 선택적으로 보고되는 실행이 아닌 재생 가능한 프로세스로 전환하세요.
01 / Benefits
프레임워크의 의미
ID 초기화 제어
정식, 분할 및 RMS 정규화 ReZero 전략은 명시적인 잔여 게이트 및 궤적을 노출합니다.
유형화된 연구 객체
가설, 단계, 예산, 매니페스트, 증거 및 보고서는 파일 이름으로 암시되지 않고 구조화됩니다.
재개 가능 및 멱등성
원자성 체크포인트 및 추가 전용 기록은 최적화 프로그램, 데이터 소스 및 RNG 상태를 복원합니다. 완료된 매니페스트는 다시 실행되지 않습니다.
부정적인 결과는 살아남는다
실패한 시드, 결론이 나지 않는 간격, 유효하지 않은 시도 및 중지 결정은 여전히 일급 증거로 남아 있습니다.
가죽 끈으로 구름
클라우드 프로모션에는 로컬 불변성, 명시적인 비용/수명 예산, 아티팩트 검색 및 정리가 필요합니다.
02 / Architecture
실험 수명주기
결과는 주문된 게이트를 통해서만 진행됩니다. 중간 곡선은 선택적 중지를 승인하지 않습니다.
- 01
사전등록
질문, 전략, 기준선, 시드, 데이터 ID, 효과 임계값, 예산 및 중지 규칙
- 02
정적 검증
스키마, 소스 및 코퍼스 ID, 모델 형상, 유한 상태 및 계약 확인
- 03
미니 파일럿
전체 토큰 또는 하드웨어 예산을 지출하기 전에 정확성만 실행합니다.
- 04
파일럿/전체 로컬
쌍 관측, 고정 검증 그리드, 체크포인트, 게이트 궤적, 실패 및 신뢰 구간
- 05
승격된 클라우드 단계
정확한 매니페스트, 허용 목록 실행기, 하드 타임/비용 한도, 아티팩트 검색 및 리소스 파괴
- 06
불변 보고서
JSON/HTML, 시드별 증거, 판결, 비청구, 프로토콜 결함 및 다음 결정을 집계합니다.
03 / Surface
연구실 구성
핵심
ReZero 게이트, 디코더 전용 모델, 그룹화된 쿼리 KV 캐시, RMSNorm, SwiGLU, RoPE, 최적화 프로그램 및 신호 진단.
랩
형식화된 스키마, 캠페인 실행기, 레지스트리, 메모리, 예산, 검색, 평가자, 직렬화 및 보고서.
관리형 교육
엄격한 증거 포인터 범위를 통해 답변, 증거 요청 및 기권 결정을 위한 고정 백본 제어 헤드입니다.
데이터 및 실행
체크섬 고정 WikiText-2, 표준 enwiki8 범위, 휴대용 경로, 컨테이너 및 허용 목록에 있는 매니페스트 실행기.
04 / Evidence
현재 증거가 말하는 것
가장 강력하게 홍보된 결과는 좁습니다. 즉, 보편적인 변압기 우월성이 아닌 특정 30M 캠페인에서 하나의 잔여 전략입니다.
쌍을 이루는 최종-NLL 개선
95% CI [+1.59%, +3.06%]
토큰을 1.8 NLL로 축소
여덟 쌍의 씨앗
24/48 레이어의 이전 임계값
보조 측정항목
클라우드 캡 오버런이 유지됨
프로토콜 결함이 여전히 표시됨
8개 시드 30M 캠페인은 사전 등록된 실제 기준점을 통과했습니다. 이전의 심층적 기본 평결은 결론이 나지 않았으며 클라우드 예산 초과 실행은 삭제되지 않고 보고되었습니다.
현재 기능
- 하나의 제어된 디코더 전용 파이프라인에서 5가지 잔여 전략을 비교합니다.
- 엄격한 매니페스트를 통해 단계별 로컬 및 클라우드 캠페인을 실행합니다.
- 체크포인트, 기록, 지표, 실패, 신뢰 구간, 예산 및 보고서를 캡처합니다.
- 자동 회귀 생성 및 관리되는 고정 백본 제어 훈련 슬라이스를 지원합니다.
향후 방향
- 더 큰 매개변수, 시퀀스 길이, 코퍼스 및 아키텍처 단계에서 관찰된 효과가 지속되는지 테스트합니다.
- 비용을 확장하기 전에 Cloud Runner 및 아티팩트 자동화를 개선하세요.
- 생산 품질을 주장하기 전에 독립적으로 주석이 달린 고정 백본 평가를 확장합니다.
- 명시적인 출처 및 충분성 정책에 따라 연구 메모리 및 출판 워크플로를 유지합니다.
그것이 확립하지 않은 것
- 생산 모델 서비스나 ReZero에 대한 보편적 청구가 아닙니다.
- 설비 백본은 생산 Gemma 품질이 아닌 교육 및 거버넌스 계약을 입증합니다.
- 테스트 세트 선택적 중지 또는 불평등한 튜닝 예산은 허용되지 않습니다.
- 과거 패키지 이름과 매니페스트 식별자는 호환성을 위해 유지되며 다시 작성되지 않습니다.