四个训练阶段怎么用合成数据

四个阶段用的是同一套生成器:同一个 draw、同一个 MultiPool(一半的行耦合、6 种机制、lag_max = 256)、同一个 post、同一组单变量增强(0.4,mix / season / filter / lattice)。真正的差别只有六个开关:合成占比、每行长度、族列表与权重、duty 观测、协变量角色与效应行、协变量 pass。生成流水线本身见生成流程,原理细节见数据生成指南。

一眼对照

阶段 1阶段 2阶段 3阶段 4 / 4-long
配置simons-<规模>-stage1.yaml…-stage2.yaml…-stage3.yaml…-stage4.yaml
…-stage4-long.yaml
stage 字段stage1stage1stage2stage2
起点随机初始化阶段 1 的权重阶段 2 的权重阶段 3 的权重
每步数据synthetic_rows 行 × 32 槽,全部是合成784 个真实窗口打包成行,最后 40% 的行整行换成合成
合成行长度8192 + 512 = 8704 步(远区 16 个池化 token + 近区 144 个 token)只填近区 4096 + 512 = 4608 步,远区为 NaN
族18 个(25M 去掉 calendar,17 个)前 9 个:kernel、sarima、sde、step、spike、cauker、rhythm、wave、fpfn
duty 观测非计数行的 10%,一半为周期开关关闭
协变量角色无组比例按进度 0.1 → 0.2 → 0.4组比例固定 0.4
效应行无行比例按进度 0.01 → 0.02 → 0.04无(配置校验禁止 stage2 运行带效应行)
协变量 pass无无loss 权重 0.0250.025,另加 long pass 0.025

「进度」是本次运行已走步数 ÷ 总步数,分界点 27% 与 53%(role_phases)。阶段 3/4 的上下文课程从第 1 段开始(warm_start_stage: 1),178M / 297M 的 1024 步那一段只计入预算、不真正训练。

按模型规模

25M60M178M297M
阶段 1 行数 / 步数36 / 6500036 / 5500084 / 3600084 / 两段:23000,-ext 从 20240 接到 36000
阶段 1–2 的族17 个,权重为 178M 的 1/0.6518 个,calendar 占 35%
阶段 2 行数 / 步数36 / 1200036 / 1200048 / 750084 / 6000
效应族配比
generic / classical / energy / retail / lagged
0.2 / 0.3 / 0.2 / 0.15 / 0.150.125 / 0.1875 / 0.5 / 0.09375 / 0.09375(偏重 energy)
机理轨迹库chaos 16384 条,其余 8192 条,每 400 次调用整库重算阶段 1 同左;阶段 2 放大到 57344 / 28672 条,每 1400 次重算
阶段 3–4 上下文课程8192:0.4582, 7680:0.2355, 32768:0.30631024:0.15, 7680:0.45, 32768:0.40
阶段 3 合成占比过渡第 0 段算作纯合成,之后 2005 步从 1.0 降到 0.4同左,600 步无过渡,从第一步起就是 0.4
其他—阶段 3/4 有 shape_mix: 0.5(真实窗口按形状聚类抽样,与合成无关)

表内数字都直接读自 configs/simons-*.yaml。行数是所有 GPU 合计的每步行数;每个 rank 的池覆盖 6 × world(阶段 1/2)或 2 × world(阶段 3/4)步。

一个 batch 是怎么拼出来的

阶段 1/2:空行 → 合成池填满 → 角色与效应行 → loss stage: stage1,上下文 8192 + 512
01
空 batch
全 NaN 的行
stage_loader 产出 [本 rank 行数, 32, 8704] 的 NaN 与 ID −1
没有真实数据
不读语料,不做真实增强
上下文课程只有一段(synthetic_context 8192),所以整次运行的合成行长度不变,池只在用完时重建。
02
合成池填满
fraction = 1
base_share = 1.0,所有行都换成合成
一半耦合
耦合行约 5.5 组 / 行,不耦合行 32 个独立 ID
duty 打开
10% 的非计数行乘上开关掩码,阶段 3/4 没有
阶段 1 的合成行 = 远区 4096 步(池化成 16 个 token)+ 近区 4096 步 + 未来 512 步。合成数据在这两个阶段同时训练远区和近区。
03
角色与效应行(阶段 2)
耦合组分配角色
组比例 0.1 → 0.2 → 0.4,协变量行左移一个 patch
效应行
替换 batch 最前面 0.01 → 0.02 → 0.04 比例的行
效应行的底序列
独立的 CPU draw:12 个族 + 30% calendar,不含机理族
阶段 2 的 covariate_read_init: variate 用变量块初始化新加的单向读权重,阶段 3/4 是 keep。角色与效应行一起,教会模型使用「已知未来」的协变量行。
04
loss
next-patch 分位数
近区每个 patch 位置,9 个分位数,asinh 尺度
CPM
遮挡率 U(0, 0.4),段长 1–8 个 patch
无协变量 pass
只有主 loss
阶段 3/4:真实窗口打包 → 真实增强 → 最后 40% 行换成合成 → 主 loss + 协变量 pass stage: stage2,batch 784 个窗口
01
真实窗口
UniMax 配比
按 (domain, subdomain) → source 分层注水,带 epoch 上限
取窗
随机序列、至多 32 个随机通道、随机起点;右对齐、左补 NaN
窗口级增强
降采样 40%、拉伸 25%、<base>@<offset> 跨段拼接
数据计划按 1 − 合成占比 预算真实 token,所以后面被合成行覆盖的真实窗口已经计入。
02
真实增强
只对前面的行
前 rows − round(0.4 · rows) 行
power_warp 0.2
非负真实变量的保尺度幂变换,指数 1.25–2.5(65% 为凸,其余取倒数)
RealAugmenter
mixup 0.2、截断 0.2、幅度包络 0.2、取反 0.2、时间翻转 0.1,按 series ID 抽
03
合成替换
最后 40% 的行
整行覆盖,原有的真实窗口丢弃
只填近区
最后 4608 步;远区为 NaN
9 个族、无 duty
权重 0.14, 0.14, 0.06, 0.03, 0.03, 0.04, 0.02, 0.02, 0.02
25M / 60M 的阶段 3 开头有过渡:合成行数保持正常的 40%,靠丢掉一部分真实行把占比从 1.0 线性降到 0.4(2005 / 600 步),所以过渡步不比正常步更贵。
04
角色
组比例 0.4
与阶段 2 末段一致,不再分段
截断点平移
未来截断步加上远区长度 far_offset
05
loss + 协变量 pass
主 loss
同阶段 1/2:next-patch 分位数 + CPM
协变量 pass × 0.025
synthetic 0.63 / sibling 0.25 / real 0.12,独立的 loader
long pass × 0.025(阶段 4)
只用真实协变量语料,历史 2048 / 4096
协变量 pass 的 synthetic 窗口以真实训练语料为底序列,合成的是协变量与效应(effects.synthetic);sibling 从真实多变量行里取一个通道当目标、其余当协变量。

一行合成数据长什么样

下面是 plan(default_rng(9), 1, 16, 全部机制, 256) 加 RolePlanner(组比例 0.4)抽出的一行真实样例,32 个槽分成 4 组。颜色表示组,C 是协变量,R 是观测到的根(仍是目标),t 是普通目标,底部灰条表示该目标有末端遮挡块。

t
t
t
t
C
t
t
C
t
C
t
C
R
C
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
func · 12 槽 · 无根 → 按比例抽 4 个协变量;目标末端遮挡 13 个 patch;2 个协变量有未来截断
lag · 3 槽 · 2 根
coint · 7 槽 · 无角色
mix · 10 槽 · 无角色

lag 组的两个根分别以 0.8 的概率成为协变量,这里第 2 个根被选中、第 1 个仍是目标;第 3 个成员是滞后跟随者,是普通目标。coint 与 mix 两组没抽中角色(组比例 0.4),所有成员都是目标,做的是普通的多变量联合预测。不耦合的行则是 32 个独立 ID,每槽一个单变量预测任务。

同一个合成槽在两类阶段里的时间布局:

阶段 1/2
远区 4096 步 → 16 个池化 token
近区 4096 步 → 128 个 token
未来 512 → 16
阶段 3/4
远区 3584 或 28672 步:合成行全是 NaN(真实行在这里有数据)
近区 4096 步:合成
未来 512:合成

示意图不按比例。阶段 3/4 的远区长度由当前上下文段决定:7680 步上下文是 3584 步(14 个 token),32768 步上下文是 28672 步(112 个 token)。

协变量角色与效应行的进度

进度角色组比例效应行比例适用阶段
[0, 27%)0.10.01阶段 2
[27%, 53%)0.20.02阶段 2
[53%, 100%]0.40.04阶段 2
全程0.40阶段 3 / 4

角色只分配给至少 2 个成员、且没有被时间翻转的耦合组。谁当协变量:lag、event、带根的 func 让根成员各以 0.8 的概率成为协变量;其他机制(包括 identity,此时协变量是纯干扰项)每个成员以 U(0.2, 0.5) 的比例。至少留 1 个目标、最多 8 个协变量;50% 的角色组给目标加 1–16 个 patch 的末端遮挡;15% 的协变量只知道到 [0.75L, L) 的某一步。

五个效应族

族造的是什么lead-lag 与时间相关的部分
generic8 类协变量:预报、天气、促销、关闭、价格、排班、设定值、干扰项,带交互、对数模式与切换预报误差随提前量增长(_issue);周期 70% 取底序列的 FFT 峰
classicalF0–F9:传递函数、干预、动态回归、天气-负荷 / 光伏 / 风、营销(Bass / adstock / 价格)、容量排队、交互、发布的预报传递函数延迟至多 64 步;干预带前导与回落;freq_label + Cal(freq),t0 ∈ [0, 1e6)
energy负荷、光伏、风电、电价、电价档,以及 TSO 预报每天 24 / 48 / 96 / 288 步;发布时刻 6–12 点,D-1 / D-2,latest 或 archive 两种取法
retailSCAN*PRO 式的乘性提升(上限 4):促销段的降价、促销标志、40% 有促销后回落,以及干扰项50% 是带星期效应的日数据,50% 是带年周期(52)的周数据
lagged1–8 个协变量,25% 是干扰项;阈值、差分、tanh 等变换30% 无滞后,否则滞后 LogU(1, 512) 步;10% 叠一段负向平移,提前 1–32 步

每组预测长度 H 取自 {1, 2, 3, 4, 6, 8, 12, 16} 个 patch,目标最后 H 步就是末端遮挡块;40% 的组做左截断,观测长度 LogU(max(1024, H + 256), L);30% 的目标取反。

协变量 pass(阶段 3/4)

参数主 pass(阶段 3/4)long pass(阶段 4)
loss 权重0.0250.025
窗口来源synthetic 0.63 / sibling 0.25 / real 0.12real 1.0
历史长度128 / 256 / 512 / 1024 / 2048 / 4096,权重 0.1 / 0.15 / 0.2 / 0.2 / 0.2 / 0.152048 / 4096 各半,远区池化 token
预测长度 Hsynthetic / sibling:{1, 2, 3, 4, 6, 8, 12, 16} × 32;real:按 freq 由 horizon_for 定同左
协变量丢弃15% 全丢、15% 逐个丢5% 全丢
目标变换20% 对非负目标开方、30% 取反同左
其他20% 不做拟合;历史部分 loss 权重 0.1;每批约 4096 token,至多 128 个窗口每批约 2736 token
三个容易误解的地方

① 「40% 合成」指的是打包后的行,不是窗口数,也不是 token 数。784 个真实窗口先打包,最后 40% 的行被整行覆盖,落在里面的真实窗口直接丢弃;数据计划已经按 1 − 0.4 预算过真实 token。
② 阶段 3/4 的合成数据不训练远区:合成行只有近区 4608 步,远区全是 NaN。远区的池化 token 只在阶段 1/2 见过合成数据。
③ 效应行只在阶段 2:配置校验禁止 stage: stage2 的运行带 effect_share。阶段 3/4 改用协变量 pass,而它的 synthetic 窗口是在真实底序列上合成协变量与效应,不是纯合成序列。

复现图与实测数字

# 文档里的四张图(CPU 约 20 秒)
PYTHONPATH=src python docs/synth/make_figures.py

# 组大小、机制占比、lag 的 τ 分布:见「数据生成指南」第 9 节

来源:configs/simons-{25m,60m,178m,297m}-stage{1,2,3,4}*.yaml、 src/simons/training/{trainer,schedule,config}.py、src/simons/training/covariates/{roles,stream,windows}.py、 src/simons/synth/covariates/。「一行合成数据」是 plan 与 RolePlanner.plan_pool 在种子 9 下的实际输出。 阶段的含义与运行方式见 Simons 仓库的 docs/TRAINING.md。