四个训练阶段怎么用合成数据
四个阶段用的是同一套生成器:同一个 draw、同一个 MultiPool(一半的行耦合、6 种机制、lag_max = 256)、同一个 post、同一组单变量增强(0.4,mix / season / filter / lattice)。真正的差别只有六个开关:合成占比、每行长度、族列表与权重、duty 观测、协变量角色与效应行、协变量 pass。生成流水线本身见生成流程,原理细节见数据生成指南。
一眼对照
| 阶段 1 | 阶段 2 | 阶段 3 | 阶段 4 / 4-long | |
|---|---|---|---|---|
| 配置 | simons-<规模>-stage1.yaml | …-stage2.yaml | …-stage3.yaml | …-stage4.yaml…-stage4-long.yaml |
stage 字段 | stage1 | stage1 | stage2 | stage2 |
| 起点 | 随机初始化 | 阶段 1 的权重 | 阶段 2 的权重 | 阶段 3 的权重 |
| 每步数据 | synthetic_rows 行 × 32 槽,全部是合成 | 784 个真实窗口打包成行,最后 40% 的行整行换成合成 | ||
| 合成行长度 | 8192 + 512 = 8704 步(远区 16 个池化 token + 近区 144 个 token) | 只填近区 4096 + 512 = 4608 步,远区为 NaN | ||
| 族 | 18 个(25M 去掉 calendar,17 个) | 前 9 个:kernel、sarima、sde、step、spike、cauker、rhythm、wave、fpfn | ||
duty 观测 | 非计数行的 10%,一半为周期开关 | 关闭 | ||
| 协变量角色 | 无 | 组比例按进度 0.1 → 0.2 → 0.4 | 组比例固定 0.4 | |
| 效应行 | 无 | 行比例按进度 0.01 → 0.02 → 0.04 | 无(配置校验禁止 stage2 运行带效应行) | |
| 协变量 pass | 无 | 无 | loss 权重 0.025 | 0.025,另加 long pass 0.025 |
「进度」是本次运行已走步数 ÷ 总步数,分界点 27% 与 53%(role_phases)。阶段 3/4 的上下文课程从第 1 段开始(warm_start_stage: 1),178M / 297M 的 1024 步那一段只计入预算、不真正训练。
按模型规模
| 25M | 60M | 178M | 297M | |
|---|---|---|---|---|
| 阶段 1 行数 / 步数 | 36 / 65000 | 36 / 55000 | 84 / 36000 | 84 / 两段:23000,-ext 从 20240 接到 36000 |
| 阶段 1–2 的族 | 17 个,权重为 178M 的 1/0.65 | 18 个,calendar 占 35% | ||
| 阶段 2 行数 / 步数 | 36 / 12000 | 36 / 12000 | 48 / 7500 | 84 / 6000 |
| 效应族配比 generic / classical / energy / retail / lagged | 0.2 / 0.3 / 0.2 / 0.15 / 0.15 | 0.125 / 0.1875 / 0.5 / 0.09375 / 0.09375(偏重 energy) | ||
| 机理轨迹库 | chaos 16384 条,其余 8192 条,每 400 次调用整库重算 | 阶段 1 同左;阶段 2 放大到 57344 / 28672 条,每 1400 次重算 | ||
| 阶段 3–4 上下文课程 | 8192:0.4582, 7680:0.2355, 32768:0.3063 | 1024:0.15, 7680:0.45, 32768:0.40 | ||
| 阶段 3 合成占比过渡 | 第 0 段算作纯合成,之后 2005 步从 1.0 降到 0.4 | 同左,600 步 | 无过渡,从第一步起就是 0.4 | |
| 其他 | — | 阶段 3/4 有 shape_mix: 0.5(真实窗口按形状聚类抽样,与合成无关) | ||
表内数字都直接读自 configs/simons-*.yaml。行数是所有 GPU 合计的每步行数;每个 rank 的池覆盖 6 × world(阶段 1/2)或 2 × world(阶段 3/4)步。
一个 batch 是怎么拼出来的
stage_loader 产出 [本 rank 行数, 32, 8704] 的 NaN 与 ID −1synthetic_context 8192),所以整次运行的合成行长度不变,池只在用完时重建。base_share = 1.0,所有行都换成合成draw:12 个族 + 30% calendar,不含机理族covariate_read_init: variate 用变量块初始化新加的单向读权重,阶段 3/4 是 keep。角色与效应行一起,教会模型使用「已知未来」的协变量行。<base>@<offset> 跨段拼接1 − 合成占比 预算真实 token,所以后面被合成行覆盖的真实窗口已经计入。rows − round(0.4 · rows) 行far_offsetsynthetic 窗口以真实训练语料为底序列,合成的是协变量与效应(effects.synthetic);sibling 从真实多变量行里取一个通道当目标、其余当协变量。一行合成数据长什么样
下面是 plan(default_rng(9), 1, 16, 全部机制, 256) 加 RolePlanner(组比例 0.4)抽出的一行真实样例,32 个槽分成 4 组。颜色表示组,C 是协变量,R 是观测到的根(仍是目标),t 是普通目标,底部灰条表示该目标有末端遮挡块。
lag 组的两个根分别以 0.8 的概率成为协变量,这里第 2 个根被选中、第 1 个仍是目标;第 3 个成员是滞后跟随者,是普通目标。coint 与 mix 两组没抽中角色(组比例 0.4),所有成员都是目标,做的是普通的多变量联合预测。不耦合的行则是 32 个独立 ID,每槽一个单变量预测任务。
同一个合成槽在两类阶段里的时间布局:
示意图不按比例。阶段 3/4 的远区长度由当前上下文段决定:7680 步上下文是 3584 步(14 个 token),32768 步上下文是 28672 步(112 个 token)。
协变量角色与效应行的进度
| 进度 | 角色组比例 | 效应行比例 | 适用阶段 |
|---|---|---|---|
| [0, 27%) | 0.1 | 0.01 | 阶段 2 |
| [27%, 53%) | 0.2 | 0.02 | 阶段 2 |
| [53%, 100%] | 0.4 | 0.04 | 阶段 2 |
| 全程 | 0.4 | 0 | 阶段 3 / 4 |
角色只分配给至少 2 个成员、且没有被时间翻转的耦合组。谁当协变量:lag、event、带根的 func 让根成员各以 0.8 的概率成为协变量;其他机制(包括 identity,此时协变量是纯干扰项)每个成员以 U(0.2, 0.5) 的比例。至少留 1 个目标、最多 8 个协变量;50% 的角色组给目标加 1–16 个 patch 的末端遮挡;15% 的协变量只知道到 [0.75L, L) 的某一步。
五个效应族
| 族 | 造的是什么 | lead-lag 与时间相关的部分 |
|---|---|---|
generic | 8 类协变量:预报、天气、促销、关闭、价格、排班、设定值、干扰项,带交互、对数模式与切换 | 预报误差随提前量增长(_issue);周期 70% 取底序列的 FFT 峰 |
classical | F0–F9:传递函数、干预、动态回归、天气-负荷 / 光伏 / 风、营销(Bass / adstock / 价格)、容量排队、交互、发布的预报 | 传递函数延迟至多 64 步;干预带前导与回落;freq_label + Cal(freq),t0 ∈ [0, 1e6) |
energy | 负荷、光伏、风电、电价、电价档,以及 TSO 预报 | 每天 24 / 48 / 96 / 288 步;发布时刻 6–12 点,D-1 / D-2,latest 或 archive 两种取法 |
retail | SCAN*PRO 式的乘性提升(上限 4):促销段的降价、促销标志、40% 有促销后回落,以及干扰项 | 50% 是带星期效应的日数据,50% 是带年周期(52)的周数据 |
lagged | 1–8 个协变量,25% 是干扰项;阈值、差分、tanh 等变换 | 30% 无滞后,否则滞后 LogU(1, 512) 步;10% 叠一段负向平移,提前 1–32 步 |
每组预测长度 H 取自 {1, 2, 3, 4, 6, 8, 12, 16} 个 patch,目标最后 H 步就是末端遮挡块;40% 的组做左截断,观测长度 LogU(max(1024, H + 256), L);30% 的目标取反。
协变量 pass(阶段 3/4)
| 参数 | 主 pass(阶段 3/4) | long pass(阶段 4) |
|---|---|---|
| loss 权重 | 0.025 | 0.025 |
| 窗口来源 | synthetic 0.63 / sibling 0.25 / real 0.12 | real 1.0 |
| 历史长度 | 128 / 256 / 512 / 1024 / 2048 / 4096,权重 0.1 / 0.15 / 0.2 / 0.2 / 0.2 / 0.15 | 2048 / 4096 各半,远区池化 token |
| 预测长度 H | synthetic / sibling:{1, 2, 3, 4, 6, 8, 12, 16} × 32;real:按 freq 由 horizon_for 定 | 同左 |
| 协变量丢弃 | 15% 全丢、15% 逐个丢 | 5% 全丢 |
| 目标变换 | 20% 对非负目标开方、30% 取反 | 同左 |
| 其他 | 20% 不做拟合;历史部分 loss 权重 0.1;每批约 4096 token,至多 128 个窗口 | 每批约 2736 token |
① 「40% 合成」指的是打包后的行,不是窗口数,也不是 token 数。784 个真实窗口先打包,最后 40% 的行被整行覆盖,落在里面的真实窗口直接丢弃;数据计划已经按 1 − 0.4 预算过真实 token。
② 阶段 3/4 的合成数据不训练远区:合成行只有近区 4608 步,远区全是 NaN。远区的池化 token 只在阶段 1/2 见过合成数据。
③ 效应行只在阶段 2:配置校验禁止 stage: stage2 的运行带 effect_share。阶段 3/4 改用协变量 pass,而它的 synthetic 窗口是在真实底序列上合成协变量与效应,不是纯合成序列。
复现图与实测数字
# 文档里的四张图(CPU 约 20 秒)
PYTHONPATH=src python docs/synth/make_figures.py
# 组大小、机制占比、lag 的 τ 分布:见「数据生成指南」第 9 节
来源:configs/simons-{25m,60m,178m,297m}-stage{1,2,3,4}*.yaml、
src/simons/training/{trainer,schedule,config}.py、src/simons/training/covariates/{roles,stream,windows}.py、
src/simons/synth/covariates/。「一行合成数据」是 plan 与 RolePlanner.plan_pool 在种子 9 下的实际输出。
阶段的含义与运行方式见 Simons 仓库的 docs/TRAINING.md。