Simons 合成数据流水线

合成数据在训练进程里现生成、现使用:18 个单变量族按权重批量生成并做一轮增强,池里一半的行再耦合成共享 series ID 的多变量组,叠加观测效应后替换 batch 的最后若干行。没有离线数据集,没有拒绝采样,也没有时间戳。原理与参数的完整说明见数据生成指南,四个训练阶段各自怎么用见训练阶段。

先理清四个词

它们在代码和配置里都出现,指的是不同层级的东西。

词是什么谁决定数量
行(row) batch 的一行,32 个槽,每槽一条序列 WIDTH = MAX_VARIATES = 32 阶段 1/2:每步 36 / 48 / 84 行;阶段 3/4:打包后行数的 40%
组(group) 一行里共享同一 series ID 的若干槽,模型眼里的「一个多变量序列」;变量注意力只在组内 multi._group_sizes 耦合行平均约 5.5 组(实测);不耦合行 32 组,每组 1 槽
族(family) 单变量的生成方法 base.family_makers 18 个,分 6 大类
机制(mechanism) 组内序列之间依赖的构造方法 multi.MECHANISMS 6 种,每组均匀抽 1 种

配置文件的阶段编号和 stage 字段不是一回事:阶段 1、2 的 stage 都是 stage1(纯合成),阶段 3、4 是 stage2(真实数据 + 40% 合成)。本页的「阶段 N」一律指配置文件编号。

两层流程

建池是一次性的:一次 MultiPool.build 生成够用 6 × world(阶段 3/4 是 2 × world)步的全部合成序列。每一步从池里顺序取行、替换进 batch、打包、算 loss,池用完就整池重建,序列不复用。

建一个池:一批 [N, L] 序列 + series ID + 角色元数据 synth/base.py · synth/multi.py · covariates/roles.py

01–03 是单变量部分,耦合行与不耦合行共用;04–05 只作用于耦合行;06–07 作用于整个池。全部在 GPU 上批量完成(机理族的轨迹库除外,它是缓存的)。

01
族配额
base.draw
确定性拆分
每族 int(n·w/Σw) 条,余数给列表第一个族
一次 draw 供全池
不耦合行 + 成员自身序列 + driver 底料,共 extra + n + n/4 条
统一长度 full
fft_length(L + 256):阶段 1/2 是 8960,阶段 3/4 是 4900
配额不是逐条抽签,所以每个池里各族的条数几乎正好等于权重比例。多出来的 256 步是滞后预热,耦合完会裁掉,保证 τ 最大到 256 时被保留的每一步都有真实的过去。
02
族生成
base / nonstat / causal
heavy / mech / calendar
统计 / 谱 · 2
kernel sarima
非平稳 · 3
sde step spike
结构 / 因果 · 4
cauker rhythm wave fpfn
重尾 / 间歇 · 3
levy ets pulse
机理 · 5
chaos epi hydro thermal 走轨迹库;queue 现算
日历 · 1
calendar
拼接后整体 randperm、NaN 置 0、逐行 z-score,单位一律推迟到 06。机理库每进程缓存 16384(chaos)/ 8192 条长 9216 的轨迹,每被调用 400 次整库重算;取样时随机挑轨迹与通道、步长 1–4、随机起点。
03
单变量增强
augment.apply
40% 的行
70% 做 1 类、30% 做 2 类,按权重 Gumbel top-k 不放回
mix 0.35
与另外 1–2 条混合,权重 Dirichlet(1.5),50% 随时间切换
season 0.25
乘周末方波或 1–4 周期的慢正弦
filter 0.2
2–32 抽头 FIR;15% 差分、15% 累加
lattice 0.2
60% 量化、40% 下限截断
这是耦合前唯一的处理:没有按质量的拒绝采样,也没有按特征的筛选。因为它在 draw 里,耦合成员的自身序列与 driver 底料也都被增强过;mix 还会跨族混合。
04
分组与连边
multi.plan
一半的行耦合
synthetic_multi_fraction = 0.5,与不耦合行随机交错
组大小
int(LogU(2, 17)),上限 16,最后一组可能只剩 1
机制 6 选 1
均匀;单槽组强制 identity
观测到的根
lag、event、50% 的 func:前几个成员就是 driver 本身,ρ∈U(0.85, 1)
每组最多两条 driver(潜在的共同原因),每个成员最多 3 条入边,父节点可以是 driver 或组内另一个成员。根让「领先指标」本身出现在组里,阶段 2 起它们以 0.8 的概率被设为已知未来的协变量。
05
频域耦合
multi.couple
driver
族序列 / 随机游走 / 稀疏冲击 / 周期脉冲
边响应
c · e^{−iωτ} · (1−r)/(1−r·e^{−iω}),在 2·full 网格上做线性卷积
ρ 混合
√ρ · std(f(Σ 边)) + √(1−ρ) · own
两遍 combine
链最多两跳,第二遍让链式成员读到父的最终输出
耦合完裁掉前面的预热段、只留最后 L 步再 z-score。组内成员天然等长、天然对齐:所有底料来自同一次 draw 的同一网格,所以合成侧没有「原始序列长度不一致」的问题,观测长度的差异由 06 事后模拟。
06
观测效应
base.post
observe.py
组内共享
时间翻转 25%;左截断 40%,观测长度 LogU(96, L)
噪声器 30%
Poisson 计数 / 过度离散计数 / 乘性冲击 / 1% 尖峰
duty 10%
仅阶段 1/2;Markov 或周期开关
随机单位
25% 取反;30% 正值化,否则偏移 U(−3, 3);×LogU(0.01, 1e4)
空洞 10%
长 1–32 步;最后 32 步永远有观测
共享靠 post(..., group=group):每个随机量按组号索引,所以同组成员时间方向一致、观测起点一致(实测 94.9% 的多成员组首个观测步完全相同,其余是空洞恰好落在截断边界上)。计数行保持原始整数,跳过取反、偏移和缩放。
07
协变量角色
roles.RolePlanner
.plan_pool
组比例
阶段 2 按进度 0.1 → 0.2 → 0.4;阶段 3/4 固定 0.4
谁当协变量
lag / event / 带根的 func:根以 0.8;其他:比例 U(0.2, 0.5)
目标末端遮挡
50% 的角色组隐藏目标最后 1–16 个 patch
翻转组不给角色
meta * (~flip):翻转后因果方向反了
输出 [N, 3] 元数据:是否协变量、末端遮挡 patch 数、未来截断步(15% 的协变量在 [0.75L, L) 之后为 NaN)。阶段 1 没有这一步。
每一步:batch → 合成行 → 打包 → loss training/trainer.py · objective.py · packing.py

阶段 1/2 的 batch 由全 NaN 的空行组成,合成池把它们全部填满;阶段 3/4 先把 784 个真实窗口打包成行,再把最后 40% 的行整行换成合成行。

01
真实行先处理
RealAugmenter
power_warp
只作用于前面的行
rows − 合成行数,在合成池填入之前
真实增强
mixup / 截断 / 幅度包络 / 取反 / 时间翻转,power_warp 0.2
真实窗口的降采样、拉伸、跨段拼接在 Windows 取窗时就做完了。合成行不经过任何一项真实数据增强。阶段 1/2 没有这一步。
02
替换行
SyntheticMixer
.__call__ / .take
最后 round(f·rows) 行
从池里顺序取,用完整池重建
阶段 1/2:f = 1
每行 8704 步(8192 历史 + 512 未来)
阶段 3/4:f = 0.4,只填近区
最后 4608 步;远区设为 NaN,first patch 加远区偏移
被覆盖的行里原有的真实窗口直接丢弃,数据计划已按 1 − share 预算过。25M / 60M 的阶段 3 前 2005 / 600 步把占比从 1.0 线性降到 0.4:合成行数不变,丢掉部分真实行。
03
角色处理
roles.Hook.prepare
效应行(阶段 2)
按进度 0.01 → 0.02 → 0.04 的行比例替换最前面的行
部分未来
截断点之后的协变量值设为 NaN
已知未来编码
协变量行左移一个 patch;二值行缩放到 [0, 1]
左移一个 patch 后,目标 token i(预测 patch i+1)能读到协变量 patch i+1 的值,这就是「已知未来」。效应行的 ID 从 50_000_000 起,与合成组的 1_000_000 + 组号 区分。
04
打包
packing.plan
同 ID = 一个窗口
段掩码隔离不同窗口
跳过前导 NaN
读 mixer 记下的每槽首个观测 patch
288 token / 行
远区开启的阶段;左截断的短窗口可以拼在一起
05
遮挡与目标
objective.packed_loss
CPM
每行遮挡率 U(0, 0.4)、段长 1–8 个 patch;输入变 NaN、目标保留
角色组末端
目标最后 1–16 个 patch 遮挡;协变量从不遮挡
起点约束
看到首个观测 patch 之后才有目标;至少 2 个观测 patch 之后才遮挡
合成数据没有单独的任务定义,与真实数据走同一个目标。遮挡段之后的位置等价于多步预测:CPM 单段最长 8 个 patch(相邻段可以连成更长的空洞),角色组的末端遮挡最长 16 个 patch,即整个 512 步的预测长度。
06
loss
objective.pinball_parts
covariates/stream.py
9 个分位数
0.1–0.9,在每个近区 patch 位置预测下一个 patch
asinh 尺度
先按因果滑窗 loc / std(窗口 8192)归一化
协变量 pass
阶段 3/4 另加一项,权重 0.025;阶段 4 再加 long pass
协变量行不带目标,只有目标行进 loss。远区 token 不带目标。

18 个族与各自的权重

权重来自 synthetic_family_weights,各列已归一化到 100%。60M 与 297M 的阶段 1–2 与 178M 相同;25M 去掉了 calendar,其余权重是 178M 的 1/0.65 倍。

大类族方法一句话178M / 60M / 297M
阶段 1–2
25M
阶段 1–2
阶段 3–4
统计 / 谱kernelKernelSynth:周期 / GP / 白噪声 / 线性分量的加乘组合13.7%21.1%28%
sarima频域稳定 SARMA,积分、季节积分、慢包络13.7%21.1%28%
非平稳sde两状态切换 OU,时变均值与波动7.8%12.0%12%
step变点、阶梯、平台3.6%5.5%6%
spike脉冲串、锯齿、异常尖峰3.6%5.5%6%
结构 / 因果cauker随机 DAG 上的非线性组合5.2%8.0%8%
rhythm多层节律、丢拍、衰减包络2.6%4.0%4%
waveAM/FM 的正弦 / 方波 / 三角 / 锯齿2.0%3.0%4%
fpfn正趋势 × 季节 × Weibull 噪声2.0%3.0%4%
重尾 / 间歇ets新息 ETS,阻尼趋势、双季节4.4%6.8%—
levyt 新息、GARCH、跳跃1.0%1.5%—
pulse间歇发生 × 重尾量,水库与库存1.0%1.5%—
机理chaos29 个混沌 / 受迫 ODE,40% 斜积耦合1.6%2.4%—
epi随机 SEIR / SIR + 报告过程0.9%1.4%—
queuePoisson 到达、Lindley 积压0.9%1.4%—
hydro降雨-径流、积雪、地下水0.6%0.9%—
thermal两节点 RC 热模型 + 温控0.6%0.9%—
日历calendar每天步数 + 星期 / 年相位 + 节假日 + 日内曲线35%——
每个族的一个样本
每个族一条样本:draw(1, 1536, families=(族,)),不做增强也不做 post。颜色对应大类。

六种耦合机制

机制driver边延迟 τ平滑 decayρ根
identity—无——0—
mix1–2 条族序列连全部 driver,系数 N(0, 1)0无U(0.3, 0.95)无
lag1–2 条族序列40% 连组内另一成员(链式),30% 再加第二条边LogU(4, 256)60% 无,否则 LogU(1, 48)U(0.4, 0.95)有(全部 driver)
coint1–2 条随机游走(0.6)/ 漂移游走(0.4)连全部 driver,系数 ±U(0.5, 2);自身是 OU 噪声70% 为 0,否则 LogU(1, 64)无U(0.6, 0.97)无
func1 条族序列系数 1,再过 tanh / softplus / abs / clip / 量化 / hinge40% 为 0,否则 LogU(4, 256)70% 无,否则 LogU(1, 32)U(0.5, 0.95)50%
event1 条稀疏冲击(0.6)/ 周期脉冲(0.4)1 条边,30% 两条,系数 ±U(0.5, 2)80% LogU(1, 128),否则 0LogU(1, 100),总有U(0.3, 0.9)有

实测各机制占组数 16%–19%(identity 略多,因为单槽组被强制为 identity);lag 非根成员的 τ 中位数 32 步,四分位 11 / 90,上限 256。identity 组是故意的:模型要见到「同组但无关」的情况。

每种机制的一个耦合组
每种机制一个组(couple 的输出,post 之前)。为了让依赖肉眼可见,挑的是 ρ 较高的组;灰线是根序列按边的 τ 平移后的样子。训练里 ρ 低到 0.3 的组很多,依赖并不总是显眼。

观测效应:哪些在组内共享

顺序效应概率与参数组内
1时间翻转25%共享
2噪声器30%:Poisson 计数(率 LogU(0.05, 50) × 归一化值)/ 过度离散计数 / 乘性对数正态 / 1% 尖峰 ×U(3, 10),四选一逐条
3duty 开关阶段 1/2:非计数行的 10%;Markov(平均段长 LogU(4, 512))或周期开关各半逐条
4随机单位25% 取反;30% 平移到最小值 0,否则 +U(−3, 3);×LogU(0.01, 1e4);计数行跳过逐条
5左截断40%,观测长度 LogU(96, L)共享
6空洞10% 的行,起始率 LogU(0.001, 0.02),长 1–32;最后 32 步保留逐条
一个耦合组经过 post
一个 lag 组经过 post:同组共用灰色的截断区,但量级各自不同。为了看清,这里把截断概率设为 1、空洞概率设为 0.6;训练用的是 0.4 和 0.1。

时间轴、起始时间与频率

问题答案
合成序列带时间戳或 freq 吗不带。池里只有 [N, L] 的数值、series ID 和角色元数据。
模型输入有时间特征吗没有。token 只有 asinh 缩放后的值与观测标志;位置编码的周期由 periodicity.detect_periods 在数值上用 FFT 检测。
频率从哪来隐式的:PERIOD_BANK 的 24 / 168 / 48 / 96 / 288 / 7 / 365 / 52 / 12 等分别对应小时、30 分钟、15 分钟、5 分钟、日、周、月数据的自然周期;60% 的周期从库里取,40% 取 LogU(2, 700)。
有显式抽采样频率的生成器吗有,但只用于生成形状:calendar(每天 12 / 24 / 48 / 96 / 144 / 288 / 1 步)、season 增强、epi(日 / 周)、hydro(小时 / 日)、thermal(15 分钟 / 小时)、queue(每天 288 / 96 / 24)、效应族 energy 与 classical(freq_label + Cal)。
起始时间怎么定随机相位:日内偏移、星期相位 0–6、年内相位 U(0, 365.25)、t0 ∈ [0, 1e6) 等,各族各自抽。同组成员的自身序列各抽各的相位,组内没有共同日历。
真实数据呢随机窗口起点(随机起始时间)、降采样 40% 与拉伸 25%(频率增强)、时间翻转 10%。语料的 freq 只在协变量 pass 里用来挑预测长度(horizon_for)。
七条容易踩的不变量

① 同源:不耦合行的单变量序列、耦合成员的自身序列、driver 底料来自同一次 draw,族、权重、增强完全相同。
② 增强在耦合前,观测在耦合后:前者改变形状,后者改变「被看到的方式」。
③ 翻转与左截断组内共享,噪声、duty、单位、空洞逐条独立。
④ 最后 32 步永远有观测:空洞不会落在最后一个 patch 上。
⑤ 计数行保持整数:不取反、不平移、不缩放,observe 也跳过它们。
⑥ 翻转组没有协变量角色:翻转后领先指标变成了滞后指标。
⑦ 合成行不经过任何真实数据增强:RealAugmenter 与 power_warp 只作用于前 rows − 合成行数 行。

设计上的取舍

决定代码里的依据
在线生成,不落盘SyntheticMixer 的 docstring:「Replace the last round(fraction * rows) batch rows from a reusable synthetic-series pool」。池在设备上生成,用完重建,不需要存储,也不会重复。
耦合放在频域、长度取 7-smoothfft_length:「for efficient cuFFT grids」;couple:「Reuse bases round-robin to keep pool shapes fixed for FFT-plan reuse」。一次 FFT 同时完成任意延迟、指数平滑和多父求和。
两遍 combine注释「A second pass lets chain followers read their parents' outputs」。链最多两跳,所以两遍正好精确。
观测效应放在耦合之后、按组共享post 的 docstring:「group [n] shares flips/padding」。组内时间方向与观测起点必须一致,组内依赖才不被破坏。
翻转组不分配角色注释「Time-flipped groups reverse causality, so they receive no covariate roles」。
阶段 3/4 合成行只填近区配置注释「Synthetic rows: 40% of the packed rows, near region only」,代码没有写原因。从代价看,32768 步上下文的远区有 28672 步,填满整行的生成量约是只填近区的 7 倍。

来源:src/simons/synth/(base.py / augment.py / observe.py / multi.py / nonstat.py / causal.py / heavy.py / mech.py / calendar.py / covariates/)、src/simons/training/(trainer.py / schedule.py / objective.py / covariates/roles.py)与 configs/*.yaml。 「实测」数字来自 CPU 上的 plan / MultiPool.build 抽样,命令见数据生成指南第 9 节; 图由 make_figures.py 生成。强调色描边标出该阶段最容易被误解的点。