素材实验与复盘

输入

实验目标、候选素材、改变项、渠道、主要指标、可用预算与周期。结果分析另需曝光、点击、转化、花费、归因窗口和流量分配等实际记录。

方法

1. 写一个可检验假设，指定主要指标与停止规则。指标定义使用实际渠道口径；没有基线先做探索，不事后挑选有利指标。
2. 分配 experiment_id / variant_id / asset_id / ad_id，记录提示词或剪辑版本。优先一次改变一项，固定正文、商品事实、CTA 等其余部分。
3. 明确受众、广告位、出价、时段和归因窗口如何保持可比；记录随机分流或平台自动优化机制。不能随机分配时说明结果是观察性比较。
4. 在执行前确定样本或预算、周期、最小有用效果和分析方法。用户没有提供转化基线时，不编造固定样本量或显著性阈值。
5. 有授权和工具才创建投放或花费；否则只交付实验计划。分析已有数据时先检查缺失、重复、单位及分母。
6. 报告原始计数、比率、变化幅度与不确定性。CTR = 点击 / 曝光；CVR 要注明按点击还是其他事件作分母；CPA = 花费 / 转化。分母为零时不计算对应指标。
7. 对照预先约定的方法判断继续、停止或补数据。区分业务上有用的变化、统计证据与可能的混杂因素。

输出

实验卡：假设、变体、固定项、主要指标、分流、预算、周期、归因、停止与分析规则。

结果卡：各组计数和指标、计算口径、是否满足样本要求、限制、结论与下一轮只改变什么。没有数据时保持 not_run。

完成标准与交接

每项效果判断都有真实数据及口径；样本不足时明确“不足以判断”。将观察到的创意问题回传 ad-creative，客户商业结论可传给 ad-poc 或 ad-scale，不混淆制作与媒体成本。