social-identification
Skill1 starsChanged 25 days agoApache-2.0View on GitHub
审一个因果设计站不站得住——处理时点是不是内生、对照组合不合适、有没有溢出与抢跑。机器已算的诊断不重复,只判机器判不了的那一半。被 social-research 主链在研究类型是因果(含从因果降级的)或仿真货箱时调用。
1 other project uses a version of this.
Adopted by
Most recently taken up by
- openSocialScience/openSocialScienceword for word, first seen Oct 25, 2026
Other versions1 project uses a version of this.
Word for word · 1
- openSocialScience/openSocialScience★ 1100% same
Edited · 0
None found.
Wrote their own version · 0
None found.
How matches are found. Word for word: the exact same text. Edited: shares passages with this file (“99% same” means 99% of its five-word phrases also appear here; 10% or more counts). Their own version: similar meaning, or, weakest, the same name. We can’t tell which project had it first. Projects are counted among the 200 most-starred candidates, and mentions are links to the repository we found, up to 50 per site, so both counts are a floor.
In this repository5 other files it gives its agents.
- social-ideaSkill
- social-paperSkill
- social-researchSkill
- social-reviewSkill
- social-simSkill
The file
Files
因果设计的审计
原始输入:$ARGUMENTS
如果上面显示的是字面的 $ARGUMENTS,说明宿主不替换占位符;原始输入就是用户消息里 /social-identification 之后的全部内容。
用 --- 分段:第一段是运行目录,其后可选的 level:。
为什么需要这一步
系统现在**能说出「是它造成的」**了。按项目一贯的顺序—— 先装门,再抬天花板——门必须跟上。
机器已经把能机械判的都判了:
| 机器已查 | 在 results.json 的 diagnostics 里 |
| 处理前走势平不平(联合检验) | 平行趋势 |
| 联合预检有没有把握查出违背 | 预检功效 |
| 违背要多大才推翻结论(breakdown) | breakdown 值 |
| 对照组是谁 | 对照组 |
| 两组处理前可不可比 | 处理前平衡 |
| 各批次的效应差多少 | 批次异质性 |
| 工具够不够强(工具变量) | 第一阶段强度、有效 F |
| 工具弱时怎么估区间(工具变量) | AR 区间、tF 区间 |
| 跟普通 OLS 差多少(工具变量) | OLS 对照 |
要多强的混淆才推翻(ols_fe 下因果结论) | 敏感性分析、稳健值、Oster δ、E 值 |
但这些查完,最要紧的那个问题仍然没被回答:
为什么是这些地方先改?
如果它们是因为本来就在变才被选中的(经济已在增长的省份先试点、 已在改善的国家先民主化),那么算出来的「效应」里混着选择本身。
**平行趋势通过不等于外生。**它只说明处理前那几期没显著分化, 而选择可以发生在更早、或者基于不可观测的东西。这一层机器判不了。
先读机器算好的,别另算
oss run --run <运行目录> # 已经产出全部诊断读 results.json 的 diagnostics,上表每一条都要看(写着「没算」的照实记,不当成通过)。双重差分族这几条要特别注意:
平行趋势报「不成立」→ 停下来(不是问用户:跑 oss route,按 pretrend_fail 的处方缩窗口 / 剔抢跑期 / 降级为关联)。结论不可信,先解决这个再谈别的对照组报「没有从未被处理的单位」→ 分批偏误最重的情形处理前平衡报「不平衡」→ 两组本来就不像,写进局限批次异质性:- 报「差异大」→ 汇总的那个系数不可直接当作平均效应,必须在论文里说
- 报「判不可靠」→ 批次太少,既不能说有也不能说没有,别当成通过
⚠️ **「判不可靠」不是「通过」。**这条纪律在这个项目里已经用过很多次: 没摘要 → 核不了;文本太少 → 判不了;后端不可用 → 不是通过。 每一次把「我不知道」当成「没问题」,都是在制造一个看不见的漏洞。
再交给别家模型判那一半
oss review --identification --level deep --run <运行目录>它审五件机器判不了的事:
- 处理时点是不是内生——为什么是这些单位先被处理
- 对照组合不合适——从未被处理的是不是根本就是另一类单位
- 有没有溢出——处理一个单位会不会影响邻居(政策示范、人口流动、贸易)
- 有没有抢跑——单位会不会在政策正式实施前就开始反应
- 结果变量的测量方式随时间变过吗——统计口径改过的话,「效应」可能只是口径变了
- 问的量与目标总体对得上吗——
plan.json的estimand:估出来的是谁的、什么量;样本与权重对不对得上 - 控制变量里有没有中介或碰撞——对着
control_roles逐个看标得对不对 - 排他性(工具变量)——借力变量凭什么只通过处理影响结果;有效 F、AR 区间只管「工具强不强」,不管这一条
敏感性数字(稳健值、Oster δ、E 值)只说明「要多强的混淆才推翻」,不说明没有混淆。
三种退出情况
| 退出码 | 意思 | 你该做什么 |
| 0 | 审完了 | 按逐条意见改设计或写进局限 |
| 2 | 同家族或判不出家族,且开了 REQUIRE_CROSS_MODEL=1 | 停下来说配置有问题,不要假装审过了 |
| 1 | 后端不可用 | 停下来说明本次没有得到任何裁决 |
缺省不开严格档:同家族照审,退出码 0,判词里 cross_family 是 false。
意见照样逐条核,但它不算独立验证,论文局限里要写一句。
拿到判词之后
**逐条核,不要照单全收。**实测记录里,审稿模型对功效模块提了五条, 四条半成立、有一条数值影响可忽略。
对每一条先做两件事:回到诊断里对一遍(它引的数对不对)、 判断是「错」还是「口味」(错必须改,口味可以不改但要说明)。
判 FAIL 之后:写进局限就算处理,换设计是可选
观察性数据的因果设计,审计大多会 FAIL——处理时点内生、对照组不可比、 可能有溢出,这些是这类研究的常态,不是这篇论文的过错。目标是合格: 审计的每一条意见都要在局限里有一句对应的交代(承认、说明后果、说明为什么没法解决)。 「局限写全没有」那位审稿人会拿着审计报告逐条核。
想换设计也可以,只在这两种情况下值得:审计指出的是能修的(左删失的批次可以剔、
不平衡可以修剪到共同支撑域),或者用户带了 checkpoint: design 想在场决定。
带了 --- checkpoint: design 的,换之前在这里停:把审计意见、你要换的设计、没选的备选和理由列给用户,
等用户定了再改 plan.json。没带这个开关就不要问——按上表自己选一种改了重跑,改不动就走「穷尽」那条路(主链环节 7.5)。换了设计要对着锚点(run_state.json 的 anchor,冻结的原始问题;loop_state.json 里那个 anchor 是按当前的 plan/ideas 重算的,对着它看不出漂移)看:
是在回答同一个问题,不是换一个能通过的问题。
替代设计按这个顺序想:
| 替代 | 什么时候合适 |
| 只用从未被处理的单位当对照 | 分批处理、批次间效应可能不同 |
| 剔除处理前观测不足的批次 | 早批次没有 pre 期(左删失) |
| 换窗口(缩短 leads/lags) | 远期系数全靠少数单位 |
换估计量(did → did_cs) | 分批实施 + 各批效应不同——TWFE 把已处理的早批当对照,汇总系数不可解释;看 diagnostics.Bacon 分解 的坏比较权重 |
换估计量(did ↔ event_study) | 逐年展开太碎 / 合并系数掩盖趋势 |
| 加处理前趋势的控制 | 处理前有线性分化 |
换识别策略(iv / rdd) | 数据里有工具变量或断点 |
⚠️ **不许用结果变量的处理前走势来筛样本。**第一次走这个循环时,执行者把主样本 限定为「转型前没有经济收缩的国家」——平行趋势立刻通过了。那是让检验必然通过, 不是让设计站住。这种筛选把估计对象换成了一个由处理前结果定义的子群, 审稿人会先问这一条。可以用它做异质性分析(危机前置 vs 非危机前置各估一次), 不可以用它定义主样本,除非论文的主结论就是关于这个子群的,并且标题摘要都这么说。
想过替代设计、每一种都不可行的,必须留这条痕——它是 oss loop status 认「穷尽」的唯一凭据,不留就一直报 fail_untried:
oss trace save --step design_alternatives_exhausted --note "<为什么每一种都不可行>" --run <运行目录>意见落成处方
oss route --run <运行目录>审计的每条 [设计] 意见会变成一条处方 audit_N,跟机器诊断开出的处方(换估计量、加稳健性、停)
排在一起。每条要处置:改设计(应用补丁或改 plan.json 重跑)、写进局限(--disclose --why)、
或驳回(--dismiss --why,理由留档)。写进局限时写那个局限本身,不写「审计指出」。
收尾要告诉用户
- 上表的机器诊断分别报了什么(写着「没算」的照实说)——照抄,不要转述
- 跨模型的判词与逐条意见
- 你对每一条的处置:改了设计、还是写进局限、还是不同意(说明理由)
- 退出码是 1 或 2 的话,明说本次没有得到任何裁决
判 PASS 也不要说「这个因果设计没问题」。 一次跨模型审稿不等于同行评议;而且外生性从来不是能被证明的东西, 只能是被论证得让人信服的东西。
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

