agentleFS
brilliantroughbrilliantrough/agent-skills/skills/research/exp-workflow/SKILL.md

exp-workflow

Skill11 starsChanged 12 days agoMITView on GitHub

协调 PyTorch 算法研究的证据路线:主动协商张量/局部代理、小数据集参数扫描或探索矩阵;按执行方式与整批成本,在真实评测批量预研或耗时整模前检查正确性/效率。Use when choosing proxy studies versus experiment matrices or preparing evaluation;触发词:算法开发流程、怎么预研、小数据集消融、批量预研、代理看不清、探索矩阵、评测前清理、端到端放行。步骤按实际问题选用,不把代理设为必经关卡。讨论用 exp-discuss/grilling,设计用 exp-campaign,执行用 exp-probe/exp-batch,性能用 pytorch-perf-tuning。

The file

Files
SKILL.md

算法研究流程:选有效证据路线,准备好执行路径

遵循 goal-first:主线是 PyTorch 算法研发,每个新增观察须影响研究决策或明确的认识目标。预研可以简陋但须数值可信;耗时整模前清掉可避免浪费,优化够用即停。意外发现先判断是否影响本题,不自动追加研究分支。

分工与入口

  • 本 skill 协调阶段与证据;不重写相邻 skills 的实验执行、kernel 优化或等待机制。
  • 已知结论和已确认方案直接复用;从当前缺口进入,不要求每轮从讨论重来。先从 project-profile 定位当前路线及其与其它路线的关系,本流程只协调选定范围,不代替项目全景。
  • 每个新分支先选有效证据路线:复用已有结果、代理预研、探索性矩阵都可。代理不能回答问题或整模矩阵更直接时,可直接提出有界矩阵;已敲定论文协议可直接进入正式矩阵准备。
  • 小型研究可在本会话推进;探索/消融/Pareto/论文矩阵需要设计时用 exp-campaign。范围由研究目的决定,不强求也不否定完整矩阵。
  • 预研也可直接是“小数据集+参数扫描/消融矩阵”,保留真实模型与评分路径,无需抽取张量。样本子集大小、配置数和执行 batch 是不同选择。
  • 步骤按研究对象、运行方式、整批成本和代码现状选用;不按“预研/正式”标签机械串行。真实评测路径的批量预研也须先做轻量代码就绪检查,已有有效证据直接复用。
阶段借用的 skill完成判据
澄清假设exp-discuss,需要深问时 grilling明确要观察什么、什么结果会改变下一步
协商证据路线本 skill;矩阵设计用 exp-campaignAgent 比较代理/矩阵及盲区,用户确认必要科学选择
获取初步证据exp-probe/有界 exp-batch获得机制、响应/权衡或分支取舍证据;真实评测批量预研及高成本运行先完成下述放行
批量/高成本运行前准备pytorch-perf-tuning,必要实现用开发 skill正确性、效率和整批成本证据足以放行指定范围
整模验证exp-batch,单点补证据用 exp-probe指标回答原假设,记录代理结论是否成立
解释与证据交接本 skill 的分析参考;文献/数据图用 research-evidence区分支持、有效阴性与不可判定,绑定来源和版本,不用图件外观代替分析

1. 先理解问题,主动带着方案交流

  1. 查项目记录、现有基线、代码入口和相邻实验;已有答案不重做。
  2. 用短句说清:研究问题/主张、要观察的差异或权衡、保留的语义、当前未知、分析结果后如何决定下一步。
  3. 想法模糊时用 exp-discuss;进入细节后按 grilling 的前沿问题逐轮交流,每个问题带推荐答案和理由。
  4. Agent 自己调查可查的模型、数据、接口与成本;只让用户决定研究意图和科学取舍,不反问“你打算怎么预研”。

完成:双方知道要回答的问题;继续追问不再改变观察目标。讨论阶段不偷偷启动实验。

2. Agent 主动比较代理预研与实验矩阵

  • 先提出信息价值与成本相称的方案;比较局部代理和真实矩阵谁更能回答问题,不一概把“更小”当更好。有真实取舍时给一两个备选,不把大菜单丢给用户。
  • 推荐须具体:从哪里取对象、按什么规则挑、保存什么、比较谁、测什么、哪些结果对应继续/停止、随后怎样做整模验证。
  • 优先考虑复用真实运行中的局部计算:例如从训练/校准数据采集激活、配对权重、mask 与分组,在离线回放中研究实际输出误差。
  • 代理不限定为张量:还可选单层/层组、固定路由分支、带缓存的短序列、少量梯度步骤或极小整模。按假设选择,不能为了便宜删掉关键依赖。
  • 参数影响不清、需要消融/交互或帕累托曲线时,矩阵本身就是研究主体;无需先获得阳性代理结果,也无需预言每格结果。明确因素、范围、指标、预算与必要覆盖后执行。
  • 最务实的候选之一是固定少量真实样本,对参数候选逐项同题评测。主动提出子集、基线、扫描范围、指标及整批成本,先检查执行路径再跑矩阵;不必先建张量代理库。
  • 每个新增分支说明已有代理为何够用、需补什么或为何失效;不默认重复采集和建整套数据集。
  • 在当前任务记录中保留一份简短方案,字段见 references/proxy-study.md;不额外制造层层计划文件。
  • 用户确认代理/矩阵方案后再执行。已有确认或授权不反复询问;科学口径、选择规则或预算发生实质变化时再讨论。

完成:方案含选择/覆盖规则、对照、指标、预算、认识目标与证据局限,足以执行。若通过真实模型评测路径批量运行,或单次/整批成本较高,先完成第4–5节准备与放行。

3. 预研先回答问题,不先追求速度

  • 按已选路线执行:单点观察用 exp-probe,代理对照或矩阵用 exp-batch;已选择矩阵就不强加张量代理。单次廉价局部预研允许简陋实现;真实评测批量预研先审视代码,不为它深度调优。
  • 数值定义、数据来源和对照仍须正确;记录实际输入、源码/配置、结果及失败,不能拿任意随机张量证明真实模型结论。
  • 避免按候选算法的胜负挑样本;极端对象之外留普通对照和选择频次。选择集与确认集按问题分开。
  • 分析机制、响应/权衡与分支取舍;代理无结论时可改用更有判别力的矩阵,与用户确认实质变化。不要无目的扩大,也不要因代理不清就禁止整模研究。
  • 局部更优只说明代理上的证据;不宣称整模指标提升,也不把逐组 oracle 当可部署规则。

完成:有可追溯的观测与下一步证据需求;信息价值或正式覆盖可支持继续,不以已有阳性结果作为门槛。

4. 按执行方式准备 PyTorch 路径

调用 pytorch-perf-tuning;先审视再决定改什么,不要求为了“优化过”强行改代码。

真实模型评测的批量预研(包括小数据集小矩阵)和耗时整模都适用。按整批估算共用加载、逐配置准备/编译、重复次数和评分代价;不要因单次样本少就忽略重复浪费。廉价局部单点检查以正确性为主,代码已就绪时复用记录即可。

  • 分开研究/校准与在线评测:保留必要统计功能,评测去掉临时采集 hook、调试输出、无用张量/图、重复副本和搬运。
  • 检查逐项循环、无意义同步、batch 与并行空间;同时核对 mask、样本独立性、dtype 和统计组,不能为提速改变算法。
  • 高频且与算法解耦的连续操作可复用已有批量/分组实现或融合核;需要独立开发时由 pytorch-perf-tuning 按 kernel-worker 派发真实shape任务,在已约定预算内自主优化。主会话保留语义与整模验收,不被调优细节占据。
  • 优化前固定同一算法的 PyTorch 参考;执行优化对照不与算法消融混在一起。逐项校验数值边界和真实对象,必要时检查状态读写、历史缓存及梯度;公共核可复用已有证据。
  • 用少量真实整模样本测在线路径、有效吞吐和 host 耗时;旁路观察设备忙碌度、功率与内存用途,合理解释剩余限制。
  • 这一小段整模 smoke 是放行检查本身,不是提前启动耗时评测;局部算子沿用已声明的设备计量契约,原版/候选同输入同口径对照,不用微基准替代整模结果。

完成:实现可直接进入既定评测,正确且没有已知、影响明显、能廉价消除的浪费;或已经证明当前限制合理。没有固定利用率/功率/加速比门槛。

5. 放行是证据结论,不是额外审批仪式

在现有任务记录写一条可复用的放行结论:

内容最少证据
为什么值得跑问题/论文主张、已有证据或代理局限、矩阵的认识与覆盖价值;无须先有阳性代理结果
放行范围模型/checkpoint、执行源码版本或摘要、算法配置、后端、dtype、shape/batch/协议
正确性参考与候选对照、必要数值/状态检查、小样本真实入口结果
效率与预算同输入耗时、浪费检查结论、运行规模与成本估计;可直接引用已有有效记录
结论通过/待补证据;真实日志与工件路径、下一条命令
  • 真实评测路径的批量预研与耗时整模须在放行范围内启动;待补证据时只做必要修复和小检查。合理的带宽/依赖限制不等于不合格。
  • 放行由 Agent 据证据判断;方案已确认且执行已授权时不再要求用户重复点头,正式执行权限沿用项目约定。
  • 只认本次或明确可复用的实测证据;计时器、启动成功、进程结束、旧状态文件都不能单独证明通过。
  • 改动影响数值、执行路径、shape/分组/mask 或协议时重审对应证据;文档修改无需重跑,换前处理也不默认重调所有公共核。

完成:能指向“哪些实现、什么范围、凭什么可以投入整模”的短记录;不需要审批系统或新的通用框架。

6. 有界整模验证,然后回到研究决策

  • 用 exp-batch 按方案执行已放行配置;新执行路径先小批次核对成本,已有有效就绪证据的正式矩阵可直接运行,不反复制造预研阶段。
  • 复用同协议正式基线;固定样本、提示/评分、计算口径和随机性,记录逐题身份与响应证据。
  • 若有代理,对照其预测与整模结果;不一致回查代理局限。探索矩阵形成的趋势/Pareto候选按约定确认,正式矩阵完成主张所需覆盖;不因早期好点省略必要对照。
  • 真实进程、新鲜日志和完整结果共同验收;失败/中止如实记录。成本超预期先定位加载、准备、在线阶段,不盲目继续。
  • 回报本路线的结论、证据边界与下一步;路线或关键认识变化时用 save-mem 同步现有记录和画像,不把一次实验阶段完成当成研究问题已解决。可复用方法再回流 skill。
  • 解释结果时按需读 references/evidence-interpretation.md:执行完成、质量核查、科学判断分开;独立单位与不确定性匹配研究问题。先分清是执行问题、对照不足还是机制未获支持,再决定修复、重设计、回讨论或收口,不默认继续加运行。

完成:原问题得到回答或边界明确,约定的论文/矩阵覆盖完成;新增分支须有认识或验证目标,不要求预先知道它会获胜。

参考与演化

  • references/proxy-study.md:代理主体选择、激活/权重回放、方案字段与典型盲区。
  • references/evidence-interpretation.md:主张与对照、独立单位、有效阴性、分析边界及版本化交接;方法参考 Light-Science,沿用本项目记录,不启用另一套目录/记忆。
  • 经验演化型:实际使用暴露代理失真、放行缺口或流程负担时修订对应小节;具体模型/路径/实验数字留项目,方法回流技能仓。

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.