agentleFS
modelscopemodelscope/DiffSynth-Studio/.agents/skills/diffsynth-user-research/SKILL.md

diffsynth-user-research

Skill13k starsChanged 6 days agoApache-2.0View on GitHub

Design, reproduce, implement and evaluate research methods using DiffSynth-Studio, including new algorithms, losses, architectures, adapters, sampling, distillation, ablations and controlled comparisons of data, LoRA or efficiency. Leads research tasks even when they include training or inference. Not for routine generation or fixed-recipe tuning. 论文复现、方法开发、机制实验、消融与研究性比较。

Trending

More talk lately.about the whole repository

Dec 2025: 1 mentionJan 2026: 0 mentionsFeb 2026: 1 mentionMar 2026: 0 mentionsApr 2026: 0 mentionsMay 2026: 0 mentionsJun 2026: 0 mentionsJul 2026: 2 mentionsAug 2026: 2 mentionsSep 2026: 21 mentionsOct 2026: 12 mentionsNov 2026: 7 mentions
Dec 2025Jun 2026Nov 2026
Mentions a month of the modelscope/DiffSynth-Studio repository that our weekly crawl found. There is no adoption data for this file yet.

Who's talking about modelscope/DiffSynth-Studio

The biggest 5 of 52 mentions linking to the repository that our crawl found. Each line is their own headline.

See all 52

Talked about on GitHub and Bluesky (52 times).

On GitHub · 50

45 more on GitHub

The file

Files
SKILL.md

基于 DiffSynth-Studio 的研究实验

把研究问题转为可复现的项目实现、适度规模的实验和有证据边界的结论。研究可以只改变输入、数据或推理算法,也可以修改 loss、训练循环或模型结构;不要求创建 Template、训练模型或先完成框架注册。

1. 明确问题、执行范围与证据

先读用户已有项目、方法说明、数据和运行记录,确定复现还是探索、待验证问题、资源预算与产物。已有明确课题时直接围绕该问题工作;方法未定时,结合相关工作中的不足和资源约束,提出少量可检验的候选假设,再定位框架扩展点。只询问影响路线且无法查得的信息。

论文复现按任务所需阅读正文、附录、作者公开实现与实验配置,对齐公式、状态/张量语义、模型与权重、数据划分、训练/推理预算和评价协议。材料间存在差异时说明采用的版本与依据;区分严格复现、经验证的等价实现、近似和未确认假设。缺少关键材料时继续独立调查并补足信息,不把猜测写成论文方法。

方法探索针对性检查相关工作与已有强基线,明确假设预测什么、什么观察会反驳它;不以调用成功、模块组合或框架Example作为创新性证据。只使用已有能力时不强制展开文献综述,研究结论的范围与实际证据相称。

只要求解释或准备时,交付相应分析/代码,不启动下载和实验;要求实际验证时,沿用已有授权完成有限运行、产物检查与比较。已有 Template 使用只需正确加载和调用,不强制组织复杂研究。预算不明确的开放探索先准备有限试验方案,补问必要预算并继续独立检查,不能无限搜索或重训。

研究目的决定分工:LoRA rank、数据配比、量化敏感性也可以是研究。普通固定配方微调用 training,常规生图用 inference,既有输出比较用 evaluation;需要时读取可用专项以完成执行细节,研究仍负责方法和实验逻辑。专项缺失时按真实源码继续,不猜接口或强制安装整套 skills。

确认实际 Studio 根目录、HEAD/相关本地改动、目标模型变体及权重身份。执行前核对活动 Python 与 diffsynth.__file__,纯源码调查不必 import 框架。下述源码路径均相对于选中的 Studio checkout;参考资料中的实现现状不是永久 API。优先查看精确模型的示例、调用签名、实际消费者及专用 runner,不能从家族名称或通用 parser 推导全部能力。

2. 按研究干预选择入口与资料

先由用户问题、已有研究和待验证机制确定干预,再映射到框架的最小实现位置。已有明确课题时直接查2.1和2.3,跳过2.2的方向枚举;仅在需要选题或备选路线时使用研究空间表,不围绕框架有什么模块反向制造研究问题。组合研究按依赖补读,并明确每项能力是已有入口、项目新增实现,还是尚缺实现。

2.1 基础导航:把研究问题映射到框架扩展点

从目标模型的实际调用链判断干预发生在哪里;同一方法可以跨越多个层。表中模块是查证起点,不能只看参数声明而跳过实际消费者。

研究改变了什么应检查的框架位置关键验证
数据分布、监督配对、增强、采样diffsynth/core/data/ 的 UnifiedDataset/operators、目标训练脚本的 Dataset 构造加载后的真实类型、条件与监督方向、随机性、数据划分泄漏
文本、图像、视频等条件编码目标 Pipeline 的 units、diffsynth/diffusion/base_pipeline.py 的 PipelineUnitRunner字段是否真正消费、正负分支处理、输出是否被覆盖
每步去噪计算、条件注入pipe.model_fn、目标模型的 block/attention参数传递、shape、时间尺度、干预开关是否生效
噪声路径、时间表、求解器diffsynth/diffusion/flow_match.py、diffsynth/diffusion/ddim_scheduler.py、目标 Pipeline 去噪循环预测参数化、时间尺度、终点、调用时是否重设时间表
训练目标和梯度diffsynth/diffusion/loss.py、目标 TrainingModulenoising/target/weight、梯度路径、冻结范围及真实更新
多模型、多优化器训练通用 diffsynth/diffusion/runner.py 与算法专用 runner角色切换、更新顺序/比例、梯度累积、保存与恢复范围
新架构、表示空间项目层模型和 Pipeline、diffsynth/models/、从零训练教程初始化、接口/shape、前后向、保存重载、训推一致性
数值精度、缓存、执行策略diffsynth/core/ 的 quant/attention/VRAM、模型专用 cache、compile 入口实际执行路径、误差、质量与完整资源/时间成本

2.2 研究空间:选择干预变量、对照与实现路线

下表仅用于开放探索时启发与用户问题相关的方向,不是每次任务的检查清单。详细变量、模型示例和实现限制按2.3读取,不展开无关模态。已有组件或示例只代表可复用的基础;新算法、未暴露的接口和新的可微路径仍需在项目中实现,收益由实验验证。

研究方向值得探索的问题现有基础与实现边界
数据研究数据量、质量筛选、caption、合成/真实比例、课程、长尾重采样、条件缺失Dataset/operator 可组合;区分独立样本量、曝光量和更新预算,独立评价泛化与泄漏
编码器与 VAE文本层选择、token 长度、表示投影、压缩率、重建误差、编码噪声有组件实现;普通 flow-matching SFT 不等于现成 VAE 重建训练,替换表示要核对尺度与目标
架构与表征深度、宽度、head、位置编码、patch、条件融合、稀疏/MoE、latent 或像素空间小模型教程支撑受控试验;新结构和目标可在项目实现,不默认适配旧权重及注册配置
数值属性控制亮度、颜色、美学强度、控制曲线、单调性、属性解耦有 FLUX.1 AttriCtrl 控制模型及 FLUX.2 Brightness/SoftRGB 等 Diffusion Template;加载、控制接口和训练路径分别核对,同时评价控制误差与内容保持
结构与局部控制边缘、深度、姿态、区域 attention、mask、空间布局、多条件冲突有 ControlNet、EliGen、inpaint 等入口;接口、缓存及训练支持逐模型核查
参考与上下文学习参考数量、顺序、相关性、类比编辑、少样本泛化、参考污染有 ContentRef、ICEdit 等示例;保留参考语义与顺序,隔离参考来源和测试数据
LoRA 与参数高效学习rank、目标层、组件选择、参数预算、时间条件 LoRA、差分训练有普通配方及专门示例;核对实际命中与缩放,LoRA 研究仍由研究目标组织
Adapter 组合简单融合、门控融合、层级组合、组合冲突、顺序与权重、组合后压缩有 LoRA-Fusion、TreeAdapter、merge/reset-rank 工具;兼容性和压缩误差需验证,TreeAdapter 同名训练 shell 当前只有说明注释
元学习与权重生成Image-to-LoRA 的参考集大小、内容/风格解耦、输出 rank、迁移与泛化有模型和示例,部分变体有训练配方;逐一确认真实契约,不从推理能力推导训练支持
采样时间表步数、sigma 分布、动态 shift、噪声阶段预算、分辨率相关调度已有模型专属 schedule;检查 __call__ 重设行为,保存实际生效时间表
求解器和噪声路径积分方法、确定性与随机采样、重新加噪、噪声强度与频谱有 FlowMatch、DDIM、Ancestral 等实现;新求解器匹配预测定义,按真实前向次数或时间比较
引导策略CFG 强度、随时间变化的引导、负条件、embedded guidance、分支特定 Adapter有相关调用链;不同模型参数不一定同义,新时间门控需实际接入循环
推理搜索best-of-N、候选空间、多目标与自适应预算可参考 SES,按任务适配或实现其他策略;适用边界见采样与推理搜索资料,记录候选、评分、随机性与完整成本
可微推理优化优化 initial noise、embedding、控制参数或采样轨迹需保留 Tensor 和梯度的项目路径;常规 no_grad、PIL 输出及 detach 评分不能直接用于反向优化
蒸馏OPD/DMD2、教师/学生 CFG、蒸馏区间、端点对齐、渐进蒸馏、LoRA/全量有专用实现;轨迹模仿为实验性入口,Direct Distill 已停止维护,专用 runner 的约束优先
训练目标timestep 采样、loss weighting、噪声尺度、局部/感知损失、正则、多任务权重通用 loss 可作为起点;新目标通常需改 TrainingModule/loss,不能添加猜测的 task 参数
偏好与奖励对齐搜索产物构造偏好对、奖励加权训练、DPO 类目标、在线反馈有评分与数据生成基础;当前无通用 DPO/GRPO 训练入口时需项目实现,不与差分 LoRA 混称
视频帧数、fps、运动/相机、关键帧、滑窗、长视频、局部重生成、两阶段精修Wan、LTX、LingBot 等有不同入口;同时检查时间一致性、条件遵循、边界与完整成本
音视频联合模态 loss 比例、跨模态条件、不同时间表、参考消融、同步与模态间影响有 LTX2、MiniMax-H3、MOVA 等实现;区分 loss、条件与结构消融,使用模态专属评价
音乐与音频节拍、歌词、音色、韵律、cover/repaint、乐谱规划、片段边界、长程结构ACE-Step、DiffSynth-Music、YuE2 等提供不同条件;如 YuE2 当前无训练支持,不按家族名推断训练能力
压缩与数值研究分层量化、混合位宽、敏感层保护、码率、权重/生成误差、量化后的 LoRA有 QuantizeConfig/MixedQuantizeConfig;权重误差、质量、存储节省与计算加速分别测量
计算复用与效率KV/cache、TeaCache、attention 后端、compile、offload、拆分预处理、序列并行有基础设施;确认真实生效路径、兼容性、近似误差和准备/运行/通信成本
机制与可解释性层/头/时间阶段作用、激活干预、条件 token、KV 替换、梯度敏感性可用项目 wrapper/hook;检查 checkpoint 重算、packed 布局与分片,相关性观察再用干预验证
泛化与鲁棒性长尾概念、多语言、条件扰动、分布外输入、组合泛化、记忆与遗忘主要由实验设计和数据划分实现,不要求新增训练算法;按来源分组留出并分析失败

2.3 按需读取实现资料

仅阅读当前问题需要的参考,不默认加载全部资料。跨层方法按实际依赖组合阅读,表中的研究方向不是互斥分类。

当前需要解决的实现问题对应资料
扩展位置、Unit/计算图、梯度与内部机制扩展点与实现验证
时间表、求解器、CFG、候选搜索、可微优化采样与推理搜索
loss、偏好/奖励目标、OPD、DMD2、训练状态训练目标与蒸馏
Template、控制/编辑、LoRA、组合与元学习控制与 Adapter
数据、表示、架构、从零训练、泛化与遗忘数据与架构实验
视频、音乐、音视频联合、量化/缓存/执行效率多模态与效率实验

例如“冻结底模训练属性控制器”重点读扩展点和控制资料;“合成偏好对后训练新目标”再读采样、目标和数据资料。没有现成训练算法时明确新增哪段计算,不给普通 train.py 添加猜测的 --task。

用户项目可以定义模型、Unit、loss、scheduler 或 runner。需要上游正式支持、外部架构移植、权重 converter 或新后端时,再说明开发者接入范围;不要把项目原型与框架已经支持混称。

3. 设计能回答问题的有限对照

用适合任务规模的简短计划记录:可证伪假设、基线、干预、固定项、主要评价指标、数据划分、训练/搜索/调参预算、停止条件与失败判据。按研究主张选择可信的已有强基线及必要的简单替代方案,避免只与明显欠调参或预算不足的对手比较。

对修改模型、采样器、缓存或计算图的研究,分清三层证据:关闭干预能否恢复原基线;开启干预是否确实改变目标机制;这种改变是否在独立评价中产生可归因的结果。按需采用零强度、负对照或单因素消融,不要求每项研究额外运行三套大型实验。基线回归按方法检查相关的中间Tensor/最终输出及状态,预先说明数值容差或统计一致性,不能要求跨设备结果逐位相同,也不能只以“看起来差不多”证明复位。

  • 机制实验固定非研究因素,比较目标干预和必要消融;方法比较也可允许各方法在预先约定的同等调参预算下选择合理配置,并说明选择过程。不要强行令不适用的超参数完全相同。
  • 保持任务、输入/条件、尺寸、数据划分和评价一致。模型初始化、数据顺序、训练噪声、timestep 与推理 seed 分开记录;Pipeline 的 seed 不控制整个训练。相同整数 seed 在不同设备/dtype/shape 下不保证同一噪声,必要时保存实际 Tensor 或 RNG 状态。
  • 训练按样本、有效优化更新、可训练参数和实际算力说明预算,搜索按候选/目标函数调用、真实模型前向次数和评分成本说明预算。单次采样可作为低成本锚点,随机搜索与目标搜索方法再做等预算比较;多阶段、CFG、teacher/critic 都要计入成本。
  • 训练、选参/搜索方法开发、最终评价按主体/原图/视频来源等合理分组隔离。pilot可用于调整方案,最终评价协议确定后再用独立输入验证;不能根据测试结果反复改方法却仍将该测试集称为独立验证。优化某个 reward 后,用其他评价维度复查,不能把更高 reward 直接写成人工质量提高。
  • 缓存、数据增强、冻结、量化和 offload 都纳入配置;缓存随机增强或改变精度可能改变研究条件。组合方法补单模块及组合消融,不把多项同时变化的结果归因于某一项。

4. 实现并验证最小完整方法

默认在用户研究项目实现,保留可复跑的官方基线。确需修改框架内部代码时,优先使用隔离分支/worktree;已有用户指定分支则沿用其安排,保留原有改动与本次精确diff,无Git时使用独立源码副本记录变更。每组绑定实际代码与配置,干预可关闭、可复位,不在组间共享未清理的Hook、动态LoRA、scheduler或缓存状态。

保留真实 import、加载/初始化、数据处理、研究计算、训练或采样入口、保存及验证调用。优先复用现有资源和官方示例,以少量样本验证闭环后再扩到约定规模;不直接执行教程的大 epoch/repeat。项目自定义 step 上限要真正实现,通用 CLI 没有的 max_train_steps 不能直接添加。

实际运行前按目标模型和任务规格检查执行设备、可用显存/RAM、依赖与后端兼容性;有可用 inference/training 专项时复用其环境探测和资源分析。有限验证须覆盖研究干预的关键路径;正式运行前以最大或代表性高负载输入,按任务检查前向、反向、计算工作区及解码/保存阶段的资源峰值。小尺寸 smoke 通过不代表目标尺寸、帧数或多参考条件可行。资源不足时先分析兼容的执行优化,不静默改变数据规格、模型、数值精度或研究预算;确需调整时明确新规格并同步调整配对基线,仍无法满足则报告具体限制,不把资源失败当作方法假设被否定。

外部Template的model.py和研究脚本会执行代码,pickle格式缓存也可能执行反序列化代码;先核对来源和内容再加载。未知来源先做静态审查;确需运行时使用与凭据、重要数据和其他作业隔离的环境,不能将权重扩展名或普通虚拟环境当作可信证明。

验证按方法需要选择,而非每项研究一律训练:

方法类型最低有效性证据
已有能力使用/无训练干预实际消费者、条件/干预开关生效、适用时关闭干预恢复基线、固定输入对照、真实输出
新可训练模块/目标字段和 Tensor 契约、有限 loss、预期梯度路径与参数更新、冻结范围、保存及新进程重载
搜索/推理优化候选与评分对应、实际预算、选择过程、可复现最终输入/输出
架构/内部机制研究初始化及结构配置、干预位置与层/时间索引、观察未误计重算、可复跑消融

冻结参数不等于对该模块使用 no_grad;若梯度需穿过底模到 Adapter/latent,保留计算图。不要通过常规 no_grad Pipeline、PIL 输出或 detach 后的评分标量假装实现可微优化。梯度允许因零初始化、门控等在部分参数上暂为零,应核对预期活跃路径,而非要求所有参数每步非零。

记录实际失败原因。有依据才修复重试,同一原因且无新假设时停止重复消耗预算。没有设备、权重或数据时完成可独立的项目准备,标明未运行部分;不能以静态检查或一轮前后向成功证明方法有效。

5. 评价、保存与交付

沿用用户项目的记录格式,不强制创建固定目录或多份报告。至少能追溯:源码/相关 diff、模型与数据身份、配置和真实命令、实际设备/GPU 型号、PyTorch 与 CUDA/ROCm 等运行时版本、实际 Attention/量化后端及其版本和关键设置、各类随机性、预算、checkpoint、输入—候选—输出—分数及失败对应关系。框架模型识别 hash 基于键名/shape,不能代替权重内容身份;需要时记录 revision、文件清单和内容校验值。

按研究问题选择指标:控制需看控制误差与内容保持;编辑同时看修改与保真;生成兼顾质量、多样性和失败率;视频/音频增加时序与模态维度。FID 是分布指标,LPIPS 是感知差异,图像 reward 不是全部质量的代理。性能分开报告加载/量化/编译、首次、预热稳态、评分和端到端成本,明确显存/RAM统计口径。

需要实现具体质量指标、模型对比或性能基准测试时,按需读取同级 diffsynth-user-evaluation 的指标接口、配对、统计和测量规则;Research 保持研究假设、实验设计与结论归因的主导权。Evaluation 缺失时直接依据活动源码实现必要评价,不因此中断研究或猜测指标接口。

保留逐样本及多 seed 结果再汇总,按独立样本/来源分组分析。小样本只报告探索趋势;正式结论根据规模报告不确定性、负结果与适用范围,不将同一 prompt 的多个 seed 当作完全独立任务。loss 下降、reward 提高和运行成功是不同证据。

需要学习权重的方法交付训练与推理代码、实际 checkpoint 引用及新进程验证;训练续跑另说明 optimizer/scheduler/RNG/数据进度是否恢复,权重热启动不称完整续训。免训练方法不强求 checkpoint。论文复现同时交代方法/配置对齐与偏差,探索同时交代哪些证据支持或反驳假设,不只挑选有利结果。交付中区分已准备、静态检查、smoke/pilot、正式实验及尚未完成事项,结论分清已有能力、项目实现、实测结果和待验证假设。

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.