agentleFS
KokxiKokxi/qa-test-skills/skills/qa-ai-output-critique/SKILL.md

qa-ai-output-critique

Skill31 starsChanged 48 days agoMITView on GitHub

对AI生成的测试用例进行八维评审(完整性、正确性、可执行性、风险覆盖、规范性、一致性、追溯性、冗余度),是AI生成用例后的第一个质量门禁。当AI刚刚生成了一大批测试用例、你需要确保这些用例真的有价值而不是"看起来不错"时,应当使用此技能。不要假设AI输出的都是对的——AI经常生成语义正确但实际操作不了的用例。每个维度评分低于7分的必须标注问题并使用MISSING/WRONG/VAGUE等规范格式标记。无上游场景树/风险清单时降级为六维评审(跳过追溯性、简化完整性)。 触发场景:检查一下输出、评审用例质量、验证完整性、这个用例对吗、自动检查时。 Use when the user asks about: critiquing AI-generated test cases across completeness, correctness, executability, risk coverage, conformance, consistency, traceability, and redundancy.

The file

Files
SKILL.md

⚠️ 本技能单独使用效果有限,建议配合完整技能集(12 步工作流)使用。安装:npx skills add Kokxi/qa-test-skills

⚠️ 安全警告:本技能的示例可能涉及测试用例整理、合并或删除建议。 实际使用时请勿直接执行批量删除操作,先备份原数据并确认非关键用例。 本技能仅在 workspace/ 输出评估文件,不持久化、不外传、不跨会话复用。

AI 输出评审

核心原则

AI 输出看起来都对,但专家能看出哪里不够。

这个技能是 AI 生成用例后的第一个质量门禁——不要假设 AI 输出的都是对的。

1. 八维评审速查

每维 10 分,总分 ≥ 64 合格。但总分达标不豁免单维不合格:任一维 < 7 分必须改。

维度评分核心最常见问题
完整性场景覆盖是否完整缺异常路径
正确性业务规则和预期是否正确预期结果不自洽
可执行性步骤是否清晰可执行步骤写"按正常流程"
风险覆盖高风险区域是否深测资损/并发场景缺失
规范性格式是否符合标准编号断号、列错位
追溯性REQ-/SC- ID 是否完整用例无需求关联
一致性用例间是否自相矛盾前置与步骤不匹配
冗余度是否有无价值用例多条用例覆盖同一点

逐维详细评分标准与评审清单见 references/review-dimensions.md。

2. 评审模式

模式条件评审维度适用
A 完整评审场景树 AND 风险清单 AND 需求 ID 列表八维全启用工作流标准评审
B 降级评审缺任一上游六维(跳过追溯性,简化完整性)独立使用、快速检查

降级处理

缺少的上游降级策略
场景树完整性基于通用场景清单(主流程/分支/异常/边界)
风险清单风险覆盖基于默认风险类型(资金/安全/并发/数据一致性)
需求 ID 列表追溯性维度直接跳过,标注"需补充追溯信息"

降级必须显式声明。静默降级会让评审报告看起来比实际更权威。

3. 国产模型特有评审点

除八维通用评审外,国产模型输出还需额外检查(这些是通用维度覆盖不到的失败模式):

评审点典型表现处理
中文语义漂移标题"验证登录"但步骤在测注册用"步骤是否支撑标题"反向核查,漂移即降分
数字/单位幻觉凭空编造超时值、并发数、金额单位核对来源,无依据标 MISSING:需基准数据
政策/合规表述预期结果含不合规表述(支付/个人信息)标合规风险,提示对照监管要求
格式不稳定表格列错位、编号断号(TC_001→TC_003)、中文标点混入按规范性维度检查编号连续性
过度泛化写得"像测试指南"而非"可执行用例"按可执行性维度扣分,要求补具体步骤
伪正确性预期结果"返回正确"但未定义什么算正确要求可验证(具体状态码/字段值)

评审动作:发现任一问题 → 按对应八维维度降分 + 输出规范标记(MISSING/WRONG/VAGUE)+ 修正建议。

4. 加载时机

什么时候读读哪个
逐维详细评分标准与评审清单references/review-dimensions.md
报告已出,想再深挖一层或决定砍哪些用例references/deep-review-techniques.md(假设挖掘 / 迭代决策树 / AI 反驳 / ROI)
写评审报告assets/critique-report.md(模式 A/B 模板 + 填写要求 + 自检)

5. 产出

# 测试用例评审报告

## 一、八维评分          → 每维 10 分,<7 分标问题
## 二、问题清单          → 用例 ID | 维度 | 标记 | 问题描述 | 修正建议
## 三、覆盖遗漏          → 必须给依据 ID(RISK- / REQ- / SC-)
## 四、改进方向          → 可执行的具体动作
## 五、评审结论          → 需重新生成 / 需修改后复审 / 通过

标记三选一:MISSING(缺失)/ WRONG(错误)/ VAGUE(含糊)

完整模板见 assets/critique-report.md。本技能只评审,不产出用例。

6. 交付前自检

  • 八维(或六维)逐维评分,低于 7 分的已标问题
  • 总分达标但存在高严重度问题时,明确要求修改(不因总分豁免)
  • 每个问题关联到具体用例 ID,且有 MISSING/WRONG/VAGUE 标记
  • 覆盖遗漏都给出了依据 ID(RISK-/REQ-/SC-),不是凭感觉
  • 国产模型 6 项特有评审点已逐项检查
  • 降级模式已显式声明缺哪些上游数据
  • 评审结论三选一且明确
  • 用例编号格式为 3 段式,无断号、无 TC_/SC- 混用

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.