neural-network-diagnosis
Skill40 starsChanged 22 days agoMITView on GitHub
神经网络模型效果诊断与提升 —— 诊断已有 NN 模型的偏差/方差问题,并自动迭代优化。 当用户提到"诊断模型"、"模型效果不好"、"过拟合"、"欠拟合"、"学习曲线"、 "优化神经网络"、"调参"、"提升模型效果"、"模型诊断"、"效果差"等类似场景时触发。 适用于任何"已有一个训练好的神经网络,想诊断并提升其效果"的需求。 不要手动写代码——必须调用此技能来统一处理。
In this repository7 other files it gives its agents.
- anomaly-detectionSkill
- linear-regressionSkill
- logistic-regressionSkill
- model-recommendationSkill
- neural-networkSkill
- recommender-systemSkill
- svmSkill
The file
Files
神经网络模型效果诊断与提升
概述
此技能分两个阶段,对已有的神经网络模型进行系统化诊断和优化:
- 第一阶段:模型效果诊断(步骤 1-6)—— 数据划分 → 计算误差 → 画学习曲线 → 判断好/坏
- 第二阶段:模型效果提升(步骤 7-12)—— 仅在诊断"差"时触发,简单方法优先,最多 3 轮迭代
核心原则:
- 先诊断,再治疗——不诊断就动手可能越搞越糟
- 仅针对神经网络模型(通过
neural-network技能生成的.py文件) - 简单方法优先:误差分析 → 调 λ/α → λ 网格搜索 → 改网络结构
- 每次优化后验证,对比步骤 2 确认的量化标准
- 最多 3 轮优化,每轮结束后询问用户是否继续
- 新建文件保存优化结果,原始模型代码一字不改
📚 本技能依赖以下参考文件(按需读取,不全部加载):
references/learning-curve.md— 学习曲线绘制references/bias-variance-diagnosis.md— 偏差/方差诊断决策树references/lambda-grid-search.md— λ 网格搜索references/early-stopping.md— 早停训练references/error-analysis.md— 误差分析references/kfold-cross-validation.md— k-fold 交叉验证references/skewed-class.md— 偏斜类问题处理
第一阶段:模型效果诊断
步骤 1:加载已有模型代码
向用户索要模型代码:
请提供你要诊断的神经网络模型代码文件路径(.py),或者直接把代码贴给我。
如果用户最近刚用 neural-network 技能生成了模型,自动定位最新的 neural_network_*.py 文件并确认:
检测到最近生成的模型文件:{filename},是这个吗?(直接回复"可以"确认,或指定其他文件)
从代码中提取以下信息:
通过读取 .py 文件内容提取:
| 提取项 | 变量 | 用途 |
| 特征矩阵 | X_raw | 数据量 m、特征数 n |
| 标签向量 | y | 类别数 K |
| 特征名 | x_names | 展示用 |
| 类别映射 | y_classes | 展示用 |
| 隐藏层大小 | hidden_size | 网络结构 |
| 学习率 | alpha | 训练参数 |
| 正则化强度 | lam | 训练参数 |
| 迭代次数 | iters | 训练参数 |
| 缩放参数 | X_mean, X_std | 预测用 |
| 训练好的参数 | Theta1, Theta2 | 模型权重 |
| 是否已切分 | DO_SPLIT | 决定后续路径 |
| 训练集索引 | train_idx | 复用已有切分 |
| 验证集索引 | val_idx | 复用已有切分 |
| 测试集索引 | test_idx | 复用已有切分 |
如果需要运行代码获取结果(如模型已经在代码中训练好了),直接运行原文件,从中提取训练好的 Theta 和评估结果。
提取完成后确认:
模型信息确认:
- 数据:{m} 条样本,{n} 个特征({x_names})
- 分类:{K} 类({y_classes})
- 网络:{input_size} → {hidden_size} → {output_size}
- 参数:α={alpha}, λ={lam}, iters={iters}
是否正确?(直接回复"可以"继续)
🔀 数据切分检测
从 .py 文件中检测变量 DO_SPLIT:
情况 A:检测到 DO_SPLIT = True(模型已预留验证集)
✅ 原始模型在训练时已预留验证数据!
- 训练集: {m_train} 条
- 验证集: {m_val} 条
- 测试集: {m_test} 条(预留未使用)
直接使用已有切分进行评估,无需重新训练。- 直接读取
train_idx,val_idx,test_idx - 从
X_raw和y中按索引提取X_train_raw,y_train,X_val_raw,y_val - 标记
use_existing_split = True - 跳转到 Step 4(计算误差指标),跳过 Step 3(数据划分)
情况 B:DO_SPLIT = False 或未找到该变量
⚠️ 原始模型使用全部 {m} 条数据训练,没有预留验证集。
要客观评估模型泛化效果(偏差/方差),需要用验证集来检测过拟合。
这需要重新划分数据并重新训练模型。
是否继续?
- 重新训练不会修改原始模型文件(原始 .py 一字不改)
- 诊断完成后,优化结果会保存为新文件- 用户确认 → 标记
use_existing_split = False,继续 Step 2 - 用户拒绝 → 诊断终止,输出:"已取消诊断。如需客观评估模型效果,建议在 neural-network 技能中选择切分数据。"
情况 C:旧版 .py 文件(无 DO_SPLIT 变量)
按情况 B 处理(等同于无切分)。
步骤 2:确认"效果好"的量化标准
在诊断前,与用户确认判定标准。展示默认值并询问:
在开始诊断前,先确认"模型效果好"的判定标准。默认标准如下:
指标 默认值 说明 验证集错误率 < {val_error_threshold} 主要指标 训练/验证差距 < {train_val_gap} 个百分点 防止过拟合 学习曲线 趋于平稳(不再明显下降) 训练充分 {如果是偏斜类:偏斜类场景额外要求 F1 分数 > {f1_threshold}}
是否需要调整这些标准?(直接回复"可以"使用默认值,或指定你要修改的阈值,如"验证错误率改为15%")
默认阈值(根据分类类型自动选择):
| 指标 | 二分类 | 多分类 | 偏斜类 |
| 验证错误率上限 | < 5% | < 10% | 不适用 |
| 训验差距 | < 3pp | < 5pp | < 5pp |
| F1 分数 | 不适用 | 不适用 | > 0.85 |
⚠️ 小数据集提示:当 m < 30 时,主动告知用户"数据量较小,建议适当放宽标准(如验证错误率放宽 5%~10%)。如果坚持严格标准,优化可能难以达标。"
步骤 3:数据划分
⚠️ 如果 Step 1 已检测到
use_existing_split = True: 直接跳过此步骤,打印:"✅ 使用原始模型已有的数据切分(训练集 {m_train} 条 / 验证集 {m_val} 条)",然后进入 Step 4。
仅在 use_existing_split = False 时执行以下逻辑。
根据样本数选择划分策略:
m < 50?
├── 是 → k-fold 交叉验证(k=5)
│ 读取 references/kfold-cross-validation.md
│ 告知用户:
│ "数据只有 {m} 条(m < 50),用 60/20/20 切分会导致验证集太小(仅 {val_size} 条),
│ 评估结果波动很大。建议使用 k-fold 交叉验证(k=5),取平均误差。
│ 是否同意?(回复'可以'使用 k-fold,或回复'不'坚持传统切分)"
│
└── 否 → 60/20/20 三路切分
告知用户:
"数据 {m} 条,使用标准三路切分:
- 训练集 {train_size} 条 | 验证集 {val_size} 条 | 测试集 {test_size} 条"注意: 重新训练时保持原始模型的网络结构(hidden_size)、学习率(alpha)、迭代次数(iters)不变。只修改数据切分和正则化强度 lam。
关键实现细节:
- 打乱数据前固定随机种子(
np.random.seed(42)),保证可复现 - k-fold 时设置
k=5(m < 20 时降为k=3) - 切分后打印每组的大小和类别分布
步骤 4:计算误差指标
在训练集和验证集上计算:
分类问题(默认):
# 训练误差
_, _, _, _, _, h_train = forward_propagation(X_train, Theta1, Theta2)
y_pred_train = np.argmax(h_train, axis=1).reshape(-1, 1) # 多分类
J_train = np.mean(y_pred_train != y_train) # 错误率
# 验证误差(同理)
J_val = np.mean(y_pred_val != y_val)偏斜类检测: 如果任一类占比 < 15%,自动标记为偏斜类,读取 references/skewed-class.md 额外计算 Precision、Recall、F1。
输出格式:
========== 模型误差报告 ==========
训练集错误率: 0.00%(15/15 正确) ← ⚠️ 可能有过度训练
验证集错误率: 13.33%( 2/15 正确)
各类别错误率:
A级(高效节能): 0.0%( 5 个样本)
B级(中等能效): 40.0%( 5 个样本,2 个判错)
C级(能效较差): 0.0%( 5 个样本)
==================================步骤 5:画学习曲线
读取 references/learning-curve.md,生成并运行学习曲线代码。
执行流程:
- 从 reference 文件读取
plot_learning_curve()函数代码 - 在原模型代码末尾追加学习曲线绘制代码
- 运行,生成
learning_curve_{timestamp}.png - 打印每个训练集大小的 J_train / J_val
输出示例:
学习曲线 (m 从 3 到 12):
m= 3: J_train=0.00%, J_val=33.33%
m= 4: J_train=0.00%, J_val=33.33%
m= 6: J_train=0.00%, J_val=25.00%
m= 8: J_train=0.00%, J_val=16.67%
m= 10: J_train=0.00%, J_val=13.33%
m= 12: J_train=0.00%, J_val=13.33%
图片已保存: learning_curve_20260731_xxx.png步骤 6:输出诊断结论
根据步骤 4-5 的结果,对照 references/bias-variance-diagnosis.md 的诊断决策树,输出结论。
诊断逻辑:
J_train 高(> 阈值)?
├── 是 → J_val ≈ J_train(差距 < train_val_gap)?
│ ├── 是 → 🔴 高偏差(欠拟合)
│ └── 否 → 🟡 两者都有
└── 否 → J_val >> J_train(差距 > train_val_gap)?
├── 是 → 🔵 高方差(过拟合)
└── 否 → ✅ 效果良好输出格式:
========== 诊断结论 ==========
J_train = 0.00%, J_val = 13.33%
学习曲线特征:J_train 始终很低,J_val 随 m 增大缓慢下降但仍高于 J_train
诊断结果:🔵 **高方差(过拟合)**
- 模型在训练集上完美(0% 错误),但在验证集上表现差(13% 错误)
- J_train 和 J_val 之间存在明显 gap(13pp > 目标 5pp)
==============================如果是"效果良好":✅ 诊断完成,不需优化。直接结束。
如果"存在问题":
模型存在 {问题类型},建议进入优化阶段。 是否开始优化?(直接回复"可以"进入优化,或回复"不了"以当前诊断结果结束)
第二阶段:模型效果提升
⚠️ 仅在第一阶段诊断结论为"差"且用户同意优化时执行。
步骤 7:确定问题类型 + 推荐优化策略
根据步骤 6 的诊断结论,对照 references/bias-variance-diagnosis.md 中的对策表。
🔴 高偏差路径:
诊断结果:高偏差(欠拟合)——模型太简单,学不明白。
推荐策略(简单 → 复杂): ┌─────┬────────────────────┬──────────┐ │ 优先级 │ 方法 │ 说明 │ ├─────┼────────────────────┼──────────┤ │ ① │ 误差分析 │ 简单:看错在哪 │ │ ② │ 增加迭代次数 │ 简单:可能没训练够 │ │ ③ │ 减小 λ │ 简单:释放模型自由度 │ │ ④ │ 增加隐藏层神经元 │ 复杂:提升容量 │ │ ⑤ │ 增加隐藏层层数 │ 复杂:大幅提升容量 │ └─────┴────────────────────┴──────────┘ ❌ 不要加更多数据——对高偏差无效。
是否先做误差分析?(回复"可以"开始,或回复"跳过"直接调参)
🔵 高方差路径:
诊断结果:高方差(过拟合)——模型背下了训练集,泛化差。
推荐策略(简单 → 复杂): ┌─────┬────────────────────┬──────────┐ │ 优先级 │ 方法 │ 说明 │ ├─────┼────────────────────┼──────────┤ │ ① │ 误差分析 │ 简单:看错在哪 │ │ ② │ 增大 λ │ 简单:加强正则化 │ │ ③ │ λ 网格搜索 │ 复杂:系统化找最佳 λ │ │ ④ │ 早停训练 │ 复杂:在过拟合前刹车 │ │ ⑤ │ 减少隐藏层神经元 │ 复杂:降低容量 │ └─────┴────────────────────┴──────────┘ ❌ 不要减小 λ 或增加神经元——会让过拟合更严重。
是否先做误差分析?(回复"可以"开始,或回复"跳过"直接调参)
步骤 8:误差分析(简单方法优先)
读取 references/error-analysis.md,执行以下操作:
- 在验证集上找出所有错判样本
- 逐个展示:特征值、真实标签、预测标签、预测概率
- 引导用户归类错判原因
验证集共 {n_errors} 个错判样本:
样本 1/{n_errors}: 保温厚度: 8.00cm, 窗墙比: 0.28 真实: B级(中等能效) → 预测: A级(高效节能) 各类概率: A=52.3%, B=31.2%, C=16.5%
...(逐个展示)
你能看出这些错判样本的共同规律吗?比如:
- 是否缺少某种特征(如"朝向"、"窗户类型")?
- 是否标签本身有问题?
- 是否都处于类别边界(概率接近)?
根据你的判断,我会给出定向改进建议。
根据用户反馈输出改进方向:
| 用户反馈 | 建议方向 |
| 缺少特征信息 | 建议收集新特征(如"幕墙类型"、"朝向") |
| 标签有误 | 建议清洗/修正标签数据 |
| 边界模糊 | 建议加大 λ 或收集更多该区域的样本 |
| 看不清 | 跳过误差分析,进入自动调参 |
根据你的分析,建议:{改进方向}。 是否按此方向进行优化?(回复"可以"执行,或回复你的想法)
如用户选择跳过或看不清: 直接进入步骤 9(简单调参)。
步骤 9:简单优化方法
不修改网络结构,仅调整训练参数。按问题类型选择方向:
高方差 → 增大 λ 或减小 iters:
当前 λ = {old_lam},建议增大到 {new_lam}(加强正则化)。 是否尝试?(回复"可以"执行,或指定你想要的 λ 值)
高偏差 → 减小 λ 或增加 iters:
当前 λ = {old_lam},建议减小到 {new_lam}(释放模型自由度)。 是否尝试?(回复"可以"执行,或指定你想要的 λ 值)
执行方式:
- 修改原代码中的
lam/alpha/iters值 - 重新训练模型
- 计算新的 J_train / J_val
- 报告对比结果:
简单优化结果(调整 λ):
λ: {old} → {new}
J_train: {old} → {new}
J_val: {old} → {new}
效果: {改善 / 恶化 / 基本不变}步骤 10:复杂优化方法
简单方法无效时,按优先级执行:
高方差 → λ 网格搜索:
读取 references/lambda-grid-search.md,生成网格搜索代码并运行。
λ 网格搜索结果(10 个候选值):
λ J_train J_val 判定 0.000 0.0% 16.7% 0.010 0.0% 13.3% 0.100 0.0% 13.3% 0.300 0.0% 13.3% 1.000 0.0% 13.3% ← 当前 3.000 6.7% 6.7% ← 最佳! 10.00 13.3% 13.3% 最佳 λ = 3.0(验证错误率 6.7%,训练/验证差距消除) 是否基于此 λ 重新训练模型?(回复"可以"确认)
高方差 → 早停训练:
读取 references/early-stopping.md,生成早停代码并运行。
早停训练结果:
- 训练在第 2300 轮停止(上限 10000 轮)
- 最佳验证误差: 6.7%(第 2000 轮)
- 后续 5 次检查(500 轮)验证误差未改善,触发早停
是否使用早停后的模型?
高偏差 → 增加网络容量:
当前网络:{n} → {hidden_size} → {K}({total_params} 个参数) 建议增加隐藏层神经元:{hidden_size} → {new_hidden_size}({new_total_params} 个参数)
或者增加隐藏层层数:1 层 → 2 层({hidden_sizes})。
选择哪种方案?(回复"增加神经元"、"增加层数"或自定义)
两者都有 → 组合策略:
先做 λ 网格搜索找最佳 λ,再基于最佳 λ 调整网络结构。
步骤 11:效果验证 + 迭代决策
每次优化(步骤 9 或 10)后,执行验证:
- 重新计算 J_train / J_val
- 与步骤 2 的标准对比
- 判断是否达标
达标情况:
========== 第 {round}/3 轮优化结果 ==========
本轮操作:λ 网格搜索 → best λ = 3.0
J_train: 0.00% → 6.67%
J_val: 13.33% → 6.67%
训验差距: 13.33pp → 0.00pp
✅ 模型效果已达到标准!
- 验证错误率 6.67% < 目标 10% ✓
- 训验差距 0.00pp < 目标 5pp ✓
- 学习曲线趋于平稳 ✓
==========================================未达标 + 还有轮数(round < 3):
⚠️ 当前效果仍未达标:
J_val = {current},目标 < {target}
差距:{gap}
是否继续下一轮优化?
(回复"可以"继续第 {round+1} 轮,或回复"不了"以当前最优结果结束)未达标 + 已达上限(round = 3):
⚠️ 已达 3 轮优化上限。以下是 3 轮总结:
第 1 轮:误差分析 → 发现 B 级边界模糊 → 建议加数据
第 2 轮:λ 网格搜索 → best λ = 3.0 → J_val 13.3% → 6.7%
第 3 轮:早停训练 → 未进一步改善
最终 J_val = 6.7%,距目标 5.0% 差 1.7pp。
建议:
- 最根本方案:收集更多训练数据(当前仅 15 条)
- 次选方案:尝试收集新特征(如"朝向"、"建筑类型")
- 当前最佳模型已保存,可在获得新数据后重新诊断优化后效果变差的情况:
⚠️ 本轮优化导致效果恶化: J_val: {before} → {after}(变差 {delta})
已回滚到本轮优化前的最佳参数。 是否换一个方向继续优化?(回复"可以"换方向,或回复"不了"结束)
步骤 12:输出优化结果
优化完成(达标/上限/用户终止)后:
- 新建优化代码文件:
neural_network_optimized_{YYYYMMDD}_{HHMMSS}.py - 输出最终学习曲线图:
learning_curve_optimized_{YYYYMMDD}_{HHMMSS}.png - 报告优化摘要
新文件的生成方式:
- 读取原始
.py文件全文 - 定位并替换优化后的参数(
lam,alpha,iters,hidden_size等) - 如果启用了早停:替换
gradient_descent()调用为早停版本 - 在文件头部注释中追加优化记录:
# ===== 优化记录 =====
# 原始文件: neural_network_20260730_142112.py
# 优化日期: 2026-07-31 15:30
# 优化轮数: 2 轮
# 第 1 轮: 误差分析 → B 级分类边界模糊
# 第 2 轮: λ 网格搜索 → best λ = 3.0, J_val 13.3% → 6.7%
# 最终: J_train=6.7%, J_val=6.7%, 差距 0pp
# ===================最终报告格式:
========== 优化完成总结 ==========
原始模型: neural_network_20260730_142112.py
优化后模型: neural_network_optimized_20260731_153000.py
进行了 2 轮优化:
第 1 轮: 误差分析 → 发现 B 级边界模糊,建议加数据
第 2 轮: λ 网格搜索 → λ=1.0→3.0, J_val 13.3%→6.7%
最终效果:
- 训练错误率: 6.7%
- 验证错误率: 6.7%
- 训练/验证差距: 0pp
- 学习曲线: learning_curve_optimized_20260731_153000.png
优化后代码: neural_network_optimized_20260731_153000.py
原始代码保留在: neural_network_20260730_142112.py
==================================占位符汇总
本技能生成代码时使用的占位符:
| 占位符 | 说明 | 来源 |
{ORIGINAL_FILE} | 原始模型代码路径 | 步骤 1 |
{NEW_FILE} | 优化后代码路径 | 步骤 12 |
{M} | 样本数 | 步骤 1 |
{N} | 特征数 | 步骤 1 |
{K} | 类别数 | 步骤 1 |
{ALPHA} | 学习率 | 步骤 1 |
{LAMBDA} | 正则化强度 | 步骤 1 / 优化后 |
{ITERS} | 迭代次数 | 步骤 1 / 优化后 |
{HIDDEN_SIZE} | 隐藏层神经元数 | 步骤 1 / 优化后 |
{VAL_ERROR_THRESHOLD} | 验证错误率上限 | 步骤 2 |
{TRAIN_VAL_GAP} | 训验差距上限 | 步骤 2 |
{TIMESTAMP} | 当前时间戳 | 步骤 5/12 |
{ROUND} | 当前优化轮数 | 步骤 11 |
{DO_SPLIT} | 原始模型是否已切分 | 步骤 1 |
{TRAIN_IDX} | 训练集索引(复用已有切分) | 步骤 1 |
{VAL_IDX} | 验证集索引(复用已有切分) | 步骤 1 |
{M_TRAIN} | 训练集样本数 | 步骤 1/3 |
{M_VAL} | 验证集样本数 | 步骤 1/3 |
{BEST_LAMBDA} | λ 网格搜索最优值 | 步骤 10 |
关键注意事项
编码问题
Windows GBK 环境下,print 中的 Unicode 特殊字符需替换:θ→theta, λ→lambda, δ→delta。matplotlib 的 label/title 不受影响。
无头环境
诊断代码中必须 matplotlib.use('Agg'),用 plt.close() 代替 plt.show()。
小数据集
- m < 50 自动触发 k-fold CV
- m < 20 时 k-fold 的 k 降为 3,并提示用户放宽标准
- m < 10 时诚实告知数据太少,诊断结果仅供参考
原始文件保护
- 原始
.py文件一字不改 - 优化后生成新文件,文件名带
_optimized标识和新的时间戳 - 每轮优化的最佳参数保存在内存中,支持回滚
代码修改策略
- 优先通过正则替换修改参数(
lam = {OLD}→lam = {NEW}) - 如果启用了早停:替换
gradient_descent()函数定义和调用 - 如果修改了网络结构:同步修改 Theta 初始化、forward/back prop 的维度
- 修改后在文件头追加优化记录注释
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

