name: model-tester aliases: ["/测模型", "/model-test", "/评模型", "/雷达"] description: > AI模型能力测试方法论 - 通过交叉验证、综合性任务、长期观察形成模型画像。 触发场景：(1) 想评估某个模型的能力边界，(2) 需要选择合适的模型执行任务， (3) 想设计综合性测试任务，(4) 积累模型使用心得。 核心方法：模型互评 + 综合性任务 + 长期画像积累。 version: "2.0.0"

Model Tester v2.0 - 六维雷达标准化测试

核心框架：六维能力雷达

18 个标准化测试用例（6 维度 x 3 变体），基于真实学术写作失败模式设计， 通过 AI Judge 自动评分，生成可量化比较的模型能力画像。

六个维度

三级测试变体

• _a（标准）: 基础能力验证
• _b（中等）: 增加复杂度和边界条件
• _c（困难）: 基于 18 个真实失败模式 (FP-1~18) 设计，打破天花板效应

代码位置

~/ai-research-army/tests/model-radar/
  models.yaml        <- 模型注册表（添加新模型改这里）
  test_cases.py      <- 18 个测试用例 + 执行引擎
  match_roles.py     <- 三层匹配算法（模型→角色推荐）
  visualize.py       <- 雷达图可视化
  results/
    radar_composite.json  <- 所有模型的汇总雷达数据

标准工作流

场景一：测试新模型

当有新模型发布，需要评估其能力时：

Step 1: 注册模型

编辑 ~/ai-research-army/tests/model-radar/models.yaml：

models:
  new-model-id:
    label: "New Model"
    family: "Vendor"       # Anthropic / Google / OpenAI / ...
    route: local           # local(LLM网关) / aicodewith / openrouter
    # model_map: "actual-api-id"  # 可选：API实际接受的model ID

Step 2: 运行测试

cd ~/ai-research-army
python tests/model-radar/test_cases.py --model new-model-id --full --merge

• --full: 跑所有 18 个场景（每维度 3 个变体取平均）
• --merge: 自动合并结果到 radar_composite.json
• 不加 --full 为快速模式（每维度只跑 _a，6 个场景）

Step 3: 查看结果

# 生成雷达图
python tests/model-radar/visualize.py results/radar_composite.json

# 运行角色匹配（如果需要决定 Agent 分配）
python tests/model-radar/match_roles.py results/radar_composite.json

场景二：比较已有模型

cd ~/ai-research-army

# 查看已有数据
python tests/model-radar/test_cases.py --list-models

# 生成对比雷达图
python tests/model-radar/visualize.py results/radar_composite.json

场景三：快速验证单维度

# 只跑 Dim2（果断判断力）和 Dim4（细节精度）
python tests/model-radar/test_cases.py --model new-model-id --dim 2 4

常用命令速查

端点路由

端点配置在 models.yaml 的 endpoints 段，API Key 集中管理。

评分机制

• AI Judge: 大部分维度由 claude-opus-4-6-thinking 作为裁判评分
• 自动验证: Dim3 (长链一致性) 用正则自动检查关键检查点
• 分数范围: 0-10，取同维度 a/b/c 三个变体的平均分（跳过 0 分异常）
• 结果格式: radar_composite.json 存储每个模型的六维分数 + 场景细分

匹配算法（可选）

match_roles.py 实现三层匹配，将模型能力映射到具体角色需求：

1. 硬约束层: CLI/API 分池 + 最低分门槛
2. 加权匹配层: 死维度检测 + 成本权重（API 角色）
3. 多样性层: 同类角色不分配同一模型

补充方法

交叉验证法（定性）

让两个模型互相评审代码/方案，观察思考深度和可塑性。 适用于：难以量化的能力（如沟通风格、创造性）。

综合性任务（探索性）

金门大桥 3D、全栈应用等大型任务，一次测试多个耦合维度。 适用于：首次接触新模型家族，形成直觉画像。

任务 Prompt 存放在 ~/.claude/skills/model-tester/assets/。

已有雷达数据（截至 2026-03-06）

数据来源: radar_composite.json（Full 模式，18 场景）

执行流程（Claude Code 内）

当用户触发本 skill 时：

1. 询问测试模式：
   • 测新模型: 引导注册 → 运行 → 合并 → 可视化
   • 查看数据: 展示当前 composite 数据 + 雷达图
   • 角色匹配: 运行 match_roles.py 推荐 Agent 分配
2. 对于"测新模型"，需要确认：
   • 模型 ID（API 接受的名称）
   • 显示名称
   • 厂商家族
   • 路由端点（需要哪个 API 渠道）
3. 自动执行：编辑 models.yaml → 运行测试 → 合并 composite → 输出汇总

版本: v2.0 — 六维雷达标准化框架 18 测试用例基于真实失败模式 (FP-1~18) 设计