图片分析 (image-analysis)

把图片翻译成结构化 Markdown 报告（文字 + 形状/大小/颜色 + 控件 + 图标 + 表格 + 布局 + 文本块），让纯文本模型"看懂"图片。

环境要求

已全部就绪，无需安装：

• Python 3.9+ + Pillow + numpy + opencv-python-headless
• Windows 自带 OCR 引擎；RapidOCR（pip install rapidocr_onnxruntime）安装后自动启用，双引擎并行取并集，识别率更高

若脚本报缺少库：python -m pip install pillow numpy opencv-python-headless

使用流程

1. 确认用户提供了图片的本地文件路径（相对路径基于当前工作目录；会话里粘贴的图片先保存成文件）。
2. 上下文复用（重要）：若当前会话已经分析过同一张图（相同路径，或内容哈希一致），不要重复运行脚本——直接引用之前的报告回答。脚本自带内容缓存（默认 ~/.cache/image-analysis/，按文件 MD5 索引），即使换路径重跑同一张图也会秒回并提示 [缓存命中]。
3. 运行分析脚本（推荐加 --plain）：

python "<技能目录>/scripts/analyze_image.py" "<图片路径>" --plain

多图/目录并行批量（多进程，默认 3 个 worker）：python "<技能目录>/scripts/analyze_image.py" 图1.png 图2.png 或目录 --plain --out-dir 输出目录 --workers 4

4. 【重要】二次整合（本技能的核心环节）：拿到报告后，不要直接复述表格。按以下顺序把零散数据重组后再回答用户：

   a. 文字整合：把 OCR 的零散行/词按位置与语境重组为完整句子、段落、键值对、列表（例如 "张三 技术部 工程师 2019" 重组为 "张三｜技术部｜工程师｜2019" 或对应表格行）。拼接时结合「文本块聚类」段的分组。 b. 结构叙述：用「布局结构」+「元素清单」+「表格识别」组织一段自然语言描述：这是什么界面/文档 → 有哪些区域/控件/图标 → 每个部分的位置（x/y 范围）、形状、大小、颜色、功能、内容。 c. 内容澄清：明确区分"识别到的内容"（有 OCR/坐标依据）与"推断的内容"（推测，需用"可能是""疑似"标注）。表格数据保持表格形式，不要改写成段落。元素表的"功能(猜测)"列本身就是推测，引用时说明是猜测。 d. 置信度提示：报告开头的「识别置信度」决定引用力度——"高"可直接引用具体数据；"中"引用时注明引擎误读可能；"低"（照片/小字/插画）只描述配色和版面，明确告知用户内容理解受限，可建议视觉模型方案。

5. 回答用户问题（UI 分析、报错定位、文档内容提取、表格数据引用等），引用具体数据（坐标、颜色、文字）。

常用选项

• --width N：字符画宽度（默认 72）
• --plain：字符画用 [#RRGGBB] 文本色码（推荐）；不加则用 ANSI 转义码
• --no-ascii：不生成字符画（省 token）
• --out 文件 / --out-dir 目录：输出文件/批量输出目录
• --ocr {auto,windows,rapid,both}：OCR 引擎。默认 auto = Windows +（已装时）RapidOCR 并行取并集
• --workers N：多图并行分析的工作进程数（默认 3）
• --cache-dir 目录 / --no-cache：缓存目录（默认 ~/.cache/image-analysis）/ 禁用缓存

报告结构（八段式）

• 开篇：识别置信度（高/中/低，决定数据引用力度）
• 一、整体信息：原图尺寸、主要颜色及占比（背景标注）
• 二、元素清单：每个区域的所属父容器、功能(猜测)、类型/形状、x 范围、y 范围、大小、颜色、包含文字
• 三、布局结构：顶栏/侧边栏/内容容器/行分组/连线/图标归纳
• 四、层级关系：父子包含树（哪个元素在哪个卡片/容器内）
• 五、文本块聚类：文字行按段落/卡片分组（二次整合的主要依据）
• 六、表格识别（检测到时出现）：网格表格与无竖线表格 → markdown 表格，含单元格文字
• 七、OCR 全文：所有识别到的文字及位置；数学公式行标注 [公式] 并做符号规范化（上标 x²、负号 −、≥≤ 等）

能力边界（如实告知）

• 图标识别：内置 15 种常见图标（搜索/设置/菜单/关闭/返回/加号/扫码相机/分享/收藏/点赞/下载/更多/播放/用户/时钟/删除），风格不匹配的图标会漏报（宁缺勿错）
• 数学公式：能检测并规范化常见符号，但复杂公式仍需人工/视觉模型确认
• 照片/小字/美术字：置信度会标"低"，仅配色与版面可信

注意事项

• 适用：UI 截图、网页、流程图、图表、表格报表（识别准确）。
• 照片/复杂插画效果有限：只能给出主色和色块分布（元素表超 12 条自动折叠）。置信度会标"低"，如实告知用户，可建议视觉模型方案。
• OCR 局限：<10px 小字双引擎都识别不了；美术字效果差。识别不全时如实说明。
• 表格识别要求行线互相横向对齐且间距均匀（防流程图节点误报）；只有横线没有竖线的表格也能识别（列从文字位置推断）。