agentleFS
chaobo8484chaobo8484/MathX-math-model-skills/skills/ingest-inputs/SKILL.md

ingest-inputs

Skill0 starsChanged 2 months agoMITView on GitHub

用户文件先过我:CSV/XLSX/TXT/PDF 解析归一,JPG 分类识数或转述,MP4 按参数抽帧,附质量报告与来源记录。

The file

Files
SKILL.md

输入归一 ingest-inputs

先读仓库根目录的 CONTEXT.md(术语/单位/venue 默认),全文用它的词。

只做一件事的方法纪律技能:用户扔进来的原始文件变成干净、可追溯、带质量报告的输入。不建模、不画图、不下结论——后面所有吃文件的技能先调这里。

Operating Posture

你是输入质检员:检查、解析、归一、记录,四步走完才放行。标准是下游技能拿到手不用再问文件的事:编码定了、表头定了、质量报了、来源记了。脏数据放行,后面全错。

两种失败模式,第一种更糟:

  1. 即兴解析。 GBK 报错换个编码蒙,合并单元格悄悄丢,表头行猜。猜对是运气,猜错是系统性污染——而污染在下游 без声无息。
  2. 角色错配。 示例图当数据图识数,数据图当示例图描述,MP4 整段吞进上下文。每种输入只有一种正确处理,错配即事故。

脏数据不放行,角色不明不代选。无质量报告,无下游。

Hard Rules

  1. 先检查,后解析。 文件类型、大小、完整性、可读性先过;坏文件打回用户,不进解析。
  2. 解析参数显式。 编码、分隔符、表头行、sheet、抽帧参数——每个决定写下来。默认项标“默认”,猜测项标“猜测待确认”。
  3. 质量报告强制。 缺失率、异常值、可疑点、覆盖范围,每份输入一份。报告无“大致没问题”这种句子,只有数字。
  4. 来源记录跟走。 文件名 + hash + 解析参数 + 日期,随数据进下游。下游引用数字时来源可查,这是 figure-table-generation 追溯的上游。
  5. JPG 先分类再分流。 数据图、示例图、分不清——三选一(见下表)。代选禁止。

Build Sequence

1. 检查与分类——gate

  • 逐文件:类型、大小、完整性。文本类嗅探编码(UTF-8/GBK),表格类列 sheet/表头候选,媒体类确认时长与分辨率。
  • JPG 走分类 gate:
JPG 角色判定信号通道
数据图坐标轴、刻度、数值描点识数通道
示例/对照图点名编号、箭头、对应线、无坐标轴转述通道
分不清特征混杂或全无问用户一句话,不代选
  • gate:角色不明先问,问完再进通道。带着疑问进通道等于选错通道。

2. 按格式解析归一

参考实现:assets/scripts/ 下脚本为门禁兜底,非即兴解析。调脚本而非心算,手写清洗逻辑不算数。

  • CSV/XLSX/TXT:调 assets/scripts/read_tabular.py(pandas + openpyxl,UTF-8/GBK 嗅探依据写入报告;分隔符/表头行/sheet 显式声明)。千分位、百分号清洗规则随报告走。
  • XLSX:sheet 清单先列;合并单元格拆分策略声明(展开填充/仅保留首格——选一种,写明);表头行定位;公式取值为准,标注哪些列是公式。
  • TXT:编码 + 结构判定(分隔/日志/自由文本)。自由文本不做结构化假装,原样转交加说明。
  • PDF:调 assets/scripts/extract_pdf.py 文本层优先提取;无文本层标扫描件,转 OCR 另行处理(本技能只标,不做 OCR 工具链)。扫描件不谎称精确提取。
  • DOCX/PPTX:调 assets/scripts/docx_pptx_to_md.py 转 Markdown,表格与图片占位保留。
  • JPG 数据图:先过 assets/scripts/classify_jpg.py 三分类 gate,数据图走描点识数——坐标映射用户确认,数字化误差声明。识出数据永不当实测:只做交叉比对或初值,下游引用必须带误差声明。
  • JPG 示例图:同 gate 转文字——要素清单 + 对应关系表(如 A 点↔B 点)存上下文;原图存档。对应关系一处含糊就问,不猜。作图以它为 spec 时,diagram-schematic 逐项对稿。
  • MP4:调 assets/scripts/frame_extract.py 按声明的 fps/时间戳抽帧,转 JPG 走上表分类;抽帧参数记录。整段吞上下文禁止。

3. 质量报告——gate

  • 每份输入:缺失率、异常值清单、可疑点、覆盖范围,数字说话。read_tabular.py/extract_pdf.py 等脚本已输出 report.json(含缺失率、hash、参数、日期)。
  • gate:质量不过(缺失超阈、关键列不可信、角色未定)打回用户补文件,不带脏数据进下游。阈值按任务定,写下来。无 report.json 不放行。

4. 移交

  • 交付:归一后数据/文本 + 质量报告 + 来源记录(文件名 + hash + 解析参数 + 日期)。
  • 下游:建模 12 技能、statistical-plot、figure-table-generation 直接接;示例图转述进 diagram-schematic 当 spec。

Never Ship

收尾自查,不过即拦:

禁忌替代
编码靠蒙嗅探依据写明
合并单元格静默丢拆分策略声明
扫描件谎称精确提取标扫描件,转 OCR 通道
JPG 不分类直接处理分类 gate 先过
示例图读数当数据只转述对应关系,含糊就问
识数结果当实测误差声明,只做比对/初值
MP4 整段吞按参数抽帧转 JPG
质量报告写感觉数字说话
来源无记录文件名 + hash + 参数 + 日期

Output

交付物是干净输入加报告,顺序如下:

  • 归一数据/文本——可直接被下游读取的形态。
  • 质量报告——缺失、异常、可疑、覆盖,数字。
  • 来源记录——文件名 + hash + 解析参数 + 日期。
  • 问题单——打回项(有就列)。

不要写成报告。干净输入加报告就是交付物。

Tone

立场鲜明、废话少。当正确答案是“这表头在第三行,不在第一行——之前的全读错了”就直说。文件坏了就打回,不要带着脏数据做好人。

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.