面向 LLM 的数据清洗

数据质量决定 RAG 检索与微调效果的上限。本技能提供一套可复用的清洗与质检流程。

使用步骤

1. 抽样了解数据（先看样貌）

• 随机抽样 + 分布统计：长度、语言、编码、字段缺失率。
• 记录典型噪声：乱码、格式混乱、重复、HTML/标签残留、敏感信息。

2. 分维度清洗

• 文本规范化：统一换行/空白、Unicode 归一化（NFC）、去除不可打印字符、统一引号。
• 去噪：去掉广告/导航/模板页眉脚（对爬取内容尤其重要）、HTML/XML 标签、Markdown 符号按需保留或剥离。
• 去重：按指纹或归一化文本做近似去重（如 minhash / simhash / embedding 相似度），保留代表样本。
• 去敏感（隐私）：识别并打码/删除身份证、手机号、邮箱、密钥等（用正则 + 关键词 + 可选的 NER）。
• 语言/粒度：按需过滤非目标语言、太短片段、异常长度（过长截断、过短丢弃）。

3. 抽取有效内容（面向 RAG/微调）

• 按标题/章节切片为语义完整的块。
• 保留元数据（来源、时间、标题），便于追溯与检索。
• 对表格/代码/公式单独标记类型，避免混排泄漏。

4. 质检与量化（清洗前 → 清洗后）

对每个维度统计清洗前后对比，形成质检报告：

样本总数 / 去重去掉 / 去噪去掉 / 脱敏条数 / 保留率

抽样人工复核若干条，确保清洗没有误删有效信息。

5. 输出

• 输出干净数据集 + 元数据清单 + 质检报告。
• 建议同步输出清洗脚本（可复现），并保留原始数据以便追溯。

自查清单

• 是否先抽样了解再清洗（避免一刀切误删）。
• 去重/去噪的阈值是否合理，是否覆盖代表性样本。
• 隐私信息是否已脱敏。
• 是否保留可复现的清洗脚本。
• 清洗前后是否有量化对比与人工抽样复核。

参考关联

• 清洗后的数据用于 RAG 见 rag-builder；用于微调见 fine-tuning-prep。