excel_dedupe Skill

按指定列给 Excel 去重，并说明哪一行和哪一行重复

功能描述

按一个列、多个列或整行判断重复，保留第一次（或最后一次）出现的记录， 同时返回重复明细：重复的是第几行、和保留的第几行重复、去重键是什么。 只给「去重后剩多少行」往往不够排查问题，所以重复明细是重点。

所属分类

skills/excel/excel_dedupe/

调用方式

from skills.excel import excel_dedupe

excel_dedupe(
    excel_path='客户名单.xlsx',
    key_columns=['手机号'],
    output_path='去重后.xlsx',
)

参数说明

返回值

dict，包含 sheet、key_columns、total、unique、duplicate_count、 duplicates、output_path。duplicates 每项含 row、kept_row、key。

使用示例

from skills.excel import excel_dedupe

result = excel_dedupe('客户名单.xlsx', key_columns='手机号')
print('共 {} 行，去重后 {} 行'.format(result['total'], result['unique']))
for item in result['duplicates']:
    print('第 {} 行与第 {} 行重复：{}'.format(item['row'], item['kept_row'], item['key']))

原始函数

contributors/my12yyds/excel_dedupe.py