wechatreader
Skill0 starsChanged 35 days agoMITView on GitHub
读取微信 4.x 群消息并生成日报或 AI 知识看板。当用户说「微信群日报」「微信群消息」「看看这几个群聊了什么」「总结群消息」「拉一下微信群数据」「群里今天说了什么」「微信群里有没有人提 X」「知识看板」「AI 知识库」「radar 看板」时使用。refresh 会用只读内存扫描从运行中的微信取密钥并解密到本地,源目录全程只读不回写。
- Reads credentials
- Installs packages
In this repository38 other files it gives its agents.
- aranya-nonstandardSkill
- bailian-zxSkill
- brand-research-scoutSkill
- city-new-mall-scanSkill
- commercial-hubSkill
- commercial-report-deliverySkill
- commercial-site-researchSkill
- laoyang-article-excelSkill
- laoyang-article-imagesSkill
- laoyang-channels-video-agentSkill
- laoyang-quality-checkSkill
- laoyang-short-videoSkill
- laoyang-topic-researchSkill
- mall-competition-scanSkill
- md2wechatSkill
- platform-content-adapterSkill
- restaurant-evaluatorSkill
- shui-on-xintiandiSkill
- store-site-analysisSkill
- tianmuli-teamSkill
- urf-curetailSkill
- wanhua-luxelakesSkill
- warm-article-dailySkill
- wechat-account-analyzerSkill
- wechat-article-extractorSkill
- wechat-brand-extractSkill
- wechat-managerSkill
- wechat-mp-data-collectSkill
- wechat-mp-publishSkill
- zouyi-chaserSkill
- zsxq-bd-harvestSkill
- 余峰-perspectiveSkill
- 潘玉明-perspectiveSkill
- 王智明-perspectiveSkill
- 王玮-perspectiveSkill
- 管有冬-perspectiveSkill
- 老杨拆商业-perspectiveSkill
- 蔡云-perspectiveSkill
The file
Files
wechatreader · 微信群消息日报
把微信群聊变成可以总结的日报。源目录全程只读:不回写一个字节、不注入微信、不在源目录产生任何副作用文件。
⚠️ 安装后必做:先配置两个路径,再谈别的
本 skill 不预设任何盘符,没配置时所有脚本会拒绝运行(这是故意的)。
安装完第一件事就是引导用户配置,别直接跑 refresh:
# 1) 看是否已配置
python scripts/wx_config.py --show
# 2a) 已配置 → 跳过,直接进入下面的使用流程
# 2b) 未配置 → 跑交互向导(自动探测微信目录,让用户确认)
python scripts/wx_setup.py
# 2c) 用户能直接给出路径时,非交互写入
python scripts/wx_setup.py --src "<微信文件管理目录>" --data "<工作区目录>"要问用户的两句话(wx_setup.py 会自动探测并让用户确认,探测不到才手动问):
- 微信数据目录(src,只读) —— 微信 → 设置 → 文件管理 → 打开文件夹,把那个路径给出来
- 工作区目录(data,可写) —— 解密产物放哪,随便一个有空间的目录,不能放进 src 里
配置写入 ~/.wechatreader/config.json,只问这一次,以后所有脚本自动读取。
路径优先级与更多细节见下文「换机器 / 换盘符要改什么」。给最终用户的完整图文指南见 GUIDE.md。
关于「只读」的准确说法(2026-09-03 复核后订正):源目录
$SRC从不被sqlite3打开, 所以那里一个字节都不会动。但工作区副本是 WAL 模式的库,mode=ro打开时 SQLite 仍会 创建/刷新<db>-shm(实测每次打开都更新 mtime,这是 SQLite 的必然行为,不是写回;-wal恒为 0 字节)。 早先写「绝不生成 -wal/-shm」是错的 —— 那只针对源目录成立。
装在哪 · 能不能全局用
建议装在 user-level:~/.workbuddy/skills/wechatreader(Windows 上是
C:\Users\<用户名>\.workbuddy\skills\wechatreader)—— 所有项目、所有工作区都能用,
不绑任何 workspace。已实测:从盘符根目录、从用户主目录调用都正常,
脚本用 os.path.abspath(__file__) 定位自己,不依赖当前工作目录。
换机器 / 换盘符要改什么 —— 没有默认值,必须先配:
这个 skill 不预设任何盘符。以前两个环境变量兜底成作者机器上的固定盘符, 换台机器会静默指向一个不存在的路径,用户看到的是「找不到库」这种隔靴搔痒的错。 现在解析不到就直接拒绝运行并打印向导命令。
下文统一用
$SRC代指 src(微信源目录)、$DATA代指 data(工作区), 实际值由~/.wechatreader/config.json决定。跑wx_config.py --show看当前值。
| 项 | 是什么 | 怎么找 / 怎么设 |
src 微信源目录(只读) | 微信「文件管理」那个目录 | 微信 → 设置 → 文件管理 → 打开文件夹。或跑 wx_setup.py 自动探测 |
data 工作区(可写) | 明文库 / 索引 / 日报 / 看板落这儿 | 随便挑个有空间的盘。不能放进 src |
第一次用(或换机器),先跑向导:
python scripts/wx_setup.py # 交互式,自动探测
python scripts/wx_setup.py --src <目录> --data <目录> # 非交互
python scripts/wx_config.py --show # 看当前生效的配置
python scripts/wx_config.py --probe # 只探测,不改配置配置落在 ~/.wechatreader/config.json —— 放用户目录而不是 skill 目录,
这样更新/重装 skill 不会把用户的配置冲掉。可用 WECHATREADER_CONFIG 指向别处(测试用)。
优先级:--src/--data 参数 > WECHATREADER_SRC/WECHATREADER_DATA 环境变量 >
配置文件 > 拒绝运行(exit 2)。临时换目录用环境变量即可,别再加第四种方式。
为什么不放在 skill 目录的
.env(2026-09-07 定,别再改回去) 有人问过要不要用.env。格式不是关键,位置才是: · 放 skill 目录(.env或config.json都一样)—— 更新/重装 skill 会被冲掉, 那就违背了「配一次以后不再问」的初衷,每次重装都得再来一遍。 · 放用户目录 —— 重装不丢,这才是我们要的。 所以最终是「用户目录 +config.json」。.env那套语法的唯一好处是人人会改, 但config.json只有两行、内容一眼看懂,不值得为此引入第四种配置来源。 用户已确认这个选择,后续不要再提议改成.env。
依赖非常轻:
- 零第三方库 —— 只 import 标准库(
argparse/sqlite3/difflib/subprocess等) zstandard是可选的,只在遇到 zstd 压缩的长消息时用;没装也不会崩,只是那条消息降级成占位符- 解密工具
tools/wcdb-key-tool/自带(MIT,纯标准库,AES 走 Windows 自带 CNG) - 仅 Windows —— 内存扫描靠 ctypes 调 Win32 API(
ReadProcessMemory)
三条铁律
- 源目录只读 ——
$SRC只用open('rb')和mode=ro打开,绝不写回、绝不产生副作用文件。 - 解密也是只读的 ——
refresh走只读进程内存扫描(ReadProcessMemory),不注入 DLL、不改微信行为、不碰网络协议。但这一步绕开了 SQLCipher 保护,见文末风险说明,须用户授权后才做。 - 产物只落工作区 —— 一律写
$DATA,绝不写进$SRC(wx_setup.py会拦这种配置)。 工作区放哪个盘随你,只要求:有空间、能写、不在微信目录里。
两种用法
A. 说话就行(推荐) —— 在 WorkBuddy 里直接下指令,本 skill 会自动加载并跑完整条管线:
「拉一下微信群日报」 「看看 产品A售后群 和 行业交流群 今天聊了什么」 「总结这几个群昨天的消息」
不点名群时,读 $DATA\groups.txt 里的常驻群清单(改这个文件就能改默认盯哪些群)。
B. 自己敲命令 —— 想调参数、想接脚本时用。
五步管线
refresh → list → read → search → wx_kb
拉数据 选群 出日报 跨群搜 AI 知识看板环境
PY="C:/Users/<用户名>/.workbuddy/binaries/python/envs/default/Scripts/python.exe"
SCRIPTS="C:/Users/<用户名>/.workbuddy/skills/wechatreader/scripts"该 venv 已装
zstandard。没有它也能跑,只是 zstd 压缩的长消息会降级成占位符。 系统 Python 3.14 同样可用(路径形如C:/Users/<用户名>/AppData/Local/Programs/Python/Python314/python.exe)。
前置条件:微信必须已登录且正在运行。 refresh 要从 Weixin.exe 进程里读密钥。
1. refresh —— 提取密钥并拉最新数据
"$PY" "$SCRIPTS/wx_read.py" refresh # 默认源 $SRC
"$PY" "$SCRIPTS/wx_read.py" refresh --src "<其他目录>" # 换源
"$PY" "$SCRIPTS/wx_read.py" refresh --only "session\session.db" # 只想刷某一个
"$PY" "$SCRIPTS/wx_read.py" refresh --full # 强制全量重解(副本损坏时)内部两步:
- 调自带的
tools/wcdb-key-tool只读扫描进程内存,取回各库的密钥(作者机器上是 19 个)→$DATA\all_keys.json - 逐库更新到
$DATA\db\—— 默认增量:源主库没被 checkpoint 过(mtime 未变)且密钥没换时, 只解密源 WAL 里本周期的新 frame(rb 读微信 WAL),patch 进工作区明文副本,亚秒级; 否则(首次 / 重登换密钥 / checkpoint 发生 /--full)自动全量重解,全量后立刻再 patch 本周期 WAL, 避免最新消息卡在 WAL 里。状态记在refresh_state.json。WAL-only 路径会先验源库 page1 HMAC。
默认只解 message_0.db / contact.db / session.db(作者机器上约 330MB、全量 4 秒内)。
--only 用逗号分隔相对路径,按后缀匹配,所以写 message\message_0.db 就能命中那个很长的账号相对路径。
幂等,跑几次都行。源目录不做任何改动(连 WAL 都只读不写)。
⚠️⚠️ 深坑:群消息会跨分片,默认只解 message_0 会静默漏数据
2026-09-29 实测踩到。 一个群的 Msg_<md5> 表不是只在一个分片里——大群的历史会被拆到多个
message_N.db,refresh 默认只解 message_0.db,于是读到的消息数远小于真实量,而且不报错。
实测(macOS,11 个分片 message_0~10.db,共约 1.3GB):
群 默认(仅 message_0) 全分片 漏读比例
华南1群 5,436 5,436 0%
华南2群 11,160 11,160 0%
老曾广佛 25,100 25,100 0%
无忧搬砖🧱—路发! 7,363 213,229 96.5% ← 只拿到 3.5%无忧搬砖群的表分布在 shard 0~8。只看 wx_read.py list 的数字会以为是真实总量,其实是残量。
正确姿势:要做全量抽取(品牌/联系人/历史溯源)时,先解全部分片。
# ① 列出源目录所有 message 分片
SRC=<...>/db_storage
LIST=$(ls "$SRC/message/" | grep -E '^message_[0-9]+\.db$' | sed 's|^|message/|' | paste -sd, -)
# ② 一次全解(实测 1.3GB / 约 2 秒,很快,不要犹豫)
"$PY" "$SCRIPTS/wx_read.py" refresh --only "$LIST"解完可以用下面的办法确认某群到底跨几个分片,别猜:
# <hash> = md5(chatroom_id),即 attach 目录名 / Msg_ 表名后缀
for f in "$DATA/db/"message_[0-9]*.db; do
n=$(sqlite3 "file:$f?mode=ro" "SELECT COUNT(*) FROM Msg_<hash>;" 2>/dev/null) \
&& echo "$(basename $f): $n"
donewx_read.py read 对跨分片表会自动合并(日志里会打
[i] 表 Msg_xxx 跨分片存在于 message_1.db, message_2.db ...,读取时将合并)——
看到这行 [i] 就是在提醒你:还有别的分片没解,当前读的是残量。别忽略它。
小技巧:只关心最近几天时,可以先按默认 refresh(快);只要涉及全量统计、历史联系人、规模评估,
必须全分片。判断标准是「我要的是最近窗口 还是 全量」。
从 sqlite 直接读分片时注意(给下游脚本喂数据用):wx_group_dump.py --db 要的是
目录结构 <db>/contact/contact.db + <db>/message/message_*.db,
而 refresh 产出的是扁平结构 <db>/contact.db + <db>/message_0.db。
要先用软链搭一层:
mkdir -p $DATA/dblayout/contact $DATA/dblayout/message
ln -sf $DATA/db/contact.db dblayout/contact/contact.db
for f in $DATA/db/message_*.db; do ln -sf "$f" "$DATA/dblayout/message/$(basename $f)"; done2. list —— 看有哪些群
"$PY" "$SCRIPTS/wx_read.py" list --top 40 # 按消息数
"$PY" "$SCRIPTS/wx_read.py" list --sort recent --top 20 # 按最近活跃
"$PY" "$SCRIPTS/wx_read.py" list --sort member --top 20 # 按成员数第一行会打出「数据最新时间」——先确认这个是今天,再出日报。
2.5 wx_state —— 问题生命周期追踪
日报里「某口径挂了 5 天」这类跨天追踪,别再靠 LLM 每次现场重算,落库:
"$PY" "$SCRIPTS/wx_state.py" add "退货率计算识别不了原始文件" --group "跟单群" --raised 2026-08-29
"$PY" "$SCRIPTS/wx_state.py" add "一句话描述" --group "跟单群" # --raised 不传 = 今天
"$PY" "$SCRIPTS/wx_state.py" list # 只看 open,挂起天数 = 今天 - 提出日
"$PY" "$SCRIPTS/wx_state.py" touch 3 # 今天仍被提及(已 close 会警告)
"$PY" "$SCRIPTS/wx_state.py" close 3 --note "已修复" # 解决对账流程见 prompts/issue-list.md 的「第 5 步:state 对账」。
3. read —— 出日报
# 直接指定群(可重复;精确优先,其次子串)
"$PY" "$SCRIPTS/wx_read.py" read \
--group "产品A售后群" --group "行业交流群" \
--date yesterday --out "$DATA/out/daily_2026-09-02.md"
# 跨天 / JSON / 含系统消息
"$PY" "$SCRIPTS/wx_read.py" read --group "某某项目群" --date 2026-05-20 --days 7
"$PY" "$SCRIPTS/wx_read.py" read --group "某某项目群" --format json --limit 5000| 参数 | 说明 |
--group | 群名,可重复。不传则读 $DATA\groups.txt。是精确优先 + 子串匹配,不是正则——写成 "招商纯资源|老曾|无忧" 会整串匹配失败并报「未匹配到群」。要多群就重复 --group,或写共同子串(如 招商纯资源) |
--date | today / yesterday / YYYY-MM-DD,默认 today |
--days | 从 --date 往前推 N 天,默认 1 |
--limit | 每群条数上限,默认 3000。超限会告警,且保留最新的 N 条 |
--format | md(默认)/ json |
--sys | 含入群、撤回等系统消息(默认过滤) |
--verbose | 诊断信息:sid 还原数 / 冲突槽位 / sid==1 命中量 / 耗时 |
--out | 写文件;不传则打印到标准输出 |
四类告警,看到就处理
全部打到 stderr,所以 --out file.md 时不会污染正文。别忽略:
| 告警 | 含义 | 怎么处理 |
未匹配到群「X」,是不是改名叫 Y 了 | 群改名了 | 照着改 groups.txt |
群名「X」子串命中 N 个群 | 查询词太短,一次拽进了好几个群 | 写全名 |
窗口内消息达到 --limit=N 上限 | 消息被截断,丢的是最早的 | 调大 --limit |
N 条消息发言人无法可靠还原 | 那几条署名是裸 wxid 或 未知(sid=N) | 别直接引述那几行 |
前两条是互补的:一个怕少给群,一个怕多给群。子串匹配是「宁可多给再告诉你」的设计,
所以 某平台用户群 这种短词会一次命中 5 个群 —— 有告警就不算坑,没告警才是。
4. search —— 跨群全文搜索
读日报只能看「某个群某个时段」,要跨群找某个关键词/单号时用这个。底层是 FTS5 + trigram
(中文按字滑窗,数字子串直接命中,零新增依赖,索引库 $DATA\index.db)。
# 先建索引(扫全部可读群;也可 --group 只索引几个群)
"$PY" "$SCRIPTS/wx_read.py" search --build
"$PY" "$SCRIPTS/wx_read.py" search --build --group "售后群" --group "跟单群"
# 搜(子串匹配,中文/数字/单号都行)
"$PY" "$SCRIPTS/wx_read.py" search "7367xxxxxxxxxx497" # 数字单号
"$PY" "$SCRIPTS/wx_read.py" search "退货率" --limit 20 # 中文词
"$PY" "$SCRIPTS/wx_read.py" search "物流" --group "跟单群" # 限定群| 参数 | 说明 |
query | 关键词,子串匹配。≥3 字走 FTS,<3 字自动回退 LIKE(会提示) |
--build | 建/增量更新索引(按水位线只取新消息;带 --group 时只处理指定群) |
--full | 丢弃现有索引、忽略 --days、按全历史重建。可单独用(等价 --build --full)。--full --group 会清掉其他群,有告警 |
--group | 只索引/搜索指定群,可重复 |
--days | 近 N 天:--build 时只约束首次索引窗口(增量不回填);--full 忽略此项;查询时过滤结果(默认 90;0 = 全量) |
--limit | 最多返回条数,默认 100 |
典型用途 —— 跨群交叉比对:同一个物流单号在两个群各说各话,search "<单号>"
一次搜全库,两边的讨论并排看,结论就不会被单个群带偏。
索引不是实时的 —— 微信有新消息后要 search --build 重建(或配合 refresh 一起跑)。
看到「索引是旧格式」就重建一次:早期版本把 date/ts 编进了全文,搜「2026」会假命中全库。
--build 默认增量(index.db 的 fts_sync_state 表按 rowid 记水位线,只取新消息,
秒级完成,且 --group 不再清掉其他群);--full 才全历史重建(忽略默认 --days=90,
避免把已有全量索引静默裁成近 90 天)。
refresh 全量重解后 rowid 若重排(水位线倒退),受影响的群会被自动删掉重插,不用手工干预。
5. wx_kb —— AI 知识看板(Radar 形态)
主线是 AI 知识库,不是商单 CRM。对标 huangserva/wechat-radar 的「每天打开 + 规则打分秒出」,
不对标 Rion 的机会状态机。入口仍是本 skill(Windows 4.x 自动取钥),展示层是本地 HTML。
关键词不穷举:分类种子 TAXONOMY + 知识句式 + 文档 URL。没写进名单的工具,
只要带 GitHub/docs 或「怎么用/教程」,仍会进库。增词只改 scripts/wx_kb.py 的 TAXONOMY。
"$PY" "$SCRIPTS/wx_kb.py" # 只看当日 → $DATA\out\kb.html
"$PY" "$SCRIPTS/wx_kb.py" --md # 顺带导出 $DATA\out\daily_<日期>.md
"$PY" "$SCRIPTS/wx_kb.py" --days 7 --json # 多日汇总(看板标题会说 MULTI-DAY)
"$PY" "$SCRIPTS/wx_kb.py" --date 2026-09-04
"$PY" "$SCRIPTS/wx_kb.py" --query astra --out $DATA\out\kb-astra.html --json
# AI 摘要缓存(agent 读完落结论,下次不再重算)
"$PY" "$SCRIPTS/wx_kb.py" --note-list
"$PY" "$SCRIPTS/wx_kb.py" --note-add <hash> --summary "一句话结论"完整管线(缺一步都会出过期/空看板):
refresh(微信须在跑,出沙箱) → search --build → wx_kb.py --md看板打开 $DATA\out\kb.html。版式对齐 slock
(奶油底 #fffaef / 硬黑边 / 4px 4px 0 偏移阴影 / 编号区块 / 快捷键 T 切明暗),
不要改回 Kami 羊皮纸。参照文件:
内部 slock 版式报告。
| 参数 | 说明 |
--days | 含今天在内的日历天数,默认 1(只看当日) |
--date | 只看某一天 YYYY-MM-DD,覆盖 --days |
--query | 专题过滤:正文含子串才进库(如 astra)。专题模式放宽门槛,短讨论也进 |
--out | 默认 $DATA\out\kb.html;专题请另写路径,别覆盖总看板 |
--json | 旁路写同名 .json,方便抽查优先看 / 链接;hash 字段就是给摘要用的锚点 |
--md [PATH] | 同时导出 Markdown 日报(默认 $DATA\out\daily_<日期>.md)。数据同源,不另算一遍 |
--no-seed | 词表/异动基线为空时不回灌历史(默认会回灌,见下) |
--note-add | 给某条目存 AI 摘要,配 --summary。hash 从卡片右下角或 kb.json 取 |
--note-list | 列出 knowledge.db 里已存的摘要 |
--days的语义坑(2026-09-10 修):老写法now - days 天让--days 1变成 「昨天 00:00 到现在」—— 号称当日却混进昨天。现在是now - (days-1) 天,--days 1就是「今天 00:00 起」。改窗口计算时别改回去。
从 Radar 落地的四点(2026-09-06):
| # | 借鉴点 | 落地位置 |
| 1 | safe-url(学 safe-url.ts) | 外链只放行 http/https;渲染唯一出口 _link()(在 wx_tpl.py),统一 rel="noopener noreferrer"。改模板时别再把裸 URL 拼进 href |
| 2 | 状态显性化(学 KeyExpiredBanner / 0 键出策略卡) | 看板顶部状态条:密钥 N/N 库、全量扫描命中率、源库抓取 Xh 前、索引新鲜度 Xh 前、覆盖度(实测,解全转绿 / 差几片写明)。异常/零数据时出「下一步」策略卡,直接给命令 |
| 3 | 活跃四因子(学 activity-score.ts) | 群活跃 = 频率 .4 + 发言人 .3 + 主题 .2 + 链接 .1,按窗口内极大值归一成 0–100。频率/发言人取窗口内全部非噪声消息,主题/链接取知识条目 |
| 4 | 摘要落库(学「推理写 mapping 表,不动源库」) | $DATA\knowledge.db 的 notes 表,锚点是条目 hash(sha1 前 12 位:群|ts|正文前 120 字)。命中就在卡片下挂「AI 摘要」行 + 进 05 区 |
| 5 | hotspots 面板(2026-09-09) | 看板 00 热点图谱:热点榜 = 次数条 + 覆盖群数 + 升温/降温徽章 + 来源群 chips(谁在聊比聊了多少次更重要)。计算在 scripts/wx_hot.py,渲染仍在 wx_kb.py |
| 6 | topic trends(2026-09-09) | 窗口切桶(单天按小时 / 跨天按日)→ 前后半段对比出升温/降温 + 每个词一条 sparkline。跨天看板能直接看出「astra 升温 +70% / codex 降温 -40%」 |
状态条读的是工作区只读文件 refresh_state.json(每库 key_fp + mtime)和 all_keys.json(密钥命中率),
不解密、不碰微信源目录。覆盖度 pill 由 wx_kb._coverage() 实测(数工作区分片数 vs 源目录总片数),
解全了就转绿,没解全就写明差几片。256 不是真实群数,别让看板假装全量。
顺带订正一处旧说法:以前的文档写「biz / media 未解密」,这两个名字是错的。
db_storage下既没有media也没有叫biz的目录,详见下方「db_storage 里到底有什么」。
P2:顶栏搜索 + 区块锚点(2026-09-06),刻意不拆多页。 Radar 有 14+ 视图是因为它当 CRM 用;
本看板是「每天打开一次」,一屏纵览本身就是核心价值,拆成多页就要来回点。
所以借鉴的是「一页之内也能精确定位」:顶部 sticky 栏 = 搜索框 + 00~05 锚点 + 命中计数。
行为:/ 聚焦、Esc 清空、空格分隔多词 AND、命中处 <mark> 黄底、空区块自动隐藏、零命中出提示条。
过滤只改 display,不重排 DOM,也不重新生成文件。
P6:当日化 + 四个新维度(2026-09-10)—— 中文新词 / 群异动 / 承诺 / Markdown 日报。
从这一版起默认只看当日(--days 1)。理由:日报型看板的价值在「今天发生了什么」,
7 天窗口会把热点摊平、把异动淹没。需要汇总时显式 --days N,看板标题会自动变 MULTI-DAY。
| 能力 | 口径 | 位置 |
| 中文新词候选 | wx_words.py:无词典,凝固度 + 左右邻字熵双闸门。words 表记 first_seen,今日首现打 NEW;老词按 意外度(今日次数 ÷ 历史日均,分母是回灌样本真实覆盖的天数)排序 | 00b 区块 |
| 群异动 | wx_anomaly.py:今天 vs 该群自己的历史中位数(不跟别的群比,体量差两个数量级)。飙升 ≥2.5×(≥30 条)/ 骤冷 ≤35%(基线 ≥30)/ 新出现。历史表 group_daily | 04c 区块 |
| 承诺待办 | wx_promise.py:第一人称 + 动作 + 时间三件套,能算就算到期日。只证明「有人这么说过」,不证明他没做 —— 所以叫「到期未见到闭环」,不叫「未兑现」 | 06 区块 |
| Markdown 日报 | wx_md.py:--md 导出 $DATA\out\daily_<日期>.md。和 HTML 是同一份 board 的两个渲染相,不另算一遍 | --md |
三个新模块都遵守同一条铁律:只算不画、不碰数据库(wx_words / wx_anomaly / wx_promise
拿纯数据、返回纯 dict),数据库读写全留在 wx_kb.py。好处是它们能脱离微信环境做单元自测。
基线回灌(首次跑必须做,否则要等两周):words 表和 group_daily 表第一次是空的,
wx_kb 会自动从索引回灌(词表 30 天、异动 14 天),把 first_seen 留空表示「历史上早就有」。
词表基线存的是 全量中文 n-gram 的原始次数(wx_words.known_ngrams,约 2.5 万条),
不是去重后的精选候选 —— 详见下面第 3 条坑。回灌时会顺手把「样本真实覆盖了几天」记进 kv 表,
意外度的分母用它,而不是想当然的 30。要跳过回灌用 --no-seed。
旧版词表(没有频次基线 / 没记天数)会被自动识别并清空重灌,不用手工干预。
踩过的坑(改这几个模块前先读):
- 凝固度阈值不能写死大数。实测大语料上「老师」137、「教师节」197,但那是跟语料规模正相关的;
小语料里真词只有十几。第一版写死 80,结果合成语料上一个词都抽不出来(自测逮住的)。
现在的做法:地板只取 2.0(「比随机搭配更可能」),碎片靠
_dedupe的凝固度支配规则收拾 ——「教师节」(197) 吃掉「师节」(50),哪怕后者出现更多(它来自「老师节日快乐」这种跨词切分)。 - 引用前缀必须剥。微信引用长这样:
(/ wxid_xxx: 正文…,中间还夹 1~4 个解压坏字符。 不剥的话卡片第一行全是乱码。剥的逻辑在wx_text.strip_quote_prefix(),只在确实含 wxid_ / @ 时才剥, 免得误伤(A: B)这种正常开头。 但hash必须继续用原文算 —— 一旦用清洗后的文本,所有引用消息的 hash 全变,第二天集体误报 NEW。 - 承诺判定要遍历全部匹配,不能只看第一处。实测「…我们后台是不定期会check的…我晚点check下」,
第一处
check落在「不定期」的否定语境里 —— 只看第一处就整条漏掉。 --days的窗口语义:now - (days-1) 天,不是now - days 天(见上文参数表下的坑)。- 基线不能拿「精选候选」当全集。第一版回灌是
mine_words(..., top=1500),而_dedupe会按「长词支配」把「各位」「开发」这类词整个丢掉(实测基线语料里它们出现 99 / 145 次,却不在候选里) → 第二天它们被当成「新词」,NEW 徽章彻底失真。判「以前有没有出现过」是事实问题,不该被精选逻辑影响, 所以基线改用known_ngrams()存全量 n-gram(24950 条)。 - 意外度的分母要用真实天数,不能写死 30。回灌受
SCAN_LIMIT(默认 3 万)截断,30 天会被切成 14 天; 写死 30 会把倍数虚高 2 倍多(实测「老师」虚报 ×23,真值 ×11)。现在_segments()会回报 「真正参与统计的行」,由此推出覆盖天数,存进kv.word_base_days。 - 回灌必须连 first_seen 一起改写。当天的词会被
mark_words(board['word_list'])先登记一次 (first_seen = 今天),随后回灌命中同一批词;若只覆盖 base_times 不覆盖 first_seen, 当天所有常见词都会顶着 NEW 徽章(实测「新词 12」全假)。 - 同日重跑要幂等:
new的判据是「词表里没有 或 首见日期就是今天」。 只看「词表里没有」的话,第二次跑(表格已登记)当天真新词就不见了。
| 能力 | 口径 |
| NEW 未读 | $DATA\knowledge.db 的 seen 表(hash / first_seen / last_seen / times / window)。条目在任何窗口里首次出现时打 NEW 角标;hero 区多一颗「新增」指标 |
| 首次建库不撒谎 | seen 表为空时进入基线模式:只登记、不打角标,指标显示「基线」。第一次跑不会假装「今天新增 100 条」 |
| 登记时机 | 渲染成功后才 mark_seen——渲染失败就不标,宁可不标也不误标 |
| 贡献者榜(04b) | 消息量与知识产出分开记,分 = 知识×3 + 跨群×2 + 发言/50。话多不等于有价值;未知(sid=N) 不上榜;config 有 me 时标「我」 |
| 表自我清理 | seen 只留最近 90 天见过的行,不让它无限长 |
me(你在群里的昵称)是可选项:wx_setup.py 会问一句、可留空跳过,也可 --me <昵称> 直接给;
wx_config.py --show 能看到当前值。不设置只影响「我」标记,不影响任何功能。
P4:模板相拆成三件套(2026-09-10),单文件 1628 行 → 650 / 477 / 563。
以前 wx_kb.py 一个文件塞了数据、渲染、CSS、JS,render_html 单函数就 780 行 —— 改个颜色
要在一堆打分逻辑里找。现在按「谁依赖谁」单向切开:
| 文件 | 行数 | 职责 | 依赖 |
wx_assets.py | ~560 | CSS / JS / SAFE_SCHEMES,零逻辑 | 无 |
wx_tpl.py | ~480 | 所有 render_*、safe_url、_link、状态条 pill 映射 | wx_assets、wx_hot |
wx_kb.py | ~650 | 数据层 + CLI:classify / score / build_board / probe_health | wx_tpl、wx_hot、wx_assets |
两条铁律,改代码时别破:
- 模板不反向 import 数据层。
wx_tpl需要判断的东西(如has_doc、scan_limit) 一律由wx_kb预先算进board,否则就是循环依赖。 - CSS/JS 是 raw 三引号,不再过 f-string。花括号写
{就是一个, 反斜杠写\s就是\s—— 从 f-string 搬过来时记得把双写还原回单写。
P3:00 热点图谱(2026-09-09)—— 图形化回答「今天群里在聊什么」。 以前看板全是列表,得一条条读才知道主线;现在开头就是两块图:
| 元素 | 口径 |
| 热度时间线 | 单天按 24 小时、跨天按日切桶,纯 SVG 柱;峰值桶涂黄,一眼看到爆点时段 |
| 热点榜 TOP 10 | 词组 + 次数条 + 覆盖群数 + 升温/降温徽章(后半段 vs 前半段 ≥±25%)+ sparkline + 来源群 chips |
| 排序 | 次数 + 2×群数 + 词组长度微加权 —— 跨群传播比单群刷屏值钱 |
三条踩过的坑,改 wx_hot.py 前先读:
- 必须先剥 URL 再抽词。否则
x.com/status/ 推特用户名会直接屠榜(实测x.com43 次冲到第一)。 - 只留「极大词组」:
gpt要被gpt image 2.5吃掉,否则榜上全是碎片。 判定是「长词组次数 ≥ 短词组一半」+「与已选共享 ≥2 词且热度差一截」两种,都在wx_hot._maximal()/ 选词循环里。 - 中文不分词:无词典的 n-gram 噪声远大于信号(「这个怎么弄」会屠榜)。
热点只统计拉丁词/版本号,中文主题靠 02 主题雷达的
TAXONOMY种子补。这是诚实边界,别假装覆盖了中文。
热点下钻:点热点词(wx_assets.py 的事件委托)= 拿它当整页过滤词 + 滚到 01 优先看,
Esc 清空复位。过滤是整页的,所以点完之后看到的就是这个词在全部区块里的样子。
改了 HTML/CSS/JS 之后跑冒烟(可选依赖,wx_kb.py 本体仍零第三方依赖):
pip install playwright && playwright install chromium
python scripts/smoke_kb_ui.py # 41 项断言:结构 / 热点 / 下钻 / 未读 / 贡献者 / 新词 / 异动 / 承诺 / 过滤 / 多词 / Esc / 锚点 / 主题 / 无报错
python scripts/smoke_kb_ui.py --file $DATA\out\kb-today.html # 测指定看板(默认测 kb.html)playwright 必须装在你用来跑这个脚本的那个解释器里。本机踩过:脚本能跑、 但报「需要 playwright」—— 因为 playwright 在 venv 里、而脚本是用裸解释器起的。 换解释器不改代码,先确认
python -c "import playwright"跟跑测试用同一个 python。
为什么必须有这个测试:模板是 Python f-string,JS/CSS 的每个花括号都要双写。
漏一处不会报 Python 错,只会让页面在浏览器里静默坏掉;node --check 只能查语法,
查不出「点了没反应」。详见坑 ⑬。
入选规则(2026-09-05 实测后收紧):
- 分数门槛 4,优先看按分数不按消息量,标题 48 字去重,最多 12 条
- 品牌名 alone 不够。要文档 URL、教程句式,或「品牌 + 足够长的说明」
NOISE_PAT直接丢掉:早报(#N点社群早报/AI 早报)、接龙、入群须知、加热/三连/四连、羊毛帖KNOWLEDGE_PAT不要写光秃的skill/mcp/接入—— 早报广告也会带这些词,会把优先看刷成社群早报TAXONOMYtoken 不要重复(曾把claude code写两次,无害但说明种子表要手检)- 扫描上限
SCAN_LIMIT=30000。曾用 8000,近 7 天会被截断,较冷的群进不了本页
2026-09-05 首跑口径(刷新索引后):扫描 15,627 / 知识 88 / 优先看 12 / 去重链接 20。
优先看实锤:ZenMux Gemini thought_signature 报错文档、huangserva/wechat-radar 仓库、
OpenAI gpt-6-astra.pdf、可灵 3.0 / qwen3.8-max 上线。链接区仍偏 X 帖,文档域加权后排。
改完 wx_kb.py / wx_tpl.py / wx_assets.py / wx_hot.py(以及 wx_config.py / wx_setup.py)必须同步安装副本
(~/.workbuddy/skills/wechatreader/scripts/ 下同名的文件),否则对话里加载的还是旧脚本。
新增子模块同理:wx_hot.py、wx_words.py、wx_anomaly.py、wx_promise.py、wx_md.py、
wx_tpl.py、wx_assets.py、wx_text.py 都不是可选件,
漏一个 wx_kb.py 就 import 失败。
发言人是怎么认出来的
real_sender_id 不能直接查 contact.id —— 那是两套 id,查出来的名字看着像模像样,
其实全程指错人(详见 references/schema.md 坑 6)。脚本走三级:
- 正文前缀 wxid →
contact.username—— 权威,覆盖约 88% 的群消息 - 无前缀 → sid→wxid 推断表(扫目标群全表统计前缀众数,只收前缀唯一的 sid)
- 无前缀且 sid == 1 → 自己
都不中的会输出 未知(sid=N),并在 stderr 汇总告警。看到告警别忽略,那几条的归属不可信。
md 头部会打一行 > 本机账号(我)= **XXX**,JSON 顶层有 me 字段、每条消息有 wxid 字段。
每条消息还有 sender_ok 字段(发言人是否可信):false 的行署名是裸 wxid 推断,别直接引述。
「自己是谁」靠进群数判定(337 个群里自己出现在 304 个,第二名只有 55 个)。
系统消息(--sys)统一署名 系统,不再显示为 未知(sid=32) —— 实测它们的
real_sender_id 恒为 32,而 contact.id=32 恰好是「该账号已冻结」,正是两套 id 无关的铁证。
⚠️
ME_SID = 1(「sid 为 1 就是我自己」)是单账号 + 微信 4.1.12.55 的观测值,不是协议保证。 换机器/换账号/升版后用--verbose复核:打印的sid==1 命中 N 条里的N应该跟你在群里 说话的量级对得上,名字也得是你本人。对不上就改wx_read.py里的ME_SID。
常驻群清单:$DATA\groups.txt,每行一个群名,# 开头为注释。
把每天要盯的群写进去,之后一句话就能出日报。
⚠️ 群名是会被改的。 改完后清单里的旧名字就匹配不上。 现在
read会在 stderr 打出告警并猜新名字:[!] 未匹配到群「自媒体核心群(原增长线)」,是不是改名叫 自媒体核心群-1 了看到就照着改清单 —— 否则那个群会被静默跳过,日报少一块你都不知道。 定期跑一次list核对一下最省事。
macOS 专属:取密钥 + 图片层(2026-09-14 固化)
Windows 上
refresh一条命令走完全程。macOS 不行:微信有 Hardened Runtime, 密钥要在 PBKDF2 处用 LLDB 抓,需要先重签名 —— 所以取钥必须单独一步、且要sudo。
三步走
SKILL="$HOME/.workbuddy/skills/wechatreader"
# ① 重签名(去掉 Hardened Runtime,LLDB 才能 attach)—— 每次微信更新后都要重做
sudo codesign --force --deep --sign - /Applications/WeChat.app
# ② 取密钥(唯一要 sudo 的一步)。默认输出 $DATA/all_keys.json,与 refresh 天然对齐
sudo python3 "$SKILL/tools/wcdb-key-tool/wcdb_key_tool_macos.py" extract
# ③ 解密(普通权限,别再 sudo)。--media 会附带解密 message_resource.db(图片/文件元数据)
python3 "$SKILL/scripts/wx_read.py" refresh --media取钥 4 级顺序(命中即停):已缓存 keys → 已存 passphrase + PBKDF2 → 内存扫 raw key(4.0.x) → LLDB 断点抓 passphrase(4.1.10+,需在 120 秒内「设置→退出登录→重新登录」,不是退出微信)。
passphrase 一旦抓到就缓存在 ~/.wcdb-key-tool/wechat-passphrase.json,之后重跑走第 2 级
(30–60 秒),不必再退出登录。该目录属主是 root,普通用户写不进去 —— 别拿它当输出目录。
图片层:scripts/wx_images.py
微信 4.x 的原图是 AES-128-ECB + XOR 双层加密的 .dat(详见下文「图片层 V2」)。
不是格式无解,而是 AES 密钥只在微信运行时内存里、且惰性加载——必须先在微信里
点开几张图,再用 tools/wxkey.c 穷举扫内存(wx_dat.py hunt-key 只抓可打印串,
有盲区,见下文修正),最后用 scripts/wx_batch_decrypt.py 批量解密+归属。
未配密钥时能拿到的只有下面两层,别承诺原图:
| 子命令 | 拿到什么 | 覆盖范围 |
cache-copy | cache/<年月>/Message/<hash>/Thumb|ImageTemp 的明文缩略图 | 仅近 1–2 个月 |
manifest | message_resource.db 的媒体索引(谁·哪个群·何时·文件名·MD5) | 近 3–6 年 |
map | hash → 微信号 → 群显示名 映射 | — |
brands | 从 manifest 的文件名剥品牌候选 | 同 manifest |
ocr | 明文图 OCR + 抽电话/微信/QQ → image_brands.csv | 同 cache-copy |
GROUPS="<会话hash1>,<会话hash2>" # 磁盘目录名 = md5(username)
python3 "$SKILL/scripts/wx_images.py" cache-copy --db-storage "$DS" --groups "$GROUPS"
python3 "$SKILL/scripts/wx_images.py" manifest --db-storage "$DS" --groups "$GROUPS" --json
python3 "$SKILL/scripts/wx_images.py" map
python3 "$SKILL/scripts/wx_images.py" brands # 文件名 → 品牌候选
python3 "$SKILL/scripts/wx_images.py" ocr --groups "$GROUPS" # 可选 --xlsx 合并进表💡
brands常是本流程最高产的一步。 群里大量品牌是「以 PDF 形式甩进来」的, 正文聊天根本不出现品牌名,只能从文件名捡。实测四群 98/2635 条有文件名, 剥出 60 条候选(去重 55),命中SEVENLITRES/FELICIA POP/minini/K11 ECOAST/HARMAY/dazzle/Taco Bell/lukfook等 —— 这些在纯文本提取里一个都拿不到。 但它是候选不是核实结果,交付前必须人工过一眼。
⚠️ 2026-09-29 补:明文图这条路实测量太小,别指望。 四群全量实测只有 23 张明文图(
Thumb/*_thumb.jpg20 张明文 JPEG、ImageTemp/*_mid_temp1 张明文 PNG、*_mid_temp_convert2 个微信私有wxgf格式), 而同期 manifest 里四群图片是 73,653 张。明文缓存覆盖率 ≈ 0.03%, 只能当补漏,不能当方案。全盘普查数字(2026-09-29,整账号 218,772 个文件):明文图片(JPEG/PNG/GIF/WEBP/WXGF) 一共 9,682 张,构成是 9,264 张
msg/video/<年月>/*_thumb.jpg视频封面 + 170 张temp/head_image头像 + 约 250 张其他。也就是说**"明文图"里 95.6% 是视频封面**, 真正可能带联系方式的图片极少。
cache/<年月>/HttpResource别当宝。 它是微信内置浏览器的 HTTP 缓存 —— 实测抽样目视 = 用户个人浏览内容("找出图中的猫"的图、瑜伽广告、万科周末提案、 梵高文章配图),与目标群无关,不要浪费时间 OCR。
✅ 唯一能拿到"原图内容"的免密通道:WXGF(2026-09-29 打通)
微信在用户把图片点开看过之后,会自己往缓存写一份中间图:
cache/<年月>/Message/<会话hash>/ImageTemp/<msgid>_<ts>_mid_temp_convert它是明文的 —— 微信自己解出来的,不是下载来的,所以不走 .dat 那层 AES 加密。
内部结构:
offset 0 : "wxgf" + 12 字节私有头
之后 : 标准 HEVC(H.265) Annex-B 裸流(NAL 32=VPS 0x40 / 33=SPS 0x42 / 34=PPS 0x44)用法:
PY=$HOME/.workbuddy/binaries/python/envs/default/bin/python
S="$SKILL/scripts/wx_wxgf.py"
# ① 全盘找(会标出归属哪个群)
$PY $S scan --root "<账号根目录 xwechat_files/<账号>"
# ② 解码成 PNG(--in 传文件或目录)
$PY $S decode --in "<ImageTemp 目录>" --out "<输出目录>"🔴 头号坑:别从"第一个起始码"起切。 有的文件最前面是一个异常 SEI NAL,ffmpeg 会报
vps_base_layer_internal_flag or vps_base_layer_available_flag not set接着Decoding error: Not yet implemented in FFmpeg, patches welcome。 **必须切到 VPS NAL(00 00 00 01 40 01)**再喂 ffmpeg。实测两张图都是VPS@42才解开的,从第一个起始码切其中一张就失败。wx_wxgf.py已内置这个优先级 + 回退。实测效果:1440×900 一帧 70–90 KB 的 WXGF → 解码出 0.9–1.1 MB PNG, 招牌、海报、热线电话都清晰可读。OCR 也认得(PaddleOCR-VL 直接读出
焗小煌/铁板生焗菜 下饭压锅菜/全面热线400-887-4777)。唯一限制是覆盖率:只有用户真的点开过的图才有这份缓存,整机一般只有个位数。 所以正确的话术是——请用户在微信里逐张点开目标图片(停 1 秒即可,不用保存), 然后重跑
scan+decode。这条路径不需要 sudo、不需要密码, 优先级高于下面那个提权脚本。
💡 别指望 XOR 硬解
.dat(2026-09-29 实测封死)。 全盘扫描 195,028 个.dat,aes_size字段全部 = 1024,没有一个 = 0, 即没有任何一个是"纯 XOR 可解"的。V2 结构 =15 字节头+1040 字节 AES-128-ECB 密文(1024 数据 + 16 填充块)+xor_size字节 XOR 尾部, 总长恰好15 + 1040 + xor_size。JPEG 头落在 AES 段里, 拿不到密钥就连图头都没有,XOR 尾部解出来也没用。别再试了。
🟡 2026-09-29 补:WorkBuddy 沙箱里拿不到图片 AES 密钥(此路已非首选)。 密钥在 WeChat 进程内存里,读别人内存必须提权。沙箱里两条路都被堵死:
sudo直接不可用osascript -e 'do shell script "…" with administrator privileges'会被直接 SIGTERM 杀掉(exit 137),连密码框都弹不出来;加dangerouslyDisableSandbox也一样所以别在会话里反复重试提权(试 2 次就够了,纯浪费时间)。先试上面的 WXGF 通道; 只有在用户明确要求"要全部原图"时才退回到提权脚本:生成一个用户自己在终端
sudo sh跑 的脚本,串起「查 PID → 编译wxkey.c→ 扫内存 → 校验 →wx_batch_decrypt.py批量解密 → 归档」, 并在注释里写清前置动作:先在微信里点开一张图看几秒(密钥是惰性加载的)。 参考实现:~/WorkBuddy/2026-09-10-18-28-15/四群采集_20260929/解锁微信图片解密.sh同时把能拿到的东西先交付:manifest 媒体索引(84,813 条)+ 文件名剥品牌(56 个), 明确告诉用户「原图待解、索引可先用」,不要卡住整份交付。
macOS 上踩过的 5 个坑(都已在代码里修掉)
extract --output默认过裸相对名all_keys.json→ 在只读 CWD 下抛Errno 30 Read-only file system,且密钥明明已全部提取成功只是没落盘。 现默认解析为$DATA/all_keys.json,并在落盘前探可写性。- sudo 会把
$HOME改成/var/root→ 读不到用户的~/.wechatreader/config.json。 现用$SUDO_USER还原真实 home(_real_home())。任何跨 sudo 边界的工具都不能信 HOME/CWD。 db_storage藏在第 3 层(<文件管理根>/xwechat_files/<wxid>/db_storage), 原来只试一层<src>/db_storage→ 探不到 →src停在xwechat_files根 → 逐库拼路径全落空,每个库都打「跳过(源文件不存在)」。现改用find_db_storage()向下探。- cache 里的图可能没有后缀(如
xxx_mid_temp_convert实为 PNG)→ 下游 OCR/查看器 当未知文件忽略。现按 magic 补后缀。 refresh复用缓存密钥可免 sudo(_keys_valid())—— 因为 sudo 改 HOME 会打断配置读取, 推荐流程是「sudo 取钥一次 → 普通权限反复 refresh」。
文件层:群里传的 Excel/PDF(2026-09-14 固化,本流程最高产的一层)
别只盯着聊天正文。 招商群里最值钱的东西是「以文件形式甩进来的品牌联系表」。 微信 4.x 把收到的文件原样明文落盘在
<文件管理根>/<wxid>/msg/file/<yyyy-mm>/<原始中文文件名>,不用解密、不改名。 实测四群 2,635 条文件消息 → 挖出 38,211 条「品牌+联系人+职务+电话」, 是同一批群聊正文(3,125 条)的 12 倍。
三层脚本
| 脚本 | 干什么 | 产出 |
scripts/wx_files.py list|all|links | 定位群里的文件消息 + 与磁盘明文对齐 + 抽 PDF/DOCX 正文 | files_msgs.csv / files_full.csv |
scripts/wx_brand_tables.py | Excel 品牌表批量挖行(表头 + 无表头两路) | brands_tables.csv |
scripts/wx_file_brands.py | 一站式:jsonl 文件名 ↔ msg/file 明文原件对齐 → 表格/PDF/DOCX/PPTX 三路抽「品牌·联系人·电话·微信」 | file_brands.csv |
scripts/wx_merge_brands.py | 多来源合并去重 → 交付 Excel | 四群品牌联系总表.xlsx |
SKILL="$HOME/.workbuddy/skills/wechatreader"
PY=$HOME/.workbuddy/binaries/python/envs/default/bin/python
# ① 一站式(最省事,2026-09-29 从临时目录固化进来)
$PY "$SKILL/scripts/wx_file_brands.py" \
--dump <含 kind=file 的 *.jsonl 目录> \
--file-root "<账号根>/msg/file" \
--out /tmp/file_brands.csv
# ② 分步走(要中间产物时用)
$PY "$SKILL/scripts/wx_files.py" all --outdir /tmp/wechatreader/file_layer
$PY "$SKILL/scripts/wx_brand_tables.py" --in /tmp/wechatreader/file_layer/files_full.csv \
--out /tmp/wechatreader/brands_tables.csv
$PY "$SKILL/scripts/wx_merge_brands.py" --chat-xlsx <聊天正文总表.xlsx> \
--out <输出.xlsx>⚠️
wx_file_brands.py的--file-root里同名文件会跨群重复命中:disk是按 basename 建的字典,同一个文件被两个群都收过 → jsonl 里两条 pair → 该文件被解析两次。 交付前必须按「品牌 + 电话」去重,否则行数会翻倍。实测正佳01 蔡芳.xlsx出现过 26,456 行 vs 13,251 行的差异,就是这个问题。⚠️ 手机号分隔符归一化别忘(见下文聊天正文层的第 4 条护栏):表格单元格里
133 5293 5884这种写法同样会漏。已在doc_lines()出口和extract_table()的单元格上各加了一层normalize_sep_phones(),实测多捞回 122 个「品牌+电话」组合。
群归属怎么判(关键)
消息库里每个群的表名就是 Msg_<md5(chatid@chatroom)>,和 msg/attach/<同一个 md5>/
目录名一致。所以 Msg_<hash> 表里的 type49/sub6 记录 = 该群发出的文件消息。
local_type 是复合值:base = local_type & 0xffffffff,subtype = local_type >> 32。
type49 常用子类型:5=链接卡片、6=文件、33/36=小程序、51=视频号、57=引用回复。
文件名在 message_content 的 XML <title> 里,内容是 zstd 压缩的
(判据:WCDB_CT_message_content = 4);<filekey>52254259142@chatroom_... 还直接带 chatroom 号。
packed_info_data 里也藏着一份明文文件名,可作兜底。
⚠️ 头号坑:必须按工作表分开处理(2026-09-14 踩实)
旧版把一本书里所有 sheet 的行 concat 成一个 list,再套同一套「角色→列号」映射。
结果必然串列:A sheet 第 0 列是品牌、B sheet 第 0 列是城市,被同一个映射吃到,
于是 厦门湖里×181 / 服装服饰×137 / 深圳市×121 / F1×39 全被当品牌写进了总表。
正确做法:read_sheets(path) -> [(sheet_name, rows)],每个 sheet 独立
找表头 / 推断列角色。改完品牌填出率从 96% → 98.2%,行数 38,211 → 46,097。
表头识别 + 无表头推断(两类表都要吃)
- 有表头:前 15 行找命中 ≥2 个表头关键词的行 → 建「角色→列号」映射。
建完还要实测:若品牌列的 brandy 率 < 0.30,说明映射错了列(多半是城市/楼层/档次),
在剩余列里重挑(
refine_header_map)。 无表头(很常见,
900个珠海餐饮2025.xlsx、2024年180个品牌库.xlsx都没有): 改用内容推断列角色 ——- 电话列 = 手机号命中率最高(≥30%)的列
- 业态列 = 命中业态词表 / 复合业态词
- 职务列 = 命中职务词表(法人/股东/品牌拓展/加盟商…)
- 联系人列 = 2–4 个汉字的短列、取值分散
- 品牌列 = 剩下里 brandy 率 ≥0.30 且 uniq_ratio ≥0.50(业态列取值高度重复,靠这条挡)
⚠️ 只靠「取最左列当品牌」会把 业态列当成品牌——实测把
KTV/粤菜/SPA当成了品牌名。
内容护栏:值本身的形态不对就不是品牌(最后一道兜底)
不管它落在哪一列,is_brandy() 不过就换列捞,捞不到就留空:
| 护栏 | 判据 | 拦截实例 |
is_floor | ^(B|F|L|LG|UG|M|S|T|RF|BMU)\d{0,2}([-~/]\d{1,2})?[A-Z]{0,3}$ | F1 B1 LG UG S3-12G |
is_geo | 结尾∈{市,区,县,镇,街道,新区,开发区} / ∈CITY_SET / 城市+辖区(厦门湖里) | 深圳市 天河区 东莞南城 |
is_category | ∈CATEGORY_VOCAB / 结尾∈{业态,品类,美食,服饰,…} / 两个业态词素拼起来 | 服装服饰 餐饮美食 生活精品 儿童业态 |
is_title | ∈TITLE_VOCAB | 招商经理 联系人 |
RE_BAD 精确表 | 档次/客户类型/汇总词 | 大众化 中档 个人 总计 上海 |
「两个业态词素拼起来」这条很值:服装服饰=服装+服饰、生活精品=生活+精品、
儿童业态=儿童+业态,靠词素集合自动判,不用穷举。
自测脚本见下方「护栏自测」,26/27 拦掉、22/22 真品牌保留。
去重口径(v2:四级主键 + 二级键 + 终局兜底)
- 高频号码先降级:全局统计号码/微信号出现行数,≥5 行的判定为总机/招商热线, 不作为合并依据。否则「一个拓展总监跟 17 个品牌」会被并成一行,一次丢 16 个品牌。 (实测:不做这一步会少 3,037 行)
- 主键优先级:低频手机号 → 低频微信号 → (品牌+联系人) → 品牌
- 二级键
(品牌键, 联系人):把「同一人一条有号、一条没号」并成一行 - 终局兜底:输出层 (品牌+联系人+电话) 三同的记录再并一次,并补全缺失的业态/职务/公司
- 完全无联系方式的记录按用户规则直接跳过
去重效果:49,380 → 29,539(丢弃无联系方式 563 / 清洗后无有效信息 1,366)
输出清洗(去乱码 / 错别字 / 删溯源列)
交付表只要可行动字段,溯源信息进「统计」页,不进正文列。
保留 10 列:序号 / 品牌·项目 / 业态 / 联系人 / 联系电话 / 微信 / QQ / 职务 / 公司 / 摘录·备注
删掉 4 列:来源、群、日期、来源文件
清洗流水线(clean_text → clean_field),每一步都计数进「统计」页:
| 步骤 | 做法 | 实测命中 |
| 全角折半角 | unicodedata.normalize("NFKC") | 32,508 处 |
| 控制符清除 | RE_CTRL(C0/C1、零宽、\ufffd、\ufeff) | 21 处 |
| 私用区清除 | [\ue000-\uf8ff\U000f0000-...] ← 微信表情码,Excel 里显示空框 | 5 处 |
| 繁转简 | str.maketrans 收 100+ 常用字对(連絡/電話/業態/廣東…) | 171 处 |
| 错别字 | 小词表(联系方试→联系方式、品排→品牌、负则人→负责人) | 10 处 |
| 中文间空格 | (?<=[\u4e00-\u9fff])[ \t]+(?=[\u4e00-\u9fff]) 删除 | 1,548 处 |
| 换行压单行 | 备注列 \n → "; ";其它列 → 空格 | 638 处 |
| 乱码字段清零 | has_moji() 私用区占比 >25% → 整格置空 | — |
| 总机备用号剔除 | 出现 ≥5 行的号码,从该行备用位剔掉(保留主号) | 352 个 |
| 终局三同并行 | 品牌+联系人+电话 三同 → 并行并补全 | 25 条 |
⚠️ 别用全角字符做分隔符(| U+FF5C 也算全角)——会被自己的质检脚本判成「残留全角」。用 "; "。
⚠️ 中文字符串里不要把 LF 当成「多余空格」:备注列的多行是群消息的结构,
RE_CJK_SPACE 用的是 [ \t] 而不是 \s,正是为了不误吃换行。
品牌治理三件套(2026-09-14 新增,wx_brand_canon.py + wx_category_norm.py)
① 品牌全称归一 —— 同一品牌的不同工商全称并成一个名字。 判据:最短前缀 + 剩余部分可完全切分为后缀词 + 剩余必须含企业/组织标志词。 最后那条护栏是关键,没有它会把产品线并掉:
| 应合并(剩余含 有限公司/集团 等) | 不能合并(剩余无组织词 = 产品线) |
| 安踏体育用品有限公司 → 安踏 | 特步儿童 → 特步 ✗ |
| 华为技术有限公司 / 华为软件技术有限公司 → 华为 | 宝岛眼镜 → 宝岛 ✗ |
| 星巴克咖啡(深圳)有限公司 → 星巴克 | 太平洋咖啡 → 太平洋 ✗ |
| 屈臣氏(中国)有限公司 → 屈臣氏 | 有家便利店 → 有家 ✗ |
| 深圳百丽商贸有限公司 → 百丽(中缀规则) | 中国李宁 → 李宁 ✗ |
中缀规则:剥离前导地域词+尾部企业后缀后落在品牌池中才归并。
深圳百丽商贸有限公司→百丽 ✓;广州酒家 无尾部后缀 → 不触发 ✓。
前导地域明确排除 中国/中华/国际(「中国XX」本身就是品牌名)。
实测:1,026→1,126 个品牌被归并,覆盖 412 行。改完必跑 --selftest(24 条用例)。
② 同号不同品牌 → 只保留较新的(用户口径) ⚠️ 两个护栏,不加就丢数据:
- 同一来源文件内的多品牌并列全部保留 —— 实测 1,266 个号码属于「一个招商对接人
同时跟多个品牌」(如
13906006942挂 23 个服饰品牌),删了就是丢品牌 - 新旧差 ≥ 180 天 才算「被替换」。阈值敏感度实测:30天→剔 5,494 行、 90天→3,750、180天→3,679、365天→3,559、无阈值→44。90~365 是平台期,取 180。
⚠️ 主键要带品牌键:("P", 号码, 品牌键)。同号不同品牌 = 两个并列记录,不合并。
③ 业态纠错(wx_category_norm.py)
把业态值映射到一级域(餐饮/零售/生活服务/儿童教育/休闲娱乐/文体/配套):
- 品牌跨域(餐饮 vs 服装)→ 真错误,取多数派域并纠正少数派
- 同域内粗细不一(餐饮/快餐/茶饮)→ 粒度不同,不是错误,细分优先
- 无效值(
/、非餐、其他)→ 清空
实测:跨域冲突 464 个品牌、改动 2,446 行。样本:谭木匠 主域零售→生活精品、
良品铺子→零售、华为→零售。
联网校对:只校头部,别妄想全量
23,000 个品牌逐个联网不现实。按频次分层:≥5 次 1,963 个、≥10 次 396 个、≥15 次 128 个。 实测取 Top150 分 3 组并行 subagent 核实,一个品牌一次 WebSearch:
结果(这是有价值的一手数据,值得记住量级):
- 业态正确 114 / 业态有误 27 / 非品牌 9 —— 头部品牌业态错误率约 18%
- 典型错误:
华为 生活精品→数码通讯、鸿星尔克 精品→运动服饰、乐高 教育培训→玩具、六福/周六福/老凤祥 生活精品→珠宝首饰 - 非品牌:
一期商业街(街区名)、浙菜/新疆菜(菜系词)、新能源汽车/数码科技(业态词)、杭州亚奥万象天地(项目名)、美广(美食广场简称)
两个坑:
- 「搜不到同名公司」不等于「非品牌」 —— 品牌名 ≠ 工商名是常态 (喜茶 ↔ 深圳美西西餐饮管理有限公司)。判非品牌要有更硬的依据(地名/通用词)。
- 结论要固化成覆盖表(
data/brand_overrides.csv:品牌,修正业态,结论,依据), 下次重跑直接复用,不用重新联网。wx_merge_brands.py --overrides读取。
cd ~/.workbuddy/skills/wechatreader/scripts && \
~/.workbuddy/binaries/python/envs/default/bin/python -c "
import sys; sys.path.insert(0,'.')
from wx_brand_tables import is_brandy
POLLUTE=['厦门湖里','深圳市','服装服饰','餐饮美食','生活精品','F1','LG','S3-12G','广州菜','锅类','主次力店','儿童业态','洋快餐','天河区','零售业态','主力店','联系人','招商经理','备注','总计','大众化','中档','个人']
KEEP=['海底捞','星巴克','喜茶','奈雪的茶','老乡鸡','太二酸菜鱼','优衣库','7-ELEVEn','名创优品','H&M','周大福','广州酒家','点都德','木屋烧烤','探鱼','萨莉亚','北京烤鸭']
print('漏过:',[v for v in POLLUTE if is_brandy(v)] or '无')
print('误杀:',[v for v in KEEP if not is_brandy(v)] or '无')
"macOS:不用 sudo 读微信内存(2026-09-14 实测打通)
这是本次最有价值的一条。 之前「必须 sudo / 开 Developer Mode」的结论 —— 是错的。
lldb -b -o "process attach --pid $(pgrep -x WeChat)" \
-o "process detach" -o quit # ← 普通用户身份,直接 attach 成功原因:/usr/bin/lldb 走 debugserver,而 debugserver 持有 Apple 签发的
com.apple.security.cs.debugger 权限,task_for_pid 是它去调的。
python 用 ctypes 直接调会拿 KERN_FAILURE(rc=5),lldb 不会。
不需要 sudo、不需要开 Developer Mode、不需要 get-task-allow。
批量读内存的姿势
不要走 ctypes + mach_vm_read(权限拿不到,注册结构体也容易错)。
用 lldb 内置 Python 的 SBProcess.ReadMemory:tools/lldb_image_key_hunt.py
| 模式 | 用法 | 说明 |
regions | HUNT_MODE=regions lldb -b -o "process attach --pid $PID" -o "command script import $P" -o "process detach" -o quit | 先看规模 |
scan | HUNT_MODE=scan HUNT_RW=1 HUNT_OUT=/tmp/c.txt ... | 抓候选串 → 文件,再离线 AES 校验 |
dump | HUNT_MODE=dump HUNT_RW=1 HUNT_OUT=/tmp/rw.bin ... | 原始转储;之后离线随便复测 |
环境变量:HUNT_RW(只扫可写区)、HUNT_MAXMB(读取预算)、HUNT_ONLY/HUNT_SKIP(区名正则)。
实测性能:读取约 115 MB/s(可写 1,379 MB / 12 秒;全部可读 7.84 GB / 2 分钟)。 → 「先 dump 到磁盘,再离线分析」永远优于「在 lldb 里就地分析」: lldb 内置 Python 没有 pycryptodome,就地做 AES 根本没戏。
离线复测:
python3 "$SKILL/scripts/wx_dat.py" hunt-key <含_t.dat的目录> \
--dump /tmp/wechatreader/hunt/rw.bin --charset print图片层 V2:密钥为什么难拿(2026-09-14 结论)
.dat V2 不是「无解」,格式早被公开研究透,本机 56,456 个文件实测吻合:
0..6 签名 07 08 56 32 08 07
6..10 LE u32 aes_size (本机 56,448/56,456 = 1024)
10..14 LE u32 xor_size
14 flag 0x01
15.. AES-128-ECB 密文,长度 aes_size//16*16 + 16
... 明文(只有 >1MB+1KB 的文件才有中间段)
尾部 xor_size 字节单字节 XOR- XOR 密钥 = 0x2F,磁盘可推:
_t.dat尾部 JPEG 必以ff d9结尾,tail[-2]^0xFF == tail[-1]^0xD9,400/400 一致投票。 - AES 密钥 = 运行时内存里的 16 字节值,磁盘上没有。
- ⚠️ 密钥惰性加载:微信只在真的要渲染一张图时才把它读进内存。 所以正确姿势是「先在微信里点开/滚动到几张图片,再立刻扫」,否则内存里压根没有它。 实测:微信正常开着、聊了一小时,可写区逐窗口扫完 0 命中 —— 不点图就是拿不到。
- V1(
07085631)用的是固定密钥cfcd208495d565ef;V2 换了运行时密钥,别混用。
⚠️ 别假设密钥是可打印 ASCII(2026-09-21 修正)
wx_dat.py 的 find-key/hunt-key 以及 tools/lldb_image_key_hunt.py 都只枚举
[0-9A-Za-z_.\-]{16,} / [\x21-\x7e]{16,} 这类可打印串当候选。
如果真实密钥是 16 个随机字节(std::array<uint8_t,16> 这种很常见),
这种枚举永远不可能命中 —— 历史上「已穷尽排除 4,010 万候选」的结论全部建立在这个假设上,
所以那不算穷尽。实测:6,072 MB / 7,698 万可打印候选 → 0 命中,全是假设惹的祸。
正确做法:穷举内存里每一个 16 字节窗口,不预设字符集。 用 tools/wxkey.c:
clang -O2 -o /tmp/wxkey "$SKILL/tools/wxkey.c"
/tmp/wxkey --selftest # 先过 FIPS-197 KAT,不过就别信结果
# 8 核分片 + 高频轮询(推荐):密钥被加载后几秒内就能抓住
for i in 0 1 2 3 4 5 6 7; do
( /tmp/wxkey <WeChat_PID> /tmp/wx_oracle --shard=$i/8 --watch=5000 \
> /tmp/wxkey_s$i.log 2>&1 & )
done设计要点(每一条都是踩过的坑):
| 要点 | 为什么 |
| KAT 锚定 | 先跑 FIPS-197 测试向量,标量 AES 必须通过;ARM 的 AESD 语义要靠 KAT 现场判定(实测 key-first 那套对,别照抄 x86 的写法) |
| ≥2 块 oracle | 单块前 3 字节校验误报 ~2^-23,76 亿候选会冒出 ~900 个假命中;两块叠加才干净。历史上 find-key 只用 1 块,吐出过 5 个假密钥(lderV9ComponentV 等),还写进了 ~/.wcdb-key-tool/image_aes_key.json |
| 区域下限 64KB,不是 1MB | macOS malloc 的 nano zone 区域只有 256KB,16 字节小对象正落在那儿,用 1MB 下限直接漏掉 |
| 分片并行 | M4 10 核;单进程 4.3M/s,8 分片合集约 25M/s(首轮可写区 2.1GB ≈ 85s) |
| 变化检测 | 每 4MB 块存一份 FNV 哈希,只测改动过的块 —— 首轮之后每轮从 130s 掉到 2–3s,否则密钥加载后瞬间释放根本抓不住 |
| 按字节量贪心分片 | 直接按编号取模会让某一片独吞 GB 级大堆区 |
清场必须用 PID kill -9,pkill -x / pkill -f 在本环境里静默失效
(反复出现「以为杀干净了,其实三代进程一起抢 CPU、日志互相覆盖」)。
端到端自证(强烈建议先做,排除静默 bug):造一个已知密钥的假 oracle + 一个持有该密钥的测试进程,看扫描器能不能自己找出来。
# 1) 假 oracle:把一段 JPEG 头用测试密钥 AES 加密,套上 V2 头(文件必须 >= 32 字节)
ct = AES.new(b"LaoyangTestKey16", AES.MODE_ECB).encrypt(bytes.fromhex("ffd8ffe000104a464946000101000001"))
open("/tmp/wx_oracle_test/x_t.dat","wb").write(
bytes.fromhex("070856320807") + (32).to_bytes(4,"little") + (0).to_bytes(4,"little") + b"\x01" + ct + b"\x00"*24)
# 2) 测试进程:把密钥写进 4MB bytearray(保证落在 >=64KB 的可写区),堆里再塞 20 万个随机 16 字节干扰项实测:8,563,976 个候选里 3 秒命中,解出 ffd8ffe0...。这条通过,才说明扫不到 = 密钥真不在内存。
批量子进程能验证「密钥正确性」,但拿不到原图;完整链路用
scripts/wx_batch_decrypt.py(下节)。
解密 + 归属(拿到密钥之后)
用 scripts/wx_batch_decrypt.py,它会先用 oracle 校验密钥(拒绝假阳性,
比如 ~/.wcdb-key-tool/image_aes_key.json 里那个历史假密钥),再批量解密并按
manifest 的 md5 把每张图归属回 群 / 时间 / 发送人:
python3 "$SKILL/scripts/wx_batch_decrypt.py" --out /tmp/wechatreader/decrypted # 四群原图
python3 "$SKILL/scripts/wx_batch_decrypt.py" --out DIR --scope all --thumbs # 全库 + 缩略图- 输出
<群简称>/<年月>/<md5><ext>+index.csv(群/年月/时间/发送人/md5/是否缩略图/字节/路径) - attach 目录名 =
md5(chatroom_id);.dat文件名 = manifest 的md5(缩略图是<md5>_t.dat,去掉_t再匹配) - ⚠️ manifest 里的群显示名是全名,不是简称:
招商纯资源交流群(华南1群)/招商纯资源交流群(华南2群)/老曾广佛招商资源精品群/无忧搬砖🧱—路发!—— 按「华南1群」去搜会得到 0 行,别踩。 - 解密校验(合成 V2
.dat反解):结构15 + AES 1040 + 中段 + 尾xor, 解密结果与原图 sha256 逐字节一致;错误密钥返回 None。
校验 oracle(关键技巧):首块密文高度重复(实测 2 种占 100%)→ 明文是标准 JPEG 头(常量)。 于是判据是「候选密钥必须能把每一个高频首块都解成图片魔数」。 别拿随便一个文件的首块当 oracle,要取最高频的那个。
输出样例
# 微信日报 · 2026-09-03
> 本机账号(我)= **张三**
## 产品A售后群
- 消息 69 条 · 发言 19 人 · 时段 06:14-11:43
- **[06:14] 用户甲**: 昨晚那版又崩了
- **[08:59] 用户乙**: [引用] 👍
- **[10:31] 用户甲**: [视频]
- **[11:23] 用户丙**: [引用] 用户丁「用的是最新版」 @用户丁 给下日志和 UID 看看呢媒体消息降级成占位符而不是丢弃 —— 日报能看出「这里有东西」,不会把热闹的群误判成冷场。
分享类会尝试抠 <title> 并剥掉 CDATA 壳,[链接] 标题 比一个图标有用得多。
local_type == 49(appmsg)会再往下分一层子类型:
<type>57</type> = [引用](带出被引用原文),
<type>62</type> = [拍一拍](从标题里抠出「谁拍的」当发言人)。
不分开的话这三类都会被笼统降级成 [链接],日报里等于白记 ——
拍一拍尤其明显:它正文没有 wxid 前缀,不认出来就只能显示成「未知(sid=32)」。
--days > 1 时 md 每行带日期([08-21 17:23]),单天日报仍是精简的 [17:23]。
出分析报告的方法论(踩过坑后固化)
用户要的往往不是「今天聊了什么」,而是**「这半个月提了哪些问题、哪些解决了、哪些还挂着」**。 下面这套流程在三个群(售后组 / 跟单组 / 招聘组)上跑通,直接照做。
分析模板已固化到
prompts/目录,可直接喂给 agent,不必每次重想:
prompts/issue-list.md—— 问题清单分析(四步法 + 四档分类 + 身份推断 + 跨群比对 + 硬性要求)prompts/daily-digest.md—— 单群每日摘要(2 分钟读完)用法:
read --format json拿数据 → 把 JSON + 对应模板一起丢给 agent。 模板里的{{ }}是占位符,执行前替换成具体群名/日期/字数上限。
第 0 步:先 refresh,再拉 JSON(别读 md)
"$PY" "$SCRIPTS/wx_read.py" refresh # ← 先拉最新数据,别省
"$PY" "$SCRIPTS/wx_read.py" read --group "【XX】群" --date 2026-09-03 --days 14 \
--limit 20000 --format json --out "$DATA/out/XX_14天.json"① 出报告前一定要 refresh,且要确认数据时间晚于你要覆盖的时段。
2026-09-03 踩过:15:10 refresh、15:52 出报告,中间 42 分钟产生的 14 条消息全漏了 ——
其中两条直接推翻了报告结论(退货率其实已经能识别了)。
read 不会告诉你「数据是 40 分钟前的」,它只会安静地给你一份过期的清单。
② --limit 要给够。 默认 3000 对大群是会被打满的(实测 30 天窗口里
「技术闲聊群」「产品A售后群」「行业交流群」三个群都撞上上限),
撞上以后丢的是最早的消息,复盘时最需要的时间起点反而没了。
③ 复现固定区间必须显式给 --date。
--days 14 不带 --date 时窗口按「今天」滚动,最早一天会不断滑出 ——
昨天跑是 08-2109-03(384 条),今天跑就变成 08-2209-04(306 条),
少的 78 条不是丢了,是 08-21 出窗了。做前后对比时这一条最容易踩。
第 1 步:先统计,再读原文
拿到 JSON 先跑一遍分布,别上来就通读:
- 按日期分组的每日消息量 —— 定位哪几天是爆发点
- 发言人分布 —— 谁在主导、谁只是偶尔冒头
- 消息类型分布(
type字段)——type=1是纯文本,只有这些才值得精读
第 2 步:按日期切段,只读文本消息
过滤掉 [图片] [视频] 这类占位符,按天切片输出。通读 384 条和精读 200 条文本,
产出的质量差得远 —— 图片占位符会把注意力全吸走。
第 3 步:逐条标注「提出日 - 问题 - 处理方式 - 状态」
一张表跑到底。「提出日」必须有 —— 没有日期就没法算「挂了几天」, 而「挂了几天」恰恰是这类报告最硬的信息(实测抓出过「某口径争议挂了 5 天」 「某评测模板过节点 6 天」「某周会议约定的 4 项节点全部延期且没人吭声」)。
第 4 步:四档分类
| 档 | 判据 | 为什么单列 |
| 已完成 | 有人说「好了/修复了/已同步」 | 给用户信心,也防止重复汇报 |
| 未完成(按 H/M/L 分优先级) | 提了但没人接、或接了没回音 | 报告的正文 |
| 平台限制 | 卡在微信/抖音/BOSS直聘等外部平台,群里改不了 | 别当成团队不作为,会冤枉人 |
| 需管理层介入 | 跨部门、要资源、要拍板 | 单独拎出来,决策者只看这一段 |
三条让报告从「流水账」变成「有价值」的经验
① 身份靠「@点名 → 谁应答」来认,不要靠猜显示名。 微信昵称和企业微信实名经常对不上(昵称是「Alice」,实名是「李明」,部门是供应链部)。 可靠办法是看「A @了企业微信实名 B,紧接着哪个昵称回答了」—— 一次点名就把三者对上了。 实测靠这一招把群里主要发言人的昵称、实名、部门全部锚定。 认错人的报告没人敢用,这一步值得花时间。
② 跨群交叉比对,能发现单群看不到的问题。 同一个物流单号,在售后群里被当成「卡死了」,在跟单群里其实已经推进到「对接某快递平台」—— 两个群各说各话,只看一个群会得出完全相反的结论。 拿到多个相关群时,务必对着单号/关键词做一次交叉。
③ 敏感信息要单独拎出来红字提示。 群里明文发账号密码是常态。实测一份 14 天清单里揪出过两次: 某快递平台开放平台账号密码(发的人自己 10 分钟后补了句「都是敏感数据」)、 某远程控制工具的设备 ID + 验证码 14 天内发了 4 次。 这种东西不该埋在正文里 —— 报告会被转发、被截图,单独拎出来才能推动整改。
报告里一定要有的三样东西
- 时间敏感项:`某天说「她周五回去验证」→ 周五 = 09-04(就是明天),而 09-02/09-03 群内完全静默。 这类「deadline 快到了但没人动」的条目,比一堆「已完成」加起来都值钱。 到了当天要主动复查一次(实测:当天早上复查发现三个群全是 0 条,其中一个已静默 3 天)。
- 修订说明:如果之前出过一版(比如发言人认错了),新版开头要写清楚改了什么、为什么改, 并附一张「原报告 → 更正」对照表。不然用户不知道该信哪版。
- 挂起天数要写明「从哪天算起」。某版写「XX 口径挂了 5 天」,其实当天下午 已有实质进展,只是 refresh 早了 42 分钟没读到 —— 报告看着像「没人干活」, 其实是「我没看到」。这种错比漏一条消息严重得多,它会让人去追一个已经不存在的问题。
复查旧报告:三层校验法
过一两天复查时,别直接重跑同一个命令 —— 那样只会看到窗口滚动造成的假差异。
| 层 | 做法 | 查什么 |
| ① 严格同窗口 | 固定 --date <上次截止日> --days N,五元组(日期+时间+发言人+类型+正文)逐条比对 | 「上次独有」必须为 0;非 0 说明读取层回退了 |
| ② 滚动窗口 | 按今天的 --days N 重读 | 新进了什么、滑出了什么 |
| ③ 系统消息 | 加 --sys 重读 | 确认默认过滤没误杀有内容的消息 |
第 ① 层是关键:只有固定窗口才能把「数据变了」和「窗口滑了」分开。 不然要么对着「少了 78 条」虚惊一场,要么把真丢了的数据当成窗口滚动放过去。
2026-09-04 实测:三群同窗口比对「昨日独有 = 0」,确认读取层可靠; 滚动窗口补出 14 条新消息,其中 2 条推翻了原报告结论 —— 正是靠这套分层才没误判。
知识看板踩过的坑(2026-09-05 固化)
出 kb.html 时照这个清单,别再现场试错。
① refresh 必须出沙箱。 沙箱里查 Weixin.exe 会假阴性(进程在、扫描 0)。
wx_read.py refresh 调 ReadProcessMemory,WorkBuddy 里要 dangerouslyDisableSandbox: true。
search --build 和 wx_kb.py 只读工作区,可以留在沙箱。
② 索引停在昨天,看板就会写「不是今天」。 wx_kb 读的是 index.db,不是明文库。
refresh 完如果漏 search --build,页脚 index_latest 会停在旧日期,优先看里没有今天的帖。
2026-09-05 实测:漏这一步时最新停在 2026-09-04 23:59:59;补增量 +1726 条后才到今天。
③ Git Bash 不要用 /c/Users/... 调 Python。 会被解析成 d:\c\Users\...,报 can't open file。
用完整绝对路径(盘符在前、正斜杠,形如 C:/Users/<用户名>/...)。
④ 不要往 $DATA 写探测脚本。 工作区外写入会被拦。探测/临时脚本放 scripts/,
产出才写 $DATA\out\。
⑤ 品牌命中 ≠ 知识。 第一版 is_knowledge 只要 TAXONOMY 命中就进库,优先看被
WorkBuddy 入群须知、桂皮早报、ToAPIs 早报、加热接龙占满。收紧后:文档链接 / 教程句式 / 品牌+长说明。
⑥ 情报层不要做成 CRM。 用户判断:Rion wechat-intelligence-hub(AGPL-3.0-only)的
机会状态机「没啥用」,不如 Radar 看板。学设计不抄码;Radar 的 macOS Frida 取钥是封号红线,不能搬。
Windows 入口继续用本 skill。
⑦ 256 不是真实群数。 看板只覆盖已进 FTS 的明文,别让它假装全量。
db_storage 里到底有什么(2026-09-07 实测订正):下面这张表比「biz / media」这类含糊说法有用
—— 以前文档写的 biz / media 两个名字都不存在,是我记错了。
| 目录 | 是什么 | 体积 | 已解? |
message | 群/单聊消息,message_0~6.db 七个分片 | 2.4 GB | ✅ 全 7 片 |
contact / contact_fts | 通讯录、联系人索引 | 75 MB | ✅ |
session | 会话列表 | 5.8 MB | ✅ |
message_fts / message_resource | 消息全文索引 / 资源索引 | 50 MB | ✅ |
head_image | 头像 | 74 MB | ❌ |
sns | 朋友圈 | 25 MB | ❌ |
favorite | 收藏 | 19 MB | ❌ |
general / solitaire / hardlink / emoticon | 通用 / 接龙 / 硬链接 / 表情 | 29 MB | ❌ |
bizchat | 企业微信、公众号会话 | 0.1 MB | ❌ |
chatbot / migrate / MMKV / third_app_icon | 机器人 / 迁移 / KV 配置 / 图标 | <1 MB | ❌ |
另外账号目录下还有两个不是数据库的文件目录,跟解密无关,别混为一谈:
business\(表情/收藏/输入法的业务产物)、msg\(attach / file / video,图片视频原文件)、
cache\ / temp\ / resource\。媒体文件从来就不是「解密」的对象。
未解的那些要么跟群日报无关(头像、朋友圈、收藏),要么小到没内容(bizchat 才 0.1 MB)。
真要补,bizchat 和 favorite 是最有可能有货的两个 —— 但要你点头我才动。
⑧ 双副本。 作者自用时保持两份:源码仓库一份,安装副本一份。 改脚本/SKILL.md/README 后两边都要拷,对话加载的是安装副本。
⑨ 摘要靠 hash 锚定,不是靠序号(2026-09-06)。 hash = sha1(群|ts|正文前120字)[:12]。
ts 来自原始消息时间戳,refresh 不会变,所以重新生成看板后同一条目的 hash 稳定;
但 --days 变化导致该条落窗/出窗时,05 区会随之增减 —— 摘要没丢,只是当前窗口没命中。
想留住结论就别按「第几条」记,按 hash。
⑩ 索引新鲜度别用 max(date)+max(time) 拼(2026-09-06)。 这俩是两个独立的极大值,
拼出来是「今天日期 + 23:59:59」,落在未来 → 状态条算出 索引 -13.4h 前(负数)。
正确写法是取 ts 最大的那一行:SELECT date, time FROM msgs_fts ORDER BY CAST(ts AS INTEGER) DESC LIMIT 1。
这个 bug 正是新加的状态条照出来的 —— 没做健康度可视化时它藏了好几轮。
⑪ URL 提取别用 [^\s]+(2026-09-06)。 消息里链接后面紧跟的中文/乱码会被一起吞进去,
实测吞出 https://x.com/berryxia/status/2096260784624132557Ȇ˂eu(òQf4((。
害处有两个:展示脏,且同一条链接被拆成两条、去重计数失效。
改用 RFC 3986 合法字符集:https?://[A-Za-z0-9\-._~:/?#\[\]@!$&()*+,;=%]+。
⑫ 活跃分 ≠ 值得看(2026-09-06)。 四因子量的是「吵不吵」,不是「值不值」。
实测「某闲聊水群」4288 条 / 121 发言人,靠频率 .4 拿 act=70 坐第一,
但窗口内知识条目 0 —— 纯闲聊水群。
处理:不改算法(权重是批准的口径),改成把 items 单列一列、零条目的群压暗并标「水」。
排序仍是 (-activity, -items),但读者一眼能看出第一名没货。
⑬ f-string 模板里的反斜杠要双写,JS 注释里也算(2026-09-06)。 写 split(/\s+/),
Python 报 SyntaxWarning: invalid escape sequence(现在是警告,将来是 SyntaxError)。必须写成 /\\s+/。
坑中坑:把这段说明写进 JS 注释照样触发 —— 对 Python 来说模板里全是大字符串,
注释文本没有豁免权。注释要么不写反斜杠,要么也双写。
同理每个 { } 都要写成 {{ }}。改完模板必须跑 scripts/smoke_kb_ui.py。
⑭ 别给路径加默认值兜底(2026-09-07)。 以前 os.environ.get("WECHATREADER_DATA", r"某个盘符")
看着贴心,实际是坑:换台机器那个盘符八成不存在,脚本会拿着一个不存在的路径跑到底,
报错是「找不到库」而不是「你还没配置」—— 用户会去查数据库,不去看配置。
现在一律走 wx_config.require_data() / require_src(),拿不到就 exit(2) 并把向导命令打出来。
加新脚本时照抄这个模式,别再写 os.environ.get(..., "某个盘符")。
⑮ src 是文件管理根目录,不是 db_storage(2026-09-07)。 微信 4.x 真实布局是
<文件管理根>\xwechat_files\<wxid>\db_storage\,db_storage 藏在第 3 层。
所以校验不能写成「path 下直接有 db_storage」,那会把用户自己在微信里看到的根目录判成非法。
用 wx_config.find_db_storage(path, max_depth=3),根 / 账号目录 / db_storage 三种指法都要认。
探测出的候选还要按 main_db_size() 排序 —— 机器上有微信残留目录很常见
(实测:作者机器上一个 390MB 今天在写,一个 0.1MB 停在 4 月),按发现顺序推荐会推到空壳上。
⑯ 一张坏表不许拖垮整轮索引(2026-09-10)。 微信边写边热拷,快照偶发坏页;
实测撞上 message_0.db 的 Msg_ee13edd2... 单表损坏,search --build 直接抛
database disk image is malformed,前面几十分钟白跑。现在 wx_read.py 有三层兜底:
_max_rowid()(坏库返回 None 而不是抛)+ _safe_iter()(逐行取游标,遇坏页把
state['bad'] 置上就停,已读的行照样用)+ 该单元回滚 DELETE FROM msgs_fts WHERE rowid > rid0
且不写水位线(下轮自动重试)。坏库名单在 stderr 打印,末尾给修复指引。
真正的修法仍是 refresh 重刷那一轮(重解出干净快照);容错只是保证「坏着也能出大部分数据」,
不是替代修复。自测在 scripts/regress.py --self-test(造坏库 + 跑全部离线逻辑断言,不碰工作区)。
目录约定
| 路径 | 用途 |
$DATA\db\ | 解密后的明文数据库(refresh 产出,WAL 增量 patch 的写入目标) |
$DATA\all_keys.json | 各库明文密钥(refresh 产出)。别外传、别进版本库;删了无妨,refresh 会重取 |
$DATA\refresh_state.json | refresh 增量状态(密钥指纹 + 源库/WAL mtime)。删了无妨,下轮全量重解 |
$DATA\index.db | FTS5 全文索引(search --build 产出,可删重建) |
$DATA\state.db | 问题生命周期追踪(wx_state.py 读写) |
$DATA\out\ | 日报 / 知识看板产出(kb.html) |
$DATA\groups.txt | 常驻群清单 |
$SRC | 微信原始数据,只读源,永远不要直接打开 |
prompts/ | 分析模板(issue-list.md / daily-digest.md),随 skill 分发 |
PRIVACY.md | 隐私与账号安全红线 |
如果你之前用过 chatlog 之类的工具,源目录
db_storage/*/下可能残留*.decrypted.db(老版本解出来的明文库)。它们跟本项目无关 —— 本项目只往工作区db/写、且用原始文件名,既不去读也不去写那些残留文件。locate()只扫工作区目录,所以残留文件不会干扰读取。 要不要清理由你自己决定(按只读铁律,本工具不会替你删)。
环境变量 WECHATREADER_DATA 可改工作区根,WECHATREADER_SRC 可改源目录。
⚠️ 什么时候会失效
微信 4.1+ 不再在内存里缓存明文 raw key,只留一个 passphrase,真密钥要再跑一轮 PBKDF2 才能算出来。
这直接判了「扫描内存特征找 32 字节密钥」这类老方法的死刑 —— chatlog 全系失效,它 README 自己写的支持上限就是 Windows < 4.0.3.36。
wcdb-key-tool 绕开了这一点:不去猜 key,去找 WCDB 自己的 com.Tencent.WCDB.Config.Cipher 配置对象(进程里按名字字符串定位),解出里面的 x'<64位hex><32位hex salt>' 片段,再用数据库首页的 HMAC-SHA512 校验。
只要微信还用 WCDB 且保留这个字符串,就能继续用。
失效症状与处理:
| 症状 | 原因 | 怎么办 |
wechat process not found / 扫描 0 个进程 | 微信没开 | 打开微信并登录 |
一直 0/N salts | 微信版本又改了 Config.Cipher 布局 | 去上游 TANGandXUE/wcdb-key-tool 看有没有新版 |
部分库 MISSING | 那几个是已有的 .decrypted.db(本来就是明文,salt = SQLite format 3\0),不是失败 | 忽略 |
| 数据时间停在旧日期 | 微信长时间挂机会清空内存密钥 | 退出微信重新登录,然后立刻跑 refresh |
密钥会变:每次退出登录重登,密钥重新生成,要重跑一次 refresh。
风险说明
refresh 的解密步骤绕开了 SQLCipher 访问控制,在法律上可能触及 DMCA §1201 反规避条款。
腾讯 2026-07 / 2026-08 已据此犁过一轮:sjzar/chatlog 作者收到律师函后删光代码与提交历史,
jackwener/wx-cli 连同 1464 个 fork 全被下架,r266-tech/wechat-cli 也被要求删除所有 fork 与 release。
本 skill 只处理用户自己设备上自己账号的数据,不采集、不批量、不接触任何服务器通信。 首次使用须用户明确授权,之后按用户指令执行。
合规替代方案:企业微信会话存档,服务版 ¥900/人/年,买 1 个席位拉进目标群即可, 群数不限且含外部客户群;代价是要钱、需员工知情同意,且只能拿到开通之后的增量。
改代码前必读
数据库结构与六个必踩的坑见 references/schema.md:
WCDB_CT_message_content是权威判别位('0'明文 /'4'zstd)local_type必须取低 32 位(高 32 位是子类型)- 群消息正文带
发送者wxid:\n前缀,剥之前先把 wxid 存下来 - XML 字段值全被 CDATA 包着,抽出来必须剥壳
local_type == 49要再分一层:<appmsg><type>57</type>引用回复、<type>62</type>拍一拍real_sender_id与contact.id是两套 id,拿 id 查联系人会把整份日报的发言人全部弄错, 而且错得毫无破绽。发言人以正文前缀 wxid 为准。
取数逻辑层面另有四个坑(同样在 references/schema.md,「读取层的坑」一节):
排序要带二级键 rowid(秒级时间戳会撞)、--limit 超限丢的是最早的、
子串匹配要多给时告警、空正文未知类型不能静默丢弃。
前两个违反直觉,改 ORDER BY / LIMIT 前务必先读。
⑭ 跨分片同名表必须 UNION,不能二选一(2026-09-06 修复)。
一个群的历史被 WCDB 按 500MB 一片切开:老消息在 message_1,新消息在 message_0,
同名 Msg_<hash> 表会同时存在于多个分片。旧版 build_index 用「后库优先」二选一,
结果 2026 年新消息(只在 message_0)和 2021-2023 老消息(只在 message_16)各丢一半——
实测全量索引从 71 万条恢复到 110 万条。正确做法:6 后必须 table_map[t] 存分片列表,
read 处各分片取回后按 (create_time, rowid) 合并排序;FTS 按 (库, 表) 分别记水位线;
任一分片水位线倒退时整群删掉重插(msgs_fts 不记来源库,只重插一个分片会把
另一分片已索引的行误删),且同群多分片触发重置时 DELETE 只做一次。
另注意:解密了 message_1search --build --full 重建索引,增量不会回填老分片。
改完怎么验证
"$PY" "$SCRIPTS/regress.py" --days 30 # 读 groups.txt(或 --group),打印条数/耗时/未知率/告警
"$PY" "$SCRIPTS/regress.py" --self-test # 离线自测:坏库容错 4 项 + 新词/承诺/异动/清洗 22 项,不需配路径、不碰微信判据:未知率应为 0%(30 天 15670 条实测 0.00%)、不应出现 limit 超限告警、
条数与改动前对得上。临时产出 _regress.json 跑完即删。
--self-test 两组断言:① 坏库容错 —— _max_rowid 不抛 / _safe_iter 不抛且置 bad / 回滚只删本单元新插行;
② 离线逻辑 —— 新词抽得出真词且碎片被长词吃掉 / 承诺真句全中且误报为零 / 到期日解析 /
异动三态且历史不足不下结论 / 引用前缀该剥的剥、不该动的别动。
解密工具来源:tools/wcdb-key-tool/(MIT,TANGandXUE/wcdb-key-tool),纯标准库、零第三方依赖、
AES 走 Windows 自带 CNG(bcrypt.dll)。
品牌联系总表:按群拆分 与 品牌列异常清洗(2026-09-14 新增)
面向「从 N 个群抽品牌/联系人/联系方式 → 出一份能直接用的 Excel」这条链路。
核心脚本三件套:scripts/wx_brand_tables.py(挖表)→ scripts/wx_merge_brands.py(合并去重+拆分)
→ scripts/wx_brand_anomaly.py(品牌列异常清洗)。三者都带 --selftest。
一、读消息库的三个致命坑(比 ⑭ 更具体,务必先看)
坑 1:message_N.db 是按年分片的,不是按大小。
实测 message_0 = 2026-03今、2026-03 …… message_1 = 2025-03message_8 = 2018-12~2019-03。
同名 Msg_<hash> 表在各分片里各存一段连续历史。后果极其严重:
| 场景 | 无忧搬砖条数 | 群归属能判出的行数 |
| 只读 1 个分片(旧做法) | 5,699 | 6 |
| 遍历全部分片 | 212,220 | 14,629 |
→ 丢掉 97% 的历史。另注意:有些群只在 message_0(新建群),
所以「某个群只有一个分片」不代表分片机制不存在。
发现手法:号码在群里查不到 → 去全库 LIKE 扫一遍 → 命中表其实在另一个分片。
坑 2:WCDB_CT_message_content == 4 的 message_content 是 zstd 压缩的 bytes。
四群共 24,000 条压缩消息、约 3,400 万字。只 isinstance(mc, str) 判断会把它们
静默跳过,且 LIKE 也匹配不到。正确写法:
import zstandard as zstd
_D = zstd.ZstdDecompressor()
def to_text(mc, cc):
if isinstance(mc, (bytes, bytearray)):
b = bytes(mc)
if cc == 4 or b[:4] == b"\x28\xb5\x2f\xfd": # 也认 zstd 魔数
try: b = _D.decompress(b)
except Exception:
try: b = _D.stream_reader(b).read() # 流式帧兜底
except Exception: return ""
mc = b.decode("utf-8", "ignore")
...坑 3:不能只取 local_type == 1。 local_type 还有 subtype<<32|base 的复合值
(25769803825 = 6<<32|49 即"文件");转发/引用/链接/文件卡片的正文裹在 XML 里,
要先用正则取 title="..." / des="..." / <title>…</title> 再去标签。
只看 local_type == 1 会漏掉全部转发内容。
坑 3b(代码层面):SELECT 列顺序必须和解包顺序严格一致。写成
need = [c for c in cols if c in (...)] 再按另一个顺序解包,会解出 lt=<create_time>——
表象是"一条都没抽到"(0 条),很难看出来。
二、按群拆分的坑:NFKC 让精确匹配必然失败
载入时 clean() 走 NFKC 归一,全角括号/叹号会被折成半角:
| 配置里的全称 | 库里的实际值 |
招商纯资源交流群(华南1群) | 招商纯资源交流群(华南1群) |
无忧搬砖🧱—路发! | 无忧搬砖🧱—路发! |
拿全称做 dict 查表 → 2.7 万行被判成「群归属待定」。必须改成关键词匹配:
GROUP_RULES = (("无忧搬砖", ("无忧", "搬砖")), ("老曾", ("老曾",)), ("华南1和2", ("华南",)))同一个坑会在展示层再犯一次:统计页 dist.get("无忧搬砖🧱—路发!") 永远是 0
(键是半角)。正确做法是遍历实际统计到的群名再按桶过滤,别拿配置值直接查计数器。
三、群归属追踪与拆分要点
merge()里给每条记录挂rec["_groups"] = [...],并入已有记录时取并集; 终局去重(三同并行)时也要并集,否则跨群信息会丢。- 跨群记录刻意同时出现在多份表里,并在「跨群重合」页标注 —— 用户要看的就是重合。 实测三份表合计 35,053 行 > 去重后 29,880 → 5,173 行跨群重合。
- 拆完表后必须再跑一次有效性筛选:品牌被清洗清空后,可能出现整行无有效信息的空壳 (实测 3 行)。
- 群归属无法判定的行单独成表,不要硬塞进某一份,也不要丢。
四、品牌列异常清洗规则(wx_brand_anomaly.py,176 条双清单自测)
| 规则 | 说明 |
| R0 保护名单 | 招商银行/招商证券/招商局/招商蛇口/民生银行… 一律不动 |
| R1 显式修复 | 逐条回源核实过的粘连值(如 28333359山池咖啡→山池咖啡) |
| R2 号码粘连 | 品牌含 5+ 位数字串 → 截到数字前,再削尾部职能词 |
| R3 铺位号前缀 | B127A United Nude→United Nude、L208 The North Face→The North Face |
| R4 职能词污染 | 乐乐茶华南招商→乐乐茶;削完只剩 银行/儿童/餐饮/乐园/区域/发展 → 清空 |
| R4b 品牌+人名+职务 | 小黄牛郭总→品牌小黄牛,郭总 进联系人 |
| R5 工商全称剥壳 | 宁波太平鸟时尚服饰股份有限公司→太平鸟 |
| R6 人名误入品牌 | 刘老师/丁总/康女士 → 移入联系人,品牌清空 |
| R7 职务误入品牌 | 拓展总监/广西总经理 → 清空(列错位产物) |
| R8 品牌混入联系人 | 联系人列以品牌开头 → 削前缀 |
| R9 联网核实 | 联网复核后的确定性修正(湘小小老板→湘小小) |
| R10 职务列人名归位 | 品牌空 + 联系人空 + 职务列是人名 → 移入联系人 |
★ 四条「想当然就会误杀」的红线
- 「品牌以数字开头就是脏」是错的。
1828王老吉 / 1200bookshop / 1314茶 / 1919酒类直供 / 1984甜品 / 2046美发连锁 / 8090烤肉 / 3200Tea / 123baby孕婴童用品店全是真品牌。 - 「品牌形如 X总/X先生/X小姐 就是人名」是错的。
大米先生 / 生煎先生 / 货郎先生 / 凉皮先生 / 蛙先生 / 松饼小姐 / 野人先生 / 秦哥哥 / 塘桥老哥 / 小辉哥全是连锁品牌。 只有「单字姓氏 + 称呼」才算硬证据。 - 「品牌含职能词就削」会把
招商银行削成银行→ 必须有PROTECT_BRANDS。 - 「品牌末尾是'总'就清空」会把
小黄牛郭总 / 盖码饭谷总 / 赛佰味杨总整条清空 → 正确做法是 R4b 留下品牌、把「郭总」当人名;并且 R6 必须排在 R7 之前, 否则丁总 / 周总 / 杜老板 / 林经理会被当职务清空,人名的信息就丢了。
其他两条实现细节
- 品类尾词剥离要加双重条件:剥
眼镜/咖啡/内衣/便利店时,必须同时满足 ① 当前值不在品牌池 ② 削完的候选在品牌池。只满足②会把博士眼镜削成博士。 - 工商全称剥壳不能加「原值已在池内就跳过」的护栏 —— 工商全称本身就是池里的一个独立值,
加了等于把所有待修的值全放过去(实测 58 处全被拦掉)。真正的护栏是
「候选必须命中品牌池」+「候选不能是通用行业名词(
GENERIC_STOP)」。 - 改动记录只能保留最终生效的那条,中间态(如
拓展总监→总监→清空)要丢掉, 否则审核页会误导。
五、联网复核的分档原则
只校头部 + 只校自己改过的,别妄想全量。50 个名字两批并行子代理(每个 1 次 WebSearch)。 结论分三档:
- 确定性修正 → 进
VERIFIED_FIX自动落(商中田健身→中田健身、KING卡蒂乐鳄鱼→卡帝乐鳄鱼、鲁玉欧诗漫→欧诗漫、音乐主题/盖码饭判为非品牌) - 证据不定 → 进
VERIFIED_NOTE,只记录不改,单独出「联网复核存疑」页 (赛佰味疑赛百味、瑞希咖啡疑瑞幸、朱宣贵火锅疑朱富贵、小黄牛多主体重名…) - 确认为真品牌的,加进自测「必须不改」清单,防止下次被新规则误杀
六、审计脚本的两个自坑(写审计时最容易忘)
- 不能把各列拼成一行再查字符类问题。
" ".join(各列)会在列缝处凭空造出中文 空格 中文,实测整表 82.6% 误报。必须逐字段any(RE.search(c) for c in cells)。 - 不要在输出里用全角字符当分隔符(曾用
|U+FF5C 写备注,导致自己的审计报 「458 行含全角字符」)。用"; "。
七、验收清单(全绿才算完)
"$PY" "$SCRIPTS/wx_brand_anomaly.py" --selftest # 176/176
"$PY" "$SCRIPTS/wx_brand_canon.py" --selftest # 24/24
"$PY" /tmp/wechatreader/audit_round4.py # 逐字段审计判据:乱码 0 / 全角 0 / 中文间空格 0 / 品牌含手机号 0 / 品牌为职务词 0 / 面积类品牌 0 / 无可联系方式 0 / 溯源四列无残留 / 完全重复行 0。 「品牌与联系人均空」允许存在(它们带公司或职务 + 电话,属可用线索),但要人工过一眼。
增量更新一轮的完整流程(2026-09-15 固化)
用户说「继续获取资料,更新信息」时走这一节。四群基线: 总表 29,880 行(09-14)→ 32,888 行(09-15),三份分群表 + 一份增量对账表。
一、★ 先验校验器,再验数据 —— 本轮最大的坑
微信 4.1.10+ 的库密钥来自 32 字节 passphrase,由
PBKDF2-SHA512(passphrase, salt, 256000) 派生,校验靠 page1 的 HMAC。
而 ~/.wcdb-key-tool/wechat-passphrase.json 常是 root:600(早先用 sudo 生成的),
普通用户读不了,沙箱里 sudo 还被直接禁掉(operation not permitted: sudo)。
于是我去试历史缓存的 all_keys.json,探针报告 13/13 全部失效 ——
差一点就得出"密钥轮换了、必须重新登录抓 passphrase"的结论。
结论是错的。 探针把 SQLCipher4 的 reserve 写成 48,正确值是 80(IV16+HMAC64):
RESERVE_SZ = 80 # ← 写成 48 会偏 16 字节
data = page1[16 : 4096 - 80 + 16] # = page1[16:4032]
stored = page1[4096 - 64 : 4096] # = page1[4032:4096]偏 16 字节 → 正确的密钥也验不过。改成 80 之后,13 个库 全部有效, 直接解密成功,不需要 sudo、不需要 lldb、更不需要让用户退出登录重扫码。
写进肌肉记忆的两条:
- 凡是"全部失败"的结论,先怀疑校验器,再怀疑数据。 拿一个已知正确的样本把 校验器跑通,再去看失败率 —— 否则你是在用一个坏尺子量东西。
- 历史
all_keys.json通常仍然有效:库的 salt 不变,只有微信重新登录 才轮换 passphrase。先--probe(1 秒)再决定要不要动 0.85GB 的解密。
备用路径(已验证可行、本次未启用):微信是 adhoc 签名、无加固运行时,
普通用户就能用 lldb attach(不需要 sudo / Developer Mode)。
工具:tools/lldb_wcdb_key_hunt.py(读内存找 passphrase 候选 + HMAC 校验)。
但注意它的校验同样依赖上面那个常量 —— 常量错,全盘皆错。
二、按需解密:scripts/wx_decrypt_targets.py(新增)
wcdb-key-tool decrypt 会 os.walk 整个 db_storage,把 611MB 的 media_0.db、
246MB 的 message_fts.db 也解一遍。四群提取只用 13 个库(合计 0.85GB / 约 2 秒)。
PY=~/.workbuddy/binaries/python/envs/default/bin/python
SK=~/.workbuddy/skills/wechatreader
DB=<wxid>/db_storage
"$PY" "$SK/scripts/wx_decrypt_targets.py" all_keys.json "$DB" "$DB" --probe # 先验
"$PY" "$SK/scripts/wx_decrypt_targets.py" all_keys.json \
$HOME/Library/Containers/com.tencent.xinWeChat/Data/Documents/\
xwechat_files/<WECHAT_ACCOUNT_ID>/db_storage /tmp/wechatreader/db三、群消息正文:scripts/wx_group_dump.py(新增)
三个必须同时处理的坑(都已在代码里关上):
| 坑 | 现象 | 处理 |
| 同一 Msg 表跨多个分片 | 只读 message_0.db 会漏 97% 历史(5,699 vs 212,220 行) | 遍历 message_0..10,按 (create_time, 正文) 去重 |
WCDB_CT_message_content = 4 是 zstd | isinstance(mc, str) 判断和 SQL 侧 LIKE 都会静默漏掉 24,000 条 / 3,400 万字 | 按该列解压,再用魔数 28 b5 2f fd 兜底 |
| SELECT 列序≠解包序 | 列名靠推导拼出来时列序按 schema 走,解包按另一顺序 → 抽出 0 行且不报错 | 列名写死字面量 |
★ 第四个坑:发言人剥离必须先于换行折叠。 群消息正文是
<发送者wxid>:\n<正文>,发言人正则要求冒号后紧跟换行。若先把 \n 折成空格,
正则永远匹配不上 —— 实测 249,848 条里只剥出 164 条(0.1%),
残留的 wxid_5787527875522: 还会被下游当成手机号(账号名里嵌了号码)。
顺序必须死守:先 RE_SENDER 剥前缀 → 再折换行。修好后剥离率 64.1%。
四、聊天正文抽取:scripts/wx_chat_brands.py(新增,本轮增量主力)
四群 161,050 条文本消息里 8,049 条带手机号。上一轮聊天层只产出 3,126 行 (明显偏少),本脚本产出 6,517 行(有品牌 4,772 / 有电话 6,456)。
四类格式,按命中顺序:
| 模式 | 形态 | 产出 |
| P1 标签块 | 【品牌名称】宫匠造办【所属业态】黄金珠宝【联系人】姚毅伟【电话微信】135… | 2,107 |
| P2 单行多记录 | 一条消息里多个「品牌 人 电话」三元组,按电话切段 | 705 |
| P3 简写 | 鼎泰厨-周-13802878949、步步高鞋业 钟小姐 18938674339 | 2,540 |
| P4 散文 | 带电话但无结构 → 只留联系人+电话+摘录,品牌留空不硬猜 | 1,165 |
三条护栏(每条都是踩出来的):
- 电话正则必须加左边界
(?<![0-9A-Za-z])。否则bst18925070508这类 「把手机号写进微信号」的账号会被截出18925070508,凭空造出一条正文里 根本不存在的电话。 - 品牌/人名按「职务后缀」区分,不能靠位置。 群里两种语序都存在:
倍轻松 李生营运部经理 135…与李生营运部经理 倍轻松 135…。 按"最后一个 token 是人"会把两者都搞错。判据只能是「以 总/生/经理/先生/女士/ 小姐/老板/老师/董/哥/姐 结尾」;品牌与人名粘在一起时用姓氏表切 (理想汽车王雪瑶→ 理想汽车 / 王雪瑶)。 - P1 的标签值必须过长度与形态校验。 「品牌」「项目」这类标签词会出现在正文
任意位置,切出来的值可能是一整句招商说明。实测不校验时
优势 直营店13家,投资门槛低…、周期〗筹备期 〖招聘岗位〗…全成了"品牌"。 校验不过就降级为留空 —— 宁可少一行,不要造一个假品牌, 假品牌会一路传到交付表,再靠下游十轮规则去救。 - 手机号必须先做分隔符归一化,否则成批漏。 招商群发联系人高度习惯
把号码写成
186 8886 3879/181-2276-2278/189 2628 6542。 严格正则(?<![0-9A-Za-z])(1[3-9]\d{9})(?![0-9])要求 11 位连续, 这类写法整串落空。2026-09 四群实测因此漏掉 27 个号码,且全部带品牌和人名 (兰思图181-2276-2278蔡先生、羲和雅苑186 1109 7565赵总、 聚满分136 4083 0101田生 ……)。 修法:文本进入抽取前先跑normalize_sep_phones(),用RE_PHONE_SEP = (1[3-9]\d)[\s\-]?(\d{4})[\s\-]?(\d{4})把 3-4-4 之间的分隔符去掉, 拼成连续 11 位再匹配(只认1[3-9]开头、结尾非数字,不会误吃普通数字串)。 修复后 9 月四群 784 → 824 行,27 个号码全部回归。
形态判据清单(brandy()):长度 2–24 / 无句中标点 / 无虚词(的了我你他她它们)/
无口吻词(可以欢迎需要要求联系合作…)/ 非纯度量串(300方、5+,但
5+2儿童创意中心、70年代江西菜 是真品牌,所以只在"整串只有数字与单位"时判死)/
非地名(浙江桐乡、东莞南城)。
联系人侧另有一道 person_ok(),挡 合作热线 / 我司洽谈 / 咨询阿乐,
但放行 李总 / 王经理(职务后缀结尾的合法人称)。
质量实测:可疑品牌(>14 字或含标点虚词)1.9%(127/6,517)。
五、scripts/wx_files.py 的两个 bug(本轮已修)
华南1/华南2 的群哈希写反了。 错误映射会把两群的文件层归属整体对调。 权威依据是
contact.db的nick_name(这两条remark为空,无歧义):群 chatroom id Msg hash 招商纯资源交流群(华南1群) 58967392652@chatrooma7e23c0373086beb2714064ecf9ffb94招商纯资源交流群(华南2群) 50310400582@chatroomd60c838e039bb65206f0348433b97a6c交叉验证三遍才算数:contact 的
nick_name+ 重算 md5 + 群内系统消息。 上一轮把两群合并成一份表交付,结果没受影响,但归属标注是错的 —— 这类"看起来没出事"的错误最容易被留下来。 以后不要凭记忆填这张表,wx_group_dump.py会从 contact.db 反查并打印全部 hash。- 布局假设写成扁平的了。 原来是
os.path.join(DB, f"message_{i}.db")→$DATA/db/message_0.db, 而解密产物是$DATA/db/message/message_0.db(嵌套一层)。 后果是抽出 0 条且不报错 —— 最难发现的那种失败。 已改为shard_paths()用os.walk递归查找(wx_read.py的locate()本来 就是这么写的,早该对齐)。
六、一轮更新的命令清单
PY=~/.workbuddy/binaries/python/envs/default/bin/python
SK=~/.workbuddy/skills/wechatreader
D=/tmp/wechatreader # ★ 会被系统清理,重要产物及时落项目目录
OUT=~/WorkBuddy/2026-09-07-01-17-45
DB=$HOME/Library/Containers/com.tencent.xinWeChat/Data/Documents/xwechat_files/<WECHAT_ACCOUNT_ID>/db_storage
mkdir -p $D
"$PY" "$SK/scripts/wx_decrypt_targets.py" $D/all_keys.json "$DB" $D/db --probe # 1 先验密钥
"$PY" "$SK/scripts/wx_decrypt_targets.py" $D/all_keys.json "$DB" $D/db # 2 解密
"$PY" "$SK/scripts/wx_group_dump.py" --db $D/db --out $D/dump # 3 群消息正文
"$PY" "$SK/scripts/wx_files.py" all --outdir $D/file_layer # 4 文件层
"$PY" "$SK/scripts/wx_brand_tables.py" --in $D/file_layer/files_full.csv \
--out $D/brands_tables.csv # 5 Excel 品牌表
"$PY" "$SK/scripts/wx_chat_brands.py" --dump $D/dump --out $D/chat_brands.csv # 6 聊天正文层
"$PY" "$SK/scripts/wx_merge_brands.py" \
--file-table $D/brands_tables.csv --chat-xlsx $D/chat_brands.csv \
--text-csv $D/file_layer/files_full.csv --overrides $SK/data/brand_overrides.csv \
--out "$OUT/四群品牌联系总表_清洗版_$(date +%Y%m%d).xlsx" \
--split-dir "$OUT" --split-prefix "四群品牌联系总表_$(date +%Y%m%d)" # 7 合并+拆分wx_merge_brands.py 的 --chat-xlsx 同时吃 .xlsx 和 .csv,并容忍两套表头
(摘录/备注↔需求/消息摘录、时间↔日期)—— 别再为改名而改代码。
七、增量对账(用户要的其实是"多了什么")
一轮跑完必须回答:相对上一版多了什么、少了什么。按 (品牌, 联系人, 电话)
逐行求差,产出 四群品牌联系总表_<日期>_本轮更新.xlsx:
更新汇总:净增行数 / 新增键 / 其中电话为全新号码 / 不再出现 / 两版共有 / 新增的群分布本轮新增、新增·电话为全新号码、本轮不再出现(每条标注所属群)
本轮结果:29,880 → 32,888(+3,008 / +10.1%),新增键 4,067(全新号码 2,513), 不再出现 1,059,共有 28,821,新增分布=无忧搬砖 1,886 / 老曾 970 / 华南1和2 1,418。
注意「不再出现」不等于"删了数据":绝大多数是同号取新(新记录覆盖旧记录)。
八、审计正则自己也会误报(别拿它当结论)
本轮审计脚本报了两类假阳性,报数前必须人眼过一遍样例:
FILA/LEGO被判成"铺位号"—— 我的RE_FLOOR是^(B|F|L|LG|UG|M|S|T|RF|BMU)\d{0,2}(...)?[A-Z]{0,3}$,F+ILA、L+EGO正好命中。 真铺位号只有 190 条(在wx_brand_anomaly.py的 R3 里另有正确判据)。1+1手制甜品、70年代江西菜、6IXTY 8IGHT、21天的秘密·干式熟成牛排餐吧被判成"度量串/长句"—— 都是真品牌。粗筛只能用于定位可疑样本,不能用于判定。
品牌名二次清洗流水线(Request E:泄漏区分 + 联网校对 + 合并去重)
适用:交付后用户要求"检查品牌列是否夹带电话/联系人、联网校对同名不同长度/中英文/非品牌、再合并去重"。
两个脚本
scripts/wx_brand_audit.py --xlsx <清洗版> --outdir <dir>输出audit_v2.json:高精度泄漏(电话/微信/邮箱/QQ/称谓/品牌后黏联系人)、归一化合并组、多品牌拼接单元格、待联网校对(CN/EN等价+非品牌)。scripts/wx_brand_consolidate.py --in <xlsx> --out <xlsx_v2>原地重建"品牌联系总表":修复泄漏 → 归一化取 canonical → 多品牌按列表分隔符拆分 → 非品牌/空行移除 → 精确去重;并加"合并去重报告"页。
关键规则(写死在 consolidate 里,已联网校对确认)
- & 不拆:BAKER&SPICE / CC&DD / CACHE&CACHE 是单一品牌(&属品牌名);只拆列表分隔符
/ 、 + + ~ |。 - 单侧<2字不拆:防"鱼来顺/哇"被拆坏,只保留有效侧。
- 非品牌 DENY 集(商场/地点/连接词/量词):厦门SM新生活广场、东门町美食广场、佰腾数码广场、佛山市场、商业步行街、中华广场、亚惠美食广场、上海徐汇区长乐路、品牌、总部、旗舰店、直营、开店、300方、加微信了、微信号…(审计+联网确认)。
- ALLOW 子集(带商场后缀也保留):喜盈门、多走路、仙草南路、72街、依波路、光线花园(存疑)。
- 真实泄漏仅 9 行(微信词3 + 品牌后黏联系人片段6:乐乐茶开发刘/争鲜寿司开发刘/品牌开发潘/栗粒相传拓展杨/洽小可品牌市场开发韩);电话泄漏=0。
性能坑(必看)
- 32k 行
ws.delete_rows(1, max_row)会卡死(O(n²))→ SIGTERM。改用"删旧sheet +create_sheet同名 +append"。 - 32k 行逐格
border/font描边 → save 卡死。只样式表头(红底白字C0392B)+ 冻结首行。正常模式 save 约 3.4s。 - 处理本身(纯Python)仅 ~1.4s,瓶颈只在 openpyxl 写回。
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

