wechat-mp-data-collect
Skill0 starsChanged 35 days agoMITView on GitHub
自动采集微信公众号后台「数据分析」模块的全部报表(内容分析/流量分析/常读用户/用户属性/用户增长),落到本地目录。当用户说「采集公众号数据」「导出后台数据」「抓公众号报表」「拉最新数据」「分析最新数据」时使用。基于用户已登录的 Chrome(bsk 通道),无需手工点导出。
In this repository38 other files it gives its agents.
- aranya-nonstandardSkill
- bailian-zxSkill
- brand-research-scoutSkill
- city-new-mall-scanSkill
- commercial-hubSkill
- commercial-report-deliverySkill
- commercial-site-researchSkill
- laoyang-article-excelSkill
- laoyang-article-imagesSkill
- laoyang-channels-video-agentSkill
- laoyang-quality-checkSkill
- laoyang-short-videoSkill
- laoyang-topic-researchSkill
- mall-competition-scanSkill
- md2wechatSkill
- platform-content-adapterSkill
- restaurant-evaluatorSkill
- shui-on-xintiandiSkill
- store-site-analysisSkill
- tianmuli-teamSkill
- urf-curetailSkill
- wanhua-luxelakesSkill
- warm-article-dailySkill
- wechat-account-analyzerSkill
- wechat-article-extractorSkill
- wechat-brand-extractSkill
- wechat-managerSkill
- wechat-mp-publishSkill
- wechatreaderSkill
- zouyi-chaserSkill
- zsxq-bd-harvestSkill
- 余峰-perspectiveSkill
- 潘玉明-perspectiveSkill
- 王智明-perspectiveSkill
- 王玮-perspectiveSkill
- 管有冬-perspectiveSkill
- 老杨拆商业-perspectiveSkill
- 蔡云-perspectiveSkill
The file
Files
微信公众号后台数据自动采集
把「手工点导出 → 下载 xls → 解析」压缩成一条命令。适用于任何需要定期复盘公众号数据的场景。
一条命令
python ~/.workbuddy/skills/wechat-mp-data-collect/scripts/wxcollect.py \
--outdir /path/to/数据/原始/YYYYMMDD --days 30常用参数:
| 参数 | 说明 |
--outdir | 输出目录,默认 $CWD/数据/原始/YYYYMMDD |
--days N | 回溯天数,默认 30(窗口 = 今天−N ~ 昨天) |
--only 关键词 | 只采名称含该关键词的数据集,如 --only 常读 |
--session <id> | 复用已有 bsk 会话;不传则自动开/关 |
老杨拆商业 项目内有转发入口:老杨拆商业/数据/wxcollect.py(默认输出到项目 数据/原始/YYYYMMDD/)。
前置条件(缺一不可)
- Chrome 已登录
mp.weixin.qq.com(后台会话态,通常几天到几周失效,需重新扫码) - bsk 已连接:
bsk browsers --json能看到你的浏览器实例。若报NO_EXTENSION,让用户点浏览器工具栏的 huashu-chrome / bsk 扩展图标 →「重连」 - macOS 下 bsk 位于
~/.local/bin/bsk
⛔ 为什么不能走官方 API(已实测,别再试)
scripts/probe_datacube.py 打过 8 个官方 datacube 接口,7 个返回 48001 api unauthorized、1 个 40066:
- 原因:数据统计接口只对已认证号开放,个人订阅号无权限。凭证本身没问题(草稿箱接口正常)
- 更关键:「阅读完成率 / 渠道来源 / 常读画像」这三类数据从来就不在官方 API 里,只存在于后台页面
所以采集只能走浏览器。解析段倒是可以全自动(见下)。
采集清单与接口地图
| # | 数据集 | 取数方式 | 关键字段 |
| A | 内容分析·文章明细 | datacube busi=3&tmpl=19 | 阅读完成率、阅读后关注人数、送达阅读率、首次分享率、内容url |
| B | 流量分析·日级×渠道 | datacube busi=3&tmpl=14 | 日期×渠道(推荐/搜一搜/聊天/朋友圈/公众号主页/其它)的阅读/分享/收藏 |
| C | 常读用户分析 ×5 | 页面「下载」链接 | 总览 + 性别/年龄/终端/城市分布 |
| D | 用户属性 | 页面 DOM 表格抽取 | 全量粉丝的性别/年龄/语言/终端分布 |
| E | 用户增长·日级 | 接口 JSON | 新关注/取消关注/净增/累计(按日) |
接口速查
# 通用导出(推荐/搜一搜等渠道、文章明细都走它)
/misc/datacubequery?action=query_download&busi=3&tmpl=<N>
&args={"begin_date":20260829,"end_date":20260928}&token=<T>&lang=zh_CN
# 常读用户分析:attr_type 4=总览 0=性别 1=年龄 2=终端 3=城市
/misc/useranalysis?action=activity_analysis_page&attr_type=<N>&token=<T>&lang=zh_CN
→ 页面上的「下载」链接再加 &download=1&download_type=1&begin_time=<ts>&end_time=<ts>
# 用户属性(服务端渲染,数据直接读 DOM)
/misc/useranalysis?action=attr&begin_date=<d>&end_date=<d>&token=<T>&lang=zh_CN
# 用户增长(日级)
/misc/useranalysis?begin_date=<d>&end_date=<d>&source=99999999&token=<T>&lang=zh_CN&f=json
→ category_list[].list[] 内含 date/new_user/cancel_user/netgain_user/cumulate_user⚠️ misc/* 是相对路径,必须在 mp.weixin.qq.com 域名下发起 fetch,否则拿不到登录态。脚本里所有请求都在页面上下文里跑。
⚠️ 口径坑(最容易被静默混淆,必读)
同一账号、同一时段,后台有两个不同口径,数字能差几倍:
| 口径 | 来源 | 特征 | 例子(百联ZX 08-31 发布) |
| 发表后 7 天内 | 内容分析页 / tmpl=19 | 页面明示「仅统计发表后7天内的数据」;低阅读文章的完读率普遍偏高(少了路过的泛读者) | 445 阅读、完读 40.96% |
| 累计 | 「下载数据」总表 / 历史 total_*.xls | 含 7 天后的长尾 | 1,634 阅读、完读 39.23% |
后果:用 7 天口径统计「完读率达标篇数」会系统性偏高。例如某期累计口径是 0 篇 ≥40%,同一批数据的 7 天口径却出现 3 篇——其中一条还是重复发布残稿(仅 81 阅读、完读 98.75%),统计上无意义。
规矩:
- 做趋势/达标率判断时,全程只用一种口径,并在报告里写明用了哪种
- 跨期对比必须同口径;换口径要显式声明并重算历史
- 剔除样本量过小的文章(如阅读 <100)再做比例类统计
解析 + 指标计算(已封装)
python ~/.workbuddy/skills/wechat-mp-data-collect/scripts/wcanalyze.py <原始数据目录>读 wxcollect.py 采回的目录,自动完成解析与指标计算,输出终端摘要 + 同目录 _摘要.json(供后续引用)。
覆盖的计算:发文篇数(自动去重重复发布残稿)、总阅读、完读率(加权+简单均值双列)、完读率分布与达标篇数、千阅读留粉、渠道结构与占比、用户增长(净增/取关/累计/日均/单日峰值)、常读用户数与四维画像月度对比、全量粉丝属性。
⚠️ 比例类统计默认剔除阅读 <100 的样本,并在输出里注明剔了几篇、合计剔掉多少阅读。
解析规则(自写代码时照此办理)
采集回来是两种「伪 .xls」,解析方式不同:
| 类型 | 判定 | 解析 |
| HTML 伪装表 | file 报 HTML document text | html.parser 收 tr/th/td,文本 re.sub(r'\s+',' ',…) 归一化。常读 5 表、用户增长都是这种 |
| OLE2 真二进制 | file 报 Composite Document File V2(xlslib) | python-calamine:CalamineWorkbook.from_path(p).get_sheet_by_name(wb.sheet_names[0]).to_python() |
⚠️ 渠道/来源汇总必须排除「全部」汇总行,否则数字翻倍(实测 101,280 vs 正确 50,640)。
⚠️ 日级×渠道表(tmpl=14)的行序是倒序,用之前先按日期排序。
⚠️ 常读分布表的表结构有坑:tables[0] 的 row0 是标题行、row1 才是表头,数据从 row2 起。必须用 ^\d{4}年\d{2}月$ 正则过滤月份,否则表头里的「时间」会被当成一个月,导致只剩一个月的数据(已有脚本已修)。
⚠️ 「常读_常读用户总览.xls」是空壳表(只有表头),取不到数字。常读用户数 = 性别分布当月分项之和(可交叉验证:399+150+8 = 557,与后台页面显示一致),净增 = 本月 − 上月。
故障排查
| 现象 | 处理 |
bsk browsers 为空 / NO_EXTENSION | 让用户开 Chrome 并点扩展「重连」 |
取不到 token(URL 无 token=) | 登录态失效,让用户在 Chrome 里重新扫码登录后台 |
| 某个数据集报「页面上找不到下载链接」 | 该页改版;用 bsk network --session <id> --json 重新摸接口,更新脚本 |
| 导出文件 0 字节 / 内容异常 | 该页日期状态可能跑偏(后台有时默认到上一年),改用 datacube 接口并显式传 begin_date/end_date |
| datacube 报「系统错误」 | 同上:显式传日期,别依赖页面默认值 |
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

