Web Access Skill

基于 eze-is/web-access v2.5.3 (MIT) 适配为 PaperPilot 内置底层能力层，兼容所有 Agent 平台

定位

各阶段 skill（选题/文献/数据/分析/写作）
   │ 声明：搜索意图 + 判断标准 + 输出格式
   ▼
web-access（本 skill — 底层能力层）
   │ 执行：通道选择 + 实际获取 + 文件下载 + 站点经验
   ▼
工具层（WebSearch / WebFetch / curl / paper-search-mcp / CDP）

职责边界：

• 本 skill 负责"怎么联网"——通道选择、执行策略、站点经验、失败处理
• 上游 skill 负责"搜什么"——搜索维度、关键词、结果判断标准、输出格式

前置检查

在开始联网操作前，检查可用能力层级：

CDP 模式检查：

node "skills/web-access/scripts/check-deps.mjs"

• exit 0 → CDP 可用
• exit 2 → 需询问用户浏览器偏好
• exit 1 → CDP 不可用，降级到层级 1-2

层级 1-2 足够完成绝大多数研究任务。 CDP 主要用于需要登录态或反爬严格的站点。

浏览哲学

像人一样思考，兼顾高效与适应性地完成任务。

① 拿到请求 — 明确成功标准：什么算完成了？

② 选择起点 — 根据任务性质选最可能直达的方式验证。

③ 过程校验 — 每步结果都是证据。方向错了立即调整，不反复重试同一方式。

④ 完成判断 — 对照成功标准确认完成，不过度操作。

联网工具选择

核心原则：搜索不是终点，获取到文件/数据才是。一手信息优于二手信息。

多平台工具映射

场景→通道决策

Jina（可选，节省 token）：r.jina.ai/example.com，网页转 Markdown。适合文章/文档；不适合数据面板。限 20 RPM。

文件下载规范

搜到 URL 后必须实际下载，不能止步于列清单。

# 下载
curl -L -H "User-Agent: Mozilla/5.0" -o "<目标路径>" "<url>"

# 验证
file <downloaded_file>   # 确认类型
wc -c <downloaded_file>  # 确认非零

失败处理：

• 403/登录墙 → 标记"需用户手动获取"，给具体步骤
• 0字节/HTML内容（应为PDF） → 换来源或升级到 CDP
• 超时 → 重试一次

阶段策略扩展点

各阶段 skill 通过以下模式声明搜索需求，web-access 负责执行：

策略声明格式

### web-access 搜索策略

**搜索意图**: [学术文献 / 数据源定位 / 信息侦察 / 文件获取]
**成功标准**: [什么算完成]
**优先源**: [paper-search-mcp / 巨潮资讯网 / 政府官网 / ...]
**输出要求**: [下载到data/raw/ / 提取文本 / 结构化为CSV / ...]
**失败降级**: [换什么源 / 标记为手动]

各阶段典型策略

浏览器 CDP 模式

通过 CDP Proxy 直连用户日常浏览器（Chrome / Edge），天然携带登录态。

启动

node "skills/web-access/scripts/check-deps.mjs"

Proxy API（localhost:3456）

curl -s http://localhost:3456/targets                              # 列出 tab
curl -s -X POST --data-raw '<url>' http://localhost:3456/new       # 新建 tab
curl -s -X POST "http://localhost:3456/eval?target=ID" -d '<js>'   # 执行 JS
curl -s "http://localhost:3456/screenshot?target=ID&file=<path>"   # 截图
curl -s -X POST "http://localhost:3456/click?target=ID" -d '<sel>' # 点击
curl -s "http://localhost:3456/scroll?target=ID&direction=bottom"  # 滚动
curl -s -X POST --data-raw '<url>' "http://localhost:3456/navigate?target=ID"  # 导航
curl -s "http://localhost:3456/close?target=ID"                    # 关闭 tab

何时用 CDP

• 需要登录态（巨潮资讯网会员区、知网全文等）
• 反爬严格（动态加载、需交互才显示内容）
• WebFetch rendered 模式仍失败
• 需要填表、翻页等交互操作

操作原则

• 不操作用户已有 tab，在自建后台 tab 中操作
• 完成后 /close 自建 tab
• 先了解页面结构，再决定下一步
• GUI 交互产生的链接是可靠的（携带完整上下文）

并行调研：子 Agent 分治

多个独立目标时，分发子 Agent 并行执行。

子 Agent prompt 要求：描述目标（获取、调研、了解），不暗示具体手段。

信息核实

核实的目标是一手来源，非二手报道。

找不到官方原文时，标明来源局限性。

站点经验

按域名存储在 skills/web-access/references/site-patterns/ 下。

• 确定目标网站后，检查是否有匹配经验文件
• 经验是"可能有效的提示"，非保证
• 操作成功后，发现新模式主动写入经验文件

References 索引

行为准则

1. 搜索不是终点：搜到 URL 后必须获取内容或下载文件
2. 能自动化的不推给用户：只有登录态/验证码/付费墙才标记"需手动"
3. 下载后验证：file + wc -c
4. 失败时切换通道：不在同一方式上反复重试
5. 记录来源：所有获取的数据记录 URL 和时间
6. 不静默降级：降级时告知用户原因
7. 站点经验积累：成功操作后更新经验文件