Web Fetch - 万能网页抓取工具

版本: v1.0 创建日期: 2026-03-15

核心优势: 多策略自动切换，从轻量到重量级，智能选择最优方案

📋 概述

统一网页抓取工具，支持 4 种抓取策略：

自动模式: 从 curl 开始，失败后自动尝试更强的方法

🚀 快速开始

# 基础使用（自动模式）
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com"

# 指定方法
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --method browser-use

# 带截图
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --screenshot out.png

# JSON 输出
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --json

📤 命令参数

📚 使用示例

1. 快速抓取静态页面

# 获取 GitHub README
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://github.com/anthropics/claude-code"

# 获取新闻文章
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com/article/123" --output article.html

2. 动态 SPA 页面

# React/Vue 应用，等待 3 秒让 JS 执行
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://app.example.com" --wait 3 --method playwright

3. 带截图

# 获取页面并截图
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --screenshot page.png

4. 绕过反爬虫

# 强反爬虫网站，使用 Playwright
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://protected-site.com" --method playwright

# 或者使用 browser-use（带浏览器指纹）
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://cloudflare-protected.com" --method browser-use

5. JSON 输出（便于程序处理）

node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://api.example.com" --json | jq '.content'

🏗️ 架构设计

方法选择流程

用户请求
    ↓
auto 模式？
    ├─ 是 → 尝试 curl → 失败 → playwright
    └─ 否 → 直接使用指定方法
    ↓
获取成功？
    ├─ 是 → 输出结果
    └─ 否 → 重试（最多 3 次，指数退避）

方法对比

Curl

# 优点
✅ 最快（~1 秒）
✅ 无需浏览器
✅ 低资源占用

# 缺点
❌ 无法执行 JS
❌ 无法绕过反爬虫

Playwright

# 优点
✅ 最强反爬虫绕过
✅ 完整浏览器功能
✅ Stealth 模式隐藏特征

# 缺点
❌ 最慢（~10-20 秒）
❌ 需要安装 playwright

⚙️ 配置选项

环境变量

# 设置默认 User-Agent
export WEB_FETCH_UA="Mozilla/5.0 ..."

# 设置默认超时
export WEB_FETCH_TIMEOUT=60000

# 设置默认方法
export WEB_FETCH_METHOD=browser-use

Cookies 管理

# Cookies 自动保存在 cookies.txt
# 多次请求会自动复用登录状态

🧪 测试

# 测试 curl 方法
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --method curl

# 测试 agent-browser
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --method agent-browser

# 测试 browser-use
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --method browser-use

# 测试 playwright
node ~/src/user-scripts/skills/web-fetch/scripts/fetch-page.mjs "https://example.com" --method playwright

🐛 故障排查

问题 1：所有方法都失败

# 检查网络连接
curl -I https://example.com

# 检查是否被防火墙阻挡
ping example.com

# 尝试更换 User-Agent
node fetch-page.mjs "url" --ua "Mozilla/5.0 ..."

问题 2：内容为空

# 可能是动态内容，增加等待时间
node fetch-page.mjs "url" --wait 5

# 或者使用浏览器方法
node fetch-page.mjs "url" --method browser-use

问题 3：反爬虫检测

# 使用最强方法
node fetch-page.mjs "url" --method playwright

# 或者使用 browser-use 的 real 浏览器模式
browser-use --browser real open "url"

问题 4：需要登录

# 方法 1：先手动登录，保存 cookies
browser-use --browser real open "https://example.com/login"
# ... 手动登录 ...
browser-use cookies export cookies.json

# 方法 2：使用 browser-use 的 profile
browser-use --browser real --profile "Default" open "https://example.com"

📊 输出格式

标准输出

## 网页内容

**URL**: https://example.com
**标题**: Example Domain
**方法**: curl
**耗时**: 1.23s

---

[网页 HTML 内容]

JSON 输出

{
  "success": true,
  "url": "https://example.com",
  "title": "Example Domain",
  "method": "curl",
  "content": "<html>...",
  "elapsed": 1234
}

🔧 依赖安装

# 基础依赖（curl 方法）
sudo pacman -S curl

# playwright 方法
cd ~/src/user-scripts/skills/web-fetch
npm install playwright puppeteer-extra puppeteer-extra-plugin-stealth
npx playwright install chromium

📈 性能对比

📝 完成标准

触发此 skill 时，任务完成必须满足：

• 网页内容已成功获取
• 输出包含 URL、标题、方法、耗时
• 失败时提供明确的错误信息和建议
• auto 模式已尝试 curl 和 playwright 至少一种方法

📚 参考资源

• agent-browser
• browser-use
• Playwright Stealth
• User-Agent 列表

最后更新：2026-03-15 | 维护：~/src/user-scripts/skills/web-fetch/