基于 Playwright 与 Browser-Use MCP 实现智能网页自动化与动态数据抓取

为什么纯 HTTP 请求无法胜任现代网页抓取？

现代 Web 应用大量采用 React/Vue 等前端单页渲染，并结合了复杂的动态鉴权与混淆机制。传统的 curl 或 httpx 只能拿到骨架 HTML，无法触达真实数据。

通过引入浏览器自动化 MCP Server，Agent 可以像真人一样操控无头浏览器：等待 DOM 渲染、滚动加载、模拟鼠标点击与键入。

1. 配置 Browser MCP

安装并启动 Playwright 驱动的 MCP Server：

{
  "mcpServers": {
    "playwright": {
      "command": "npx",
      "args": ["-y", "@executeautomation/playwright-mcp-server"]
    }
  }
}

该 Server 暴露的核心工具包括：

• navigate(url): 导航至指定网址并等待网络空闲；
• click(selector): 模拟点击页面元素；
• fill(selector, text): 自动填入表单输入框；
• take_screenshot(): 截取页面视口供多模态模型视觉核验；
• get_page_content(): 提取简化后的可读文本或 DOM 结构。

2. 实战：自主监控竞品价格

告诉 Agent：

“打开目标电商商品页面，定位价格标签元素，若发现折扣低于 500 元，提取商品标题与当前价格并记录在本地日志中。”

Agent 会先调用 navigate 加载页面，利用视觉能力或 DOM 分析定位准确的选择器，获取并清洗数据，返回结构化 JSON。