AgentHubAgentHub

智能网页抓取 Skill安装与使用教程

SkillClawHub

io.clawhub.mariusfit/smart-web-scraper · v1.0.0

从任意网页提取结构化数据，支持 CSS 选择器、表格与列表自动识别、JSON/CSV 输出格式，适用于网页抓取与数据抽取任务。

原文名称：Smart Web Scraper

原文描述：Extract structured data from any web page. Supports CSS selectors, auto-detection of tables and lists, JSON/CSV output formats. Use when asked to scrape a we...

在 ClawHub 查看 ↗

建议先在本页复制安装配置，再到上游核对文档与权限。

热度数据

下载量3.6k
安装量117

产品介绍

从任意网页提取结构化数据，支持 CSS 选择器、表格与列表自动识别、JSON/CSV 输出格式，适用于网页抓取与数据抽取任务。 智能网页抓取 是一个Agent Skill，收录自 ClawHub。本页提供产品介绍、配置教程、安装命令与适用场景，支持 Trae、通义灵码、Cursor、Claude Code、VS Code 等。

CSVJson

适用场景

网页抓取与采集

AgentHub Verified 可用性验证技术测试通过

自动化测试流水线已校验安装命令、传输协议与客户端兼容性

最近校验时间2026-10-07
安装配置格式测试有效CLI 与 mcpServers JSON 语法校验通过
协议连接与握手响应正常支持标准 JSON-RPC 2.0 规格规范
上游数据源存活来源 clawhub，可正常下载依赖
测试可用客户端openclaw、Claude Code、Claude Desktop 等
安全等级： A+ 级 · 零权限本地沙盒 (A+)·该工具经 AgentHub 静态安全特征扫描，无高危越权行为。建议在项目级配置文件中指定工作区范围。

将提示词发送给您的 AI 安装该 Skill

推荐
选择目标客户端（生成专属免反问指令）：
PROMPT >

请根据 https://myagenthub.cn/install/skill.md 这份安装文档，自动识别当前所处的 IDE 客户端并帮我安装 Skill「mariusfit/smart-web-scraper」，无需额外询问，装好后告诉我如何验证生效。

💡复制后直接粘贴到 IDE 的 AI 对话框（如 Cursor、Trae、Claude Code），Agent 将自动执行安装并配置生效。

按平台快速复制备选

选择你的平台查看安装方式

选择安装方式

点击「复制配置」直接粘贴到客户端
# 改 --ai 切换客户端：trae | lingma | workbuddy | kimi | qwen | cursor | claude-code | windsurf | cline | vscode | codex | openclaw
curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai cursor -y

配置教程

  1. 打开 智能网页抓取 详情页，确认来源为 ClawHub，并阅读下方适用场景。
  2. 选择 Trae、通义灵码、WorkBuddy、Cursor、Claude Code 或通用 CLI，复制对应安装命令。
  3. 在终端执行命令，或将 SKILL.md 放到项目的 .trae/skills/、.lingma/skills/、.cursor/skills/ 等目录。
  4. 重载客户端窗口后，在对话中描述任务，Agent 会按 Skill description 自动匹配。

安装命令

以下安装命令与配置步骤已写入页面 HTML，搜索引擎与未启用 JavaScript 的浏览器均可直接读取。

通用 — Skills CLI（推荐）

AgentHub CLI（改 --ai）

# 改 --ai 切换客户端：trae | lingma | workbuddy | kimi | qwen | cursor | claude-code | windsurf | cline | vscode | codex | openclaw
curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai cursor -y

API 一键下载

# 手动下载（Cursor 项目级示例）
mkdir -p .cursor/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .cursor/skills/smart-web-scraper

Cursor

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai cursor -y

API 一键下载

mkdir -p .cursor/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .cursor/skills/smart-web-scraper

ClawHub CLI 安装后复制

# 在项目根目录执行 install
clawhub install mariusfit/smart-web-scraper
mkdir -p .cursor/skills/smart-web-scraper
cp -R ./skills/smart-web-scraper/. .cursor/skills/smart-web-scraper/

# 源：./skills/smart-web-scraper/SKILL.md
# 目标：.cursor/skills/smart-web-scraper/SKILL.md

Trae（字节跳动）

  1. Trae 原生支持 Skill 规范：项目级配置在 .trae/skills/<技能名>/，全局在 ~/.trae/skills/
  2. 点击复制安装命令在项目根目录终端执行，自动拉取 SKILL.md 及相关依赖
  3. 重载 Trae 窗口后，在 AI 对话中描述需求即可自动激活该技能

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai trae -y

API 一键下载

mkdir -p .trae/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .trae/skills/smart-web-scraper

用户级目录

mkdir -p ~/.trae/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.trae/skills/smart-web-scraper

通义灵码（阿里）

  1. 通义灵码支持在项目 .lingma/skills/<技能名>/ 或用户全局目录 ~/.lingma/skills/ 识别技能
  2. 终端运行安装命令拉取 SKILL.md
  3. 打开通义灵码智能体（Agent）模式，对话即可自动按 description 匹配该技能

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai lingma -y

API 一键下载

mkdir -p .lingma/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .lingma/skills/smart-web-scraper

用户级目录

mkdir -p ~/.lingma/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.lingma/skills/smart-web-scraper

WorkBuddy / 腾讯云代码助手

  1. WorkBuddy 只从项目 .workbuddy/skills/<技能名>/（用户级 ~/.workbuddy/skills/）读取技能；.codebuddy/skills/ 属于 CodeBuddy
  2. 上方 Skills CLI 命令以 -a codebuddy 安装，末尾已附同步命令，把技能复制到 .workbuddy/skills
  3. 用 AgentHub CLI（--ai workbuddy）会自动同步；完成后重载对话面板，即按 SKILL.md 的 description 自动索引

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai workbuddy -y

API 一键下载

mkdir -p .workbuddy/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .workbuddy/skills/smart-web-scraper

用户级目录

mkdir -p ~/.workbuddy/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.workbuddy/skills/smart-web-scraper

Claude Code

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai claude-code --global -y

API 一键下载

mkdir -p ~/.claude/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.claude/skills/smart-web-scraper

ClawHub CLI 安装后复制

clawhub install mariusfit/smart-web-scraper
mkdir -p ~/.claude/skills/smart-web-scraper
cp -R ./skills/smart-web-scraper/. ~/.claude/skills/smart-web-scraper/

# 源：./skills/smart-web-scraper/SKILL.md
# 目标：~/.claude/skills/smart-web-scraper/SKILL.md
# https://clawhub.ai/mariusfit/smart-web-scraper

Kimi Code（月之暗面）

  1. Kimi Code 兼容标准 Agent Skills：项目技能位于 .agents/skills/<技能名>/，全局位于 ~/.agents/skills/
  2. 终端执行命令完成安装
  3. 在 Kimi Code CLI 或 Agent 对话中提出相应任务，AI 会自动按步骤规划与执行

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai kimi -y

API 一键下载

mkdir -p .agents/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .agents/skills/smart-web-scraper

用户级目录

mkdir -p ~/.agents/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.agents/skills/smart-web-scraper

通义千问（Qwen Code）

  1. 通义千问（Qwen Code）支持项目目录 .qwen/skills/<技能名>/ 与全局 ~/.qwen/skills/
  2. 终端执行命令将 SKILL.md 部署至目录
  3. 在 Qwen Agent 模式下直接发送任务提示词即可自动识别

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai qwen -y

API 一键下载

mkdir -p .qwen/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .qwen/skills/smart-web-scraper

用户级目录

mkdir -p ~/.qwen/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.qwen/skills/smart-web-scraper

Windsurf

  1. Windsurf 支持在项目根目录 .windsurf/skills/<技能名>/ 或全局 ~/.codeium/windsurf/skills/ 放置技能
  2. 执行安装命令后刷新 Cascade 窗口
  3. 对话中 Cascade 会自动识别任务并按 SKILL.md 规范进行编码与重构

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai windsurf -y

API 一键下载

mkdir -p .windsurf/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .windsurf/skills/smart-web-scraper

用户级目录

mkdir -p ~/.codeium/windsurf/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.codeium/windsurf/skills/smart-web-scraper

Cline

  1. Cline 支持标准 .agents/skills/<技能名>/ 目录结构
  2. 运行命令将技能写入项目
  3. 在 VS Code Cline 扩展中提问即可直接调用

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai cline -y

API 一键下载

mkdir -p .agents/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d .agents/skills/smart-web-scraper

Cherry Studio

  1. Cherry Studio 可作为自定义智能体或提示词使用该技能
  2. 复制指令获取 SKILL.md 文本内容
  3. 在 Cherry Studio → 助手管理中新建/编辑助手，将内容粘贴到「系统提示词」中保存启用
# 下载并提取 SKILL.md 指令内容
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -p /tmp/smart-web-scraper.zip SKILL.md
# 复制上述输出，粘贴至 Cherry Studio → 助手设置 →「系统提示词」

VS Code / GitHub Copilot

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai vscode -y

API 一键下载

curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
mkdir -p .github/skills/smart-web-scraper
unzip -o /tmp/smart-web-scraper.zip -d .github/skills/smart-web-scraper

OpenAI Codex

AgentHub CLI（改 --ai）

curl -fsSL "https://myagenthub.cn/cli/agenthub-skill.mjs" | node --input-type=module - init mariusfit/smart-web-scraper --ai codex --global -y

API 一键下载

mkdir -p ~/.codex/skills/smart-web-scraper
curl -sL "https://clawhub.ai/api/v1/download?slug=smart-web-scraper&version=1.0.0" -o /tmp/smart-web-scraper.zip
unzip -o /tmp/smart-web-scraper.zip -d ~/.codex/skills/smart-web-scraper

ClawHub CLI 安装后复制

clawhub install mariusfit/smart-web-scraper
mkdir -p ~/.codex/skills/smart-web-scraper
cp -R ./skills/smart-web-scraper/. ~/.codex/skills/smart-web-scraper/

# 源：./skills/smart-web-scraper/SKILL.md
# 目标：~/.codex/skills/smart-web-scraper/SKILL.md

OpenClaw — ClawHub CLI

# OpenClaw / ClawHub CLI（推荐）
# 在项目根或 OpenClaw 工作区目录执行
clawhub install mariusfit/smart-web-scraper

# 安装后 SKILL.md 位于：
#   ./skills/smart-web-scraper/SKILL.md
# （若已配置 OpenClaw 工作区，则在 <workspace>/skills/smart-web-scraper/）

# 仅查看不安装
clawhub inspect mariusfit/smart-web-scraper

常见报错排查与运行避坑 (Troubleshooting)FAQ

针对 智能网页抓取 在 Cursor、Claude Code 中的常见连接错误与解决办法

在 Cursor / Claude Code 中配置 Smart Web Scraper 提示 connection closed 或 exit code 1？

通常由本地运行时环境缺失或命令路径未被 IDE 继承引起。排查步骤： 1. 确认已安装 Node.js 18+（支持 npx）或 Python 3.10+（支持 uvx）； 2. 尝试在终端运行 which npx 或 which uvx，把配置文件中的 "command" 字段改为完整绝对路径； 3. 修改 mcp.json 后，必须完全重载或重启客户端窗口。

Fix Snippet
# 终端测试命令是否存在：
which npx
node -v
提示 spawn npx ENOENT 或 command not found？

这是因为编辑器后台进程未加载完整的终端环境变量（PATH）。解决方案：在全局安装该包（如 npm install -g 包名），或在配置文件中将 command 设置为系统的实际路径（如 Windows 下的 C:\Program Files\nodejs\npx.cmd，Mac 下的 /usr/local/bin/npx）。

调用工具时响应超时或网络下载依赖失败？

国内环境下首次执行 npx 或拉取依赖时可能因网络受限而超时。建议将 npm 镜像源切换为国内高速镜像（npm config set registry https://registry.npmmirror.com），或在系统级开启开发代理工具。

在对话中描述任务，Agent 没有自动调用 Smart Web Scraper 规则？

请检查 SKILL.md 是否位于当前项目的 .cursor/skills/Smart Web Scraper/SKILL.md（Cursor）或 ~/.claude/skills/Smart Web Scraper/SKILL.md（Claude Code）。在输入提问时，可以显式提示 AI “请使用 Smart Web Scraper 规范来执行”，以提高智能体的规则匹配权重。

仍连不上？查看 MCP 连接失败排查指南 →

免安装模拟调用 (Playground)

仿真环境

Smart Web Scraper 规则注入与 Agent 行为仿真 · 无需配置本地环境，直接预览调用参数与返回格式

沙盒就绪 (Virtual Mock)
fn: agent_skill_runtimeAgent 在上下文中匹配并应用 Smart Web Scraper 的 System Prompt 规范与工作流约束
请求入参 (Arguments)JSON Schema
{
  "skill": "Smart Web Scraper",
  "rulePath": ".cursor/skills/smart-web-scraper/SKILL.md",
  "userGoal": "请使用 Smart Web Scraper 的方法与标准帮我完成当前任务",
  "client": "Cursor / Claude Code"
}
💡Agent 在规划任务时会自动生成并传递上述入参
Agent Tool Output

点击上方「模拟运行」按钮

查看该工具在 Agent 内部的返回数据格式

测试环境：AgentHub Virtual SandboxJSON-RPC 2.0

选型与决策建议（为什么选它？）

帮助你快速判断该资源是否契合当前项目，避免盲目折腾

适合什么任务？
  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
什么时候不建议用？
  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
推荐工作流搭配：查看完整场景 →

Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

Skill 实战教程：从安装到看见效果

按完整实例走一遍（含期望效果与对比验收）。装完本页资源后，用教程里的提示词核对是否真正生效。

打开教程 →

Agent Skill 是带 SKILL.md 的指令包。安装后，AI 会根据 description 在匹配任务时自动加载，无需每次手动粘贴提示词。

使用方式

安装完成后，在对话中直接描述你的任务（或提及技能名称）。Agent 会先读取 SKILL.md 的 description 判断是否启用，再按其中的步骤执行。可用 /skills（Claude Code）或在设置中查看已加载的 Skills。

相关资源

AI 保险顾问（中国大陆）

v2.0.154

SkillClawHub8.3k

io.clawhub.mnetfairy/ai-insurance-advisor

中国大陆保险顾问。本 skill 仅覆盖 6 项实际实现的能力：保险需求分析（needs_analyzer.py）、产品对比（premium_calculator.py + 本地 products.json）、保费计算（premium_calculator.py）、方案设计（plan_designer.py）、保险知识问答（insurance-knowledge.md）、合规要点提示（compliance.md）。不提供核保预审、理赔代办、朋友圈/营销文案生成、培训话术、代理人展业工具等能力——这些场景请转人工或调用专业服务。

source
在 ClawHub 查看

agent-bom AWS 资产发现

v0.108.1

SkillClawHub4.3k

io.clawhub.msaad00/agent-bom-discover-aws

从运维环境中发现托管于 AWS 的 AI 智能体及 MCP 相关资产，输出规范 agent-bom 清单 JSON，并在不向 agent-bom 提供长期云凭据的前提下完成扫描。当用户要求将 AWS Bedrock、ECS、SageMaker、Lambda、EKS、Step Functions、EC2 或智能体化 AWS 基础设施盘点为规范清单时使用。是否将该清单传给 agent-bom 由运维者自主选择。

source
在 ClawHub 查看

常搭配使用

继续逛 AgentHub

大多数人安装前还会对比同类工具或看场景方案——下面这些能帮你少走弯路。

浏览更多同类搜索相似资源按场景选型场景提示词Skill 实战教程评测与对比

收录徽章：把 AgentHub 挂到你的官网

复制下面任意一段代码到项目主页、官网或 GitHub README。徽章是 SVG 热链，无需上传文件，链接指向本页，访客可由此直接找到安装方式。

预览AgentHub 已收录：智能网页抓取
HTML
<a href="https://myagenthub.cn/p/io.clawhub.mariusfit/smart-web-scraper" title="AgentHub 已收录：智能网页抓取" target="_blank" rel="noopener">
  <img src="https://myagenthub.cn/badge/io.clawhub.mariusfit/smart-web-scraper" alt="AgentHub 已收录：智能网页抓取" height="20" style="border:0"/>
</a>
Markdown（GitHub README）
[![AgentHub 已收录：智能网页抓取](https://myagenthub.cn/badge/io.clawhub.mariusfit/smart-web-scraper)](https://myagenthub.cn/p/io.clawhub.mariusfit/smart-web-scraper)

徽章由 /badge/<资源ID> 动态生成，名称与收录状态变化后自动更新；请保留链接指向，它是收录来源的判定依据。

统一 Manifest

{
  "id": "io.clawhub.mariusfit/smart-web-scraper",
  "type": "skill",
  "version": "1.0.0",
  "displayName": "Smart Web Scraper",
  "description": "Extract structured data from any web page. Supports CSS selectors, auto-detection of tables and lists, JSON/CSV output formats. Use when asked to scrape a we...",
  "author": {
    "name": "mariusfit",
    "url": "https://clawhub.ai/mariusfit"
  },
  "homepage": "https://clawhub.ai/mariusfit/smart-web-scraper",
  "distribution": {
    "packages": [
      {
        "registryType": "source",
        "identifier": "mariusfit/smart-web-scraper",
        "version": "1.0.0",
        "runtimeHint": "clawhub install"
      }
    ],
    "remotes": []
  },
  "dependencies": [],
  "installTargets": [
    "openclaw",
    "claude-code",
    "claude-desktop",
    "cursor",
    "codex",
    "vscode"
  ],
  "keywords": [
    "downloads:3634",
    "stars:0",
    "installs:117",
    "CSV",
    "Json"
  ],
  "provenance": {
    "origin": "clawhub",
    "originalId": "mariusfit/smart-web-scraper",
    "originalUrl": "https://clawhub.ai/mariusfit/smart-web-scraper",
    "isOfficial": false,
    "status": "active"
  }
}