AgentHubAgentHub

使用场景/网页抓取与采集

网页抓取 MCP 推荐

从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。

共匹配 512 个资源 · 第 5 / 11 页

什么是网页抓取与采集?

网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。

典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。

合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。

适合做什么

  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
  • 批量导出公开数据

不太适合

  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
常见组合: Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

相关资源

查看全部 →
飞书云文档 lark-doc icon

飞书云文档 lark-doc

SkillGitHub17.5k

飞书云文档(Docx / Wiki)内容操作:读取、创建、编辑文档,插入或下载图片附件,以及操作思维笔记。用户提供文档 URL/token(包括 doubao.com 的 /docx/、/wiki/)时使用;按 URL 路径/token 而非域名路由。文档内嵌资源按读取参考中的统一规则分流。独立评论操作走 lark-drive;随正文读取评论使用 docs +fetch。表格或 Base 内部数据操作不在本 skill。

source

UI/UX Pro Max

v0.1.0

SkillClawHub40.9k

面向打造精致界面的 UI/UX 设计知识与实现指导。当用户要求 UI 设计、UX 流程、信息架构、视觉风格方向、设计系统/令牌、组件规格、文案/微文案、无障碍,或生成/评审/打磨前端 UI(HTML/CSS/JS、React、Next.js、Vue、Svelte、Tailwind)时使用。工作流包括:(1) 生成新 UI 布局与样式;(2) 改进现有 UI/UX;(3) 产出设计系统令牌与组件指南;(4) 把 UX 建议落实为具体代码改动。

source

命理大师

v1.2.10

SkillClawHub24.1k

全体系命理大师 — 八字四柱、紫微斗数、奇门遁甲、六爻、梅花易数、塔罗、星盘、 数字命理、九宫飞星风水、掌纹面相、起名命名、穿衣搭配、合婚择吉一站式解读。本地档案、可选每日推送(默认关闭)、 浏览器六爻界面与 HTML 报告。仅作文化参考,不替代医疗、法律、心理、财务、婚姻等 专业建议;遇重大决策请咨询专业人士。

source

SEO 优化(站点审计+内容写作+竞品分析)

v1.0.6

SkillClawHub18.5k

用搜索引擎优化提升 Google 排名:站点审计、关键词研究、内容优化、技术修复、结构化数据与链接。不适用于付费搜索广告(PPC/SEM)或应用商店优化。当自然流量或排名下滑、页面未被收录或被除名、Search Console 出现抓取错误,或计划迁移/改版/换域名时使用;也适用于为排名撰写或更新内容、挑选目标关键词、修复标题、canonical、站点地图、robots.txt、重定向、hreflang、重复内容与 Core Web Vitals、添加 schema 标记;还包括争取精选摘要或 AI Overview 引用、从 Google 处罚/核心更新/人工措施中恢复、优化本地/电商/SaaS/内容发布站点,以及配置 Bing Webmaster Tools 与 IndexNow。

source

Markdown

v1.0.3

SkillClawHub13.9k

编写、修复并转换在各解析器(GitHub、MDX、Pandoc、文档站、Slack、Notion)下渲染一致的 Markdown。当列表停止嵌套、表格显示为字面竖线、代码围栏吞掉文件其余部分、半篇文档变斜体、锚点链接 404、frontmatter 显示为文本、脚注/任务列表/标注/公式/Mermaid 在 GitHub 能渲染却在文档站不行、MDX 拒绝 `{`、`<` 或 HTML 注释、README 图片在 npm 或 PyPI 失效、在 Markdown 与 PDF/DOCX/HTML 之间转换或将 HTML 转回 Markdown、CI 中 markdownlint 或 Prettier 与文件冲突、粘贴到 Slack/Discord/Notion/Confluence/Jira,以及必须安全渲染来自不可信来源的 Markdown 时使用。不适用于 LaTeX 文档(latex)、Word 文件(word-docx)、模板化 PDF 交付物如报告/发票/合同(pdf-generator),或文档策略与信息架构(documentation)。

source

here.now 即时发布

v1.32.0

SkillClawHub7.1k

让 Agent 在几秒内把网站和文件发布到在线 URL:HTML、文档、图片、PDF、视频与静态文件发布到 {slug}.here.now 或自定义域名。当用户要求发布、托管、部署、做网页、生成 URL、给站点加密码或限定访问者时使用;支持团队工作区(站点归属团队并以 {label}.{workspace}.here.now 访问);还可通过 here.now 平价购买域名(自动 DNS 与 SSL)。

source

Telegram 富文本编排

v1.0.4

SkillClawHub6.4k

通过 Telegram 直接 API 以 HTML 格式编排并发送富文本 Telegram 消息。主会话会对实质性 Telegram 输出自动调用本技能——其他技能无需显式调用。决策规则:如果给 Telegram 的回复超过 3 行或包含结构化数据(列表、统计、分区、报告),就派生一个 Haiku 子智能体负责格式化并发送;短回复(少于 3 行)直接经 OpenClaw message 工具发送。负责处理:研究摘要、告警、状态更新、报告、简报、通知——一切需要视觉层次的内容。

source

视觉设计与评审

v1.0.3

SkillClawHub6.1k

以量化规则执行并评析视觉设计:层级、间距、字号、色彩与布局。用于设计 UI 界面、落地页、幻灯片、海报、社交图、邮件、图表或 PDF;当设计看起来别扭、杂乱、业余或平淡却说不出原因;当没有亮点或文字难以阅读;当需要无设计系统下选字体、配对字体或定色板;当为界面适配深色模式或移动端;或在交付前审查生成的 HTML/CSS。不适用于设计 token 与组件库(design-system)或品牌策略(branding)。

source

UI/UX 设计智库 Pro Max

v0.1.0

SkillClawHub5.5k

UI/UX 设计智能库:50 种风格、21 组调色板、50 组字体搭配、20 种图表、9 大技术栈(React、Next.js、Vue、Svelte、SwiftUI、React Native、Flutter、Tailwind、shadcn/ui)。动作:规划、构建、创建、设计、实现、评审、修复、改进、优化、增强、重构、检查 UI/UX 代码。项目:网站、落地页、仪表盘、后台面板、电商、SaaS、作品集、博客、移动应用及 .html/.tsx/.vue/.svelte 文件。元素:按钮、弹窗、导航栏、侧边栏、卡片、表格、表单、图表。风格:玻璃拟态、黏土拟态、极简、粗野主义、新拟态、bento 网格、暗黑模式、响应式、拟物、扁平。主题:调色板、无障碍、动效、布局、排版、字体搭配、间距、悬停、阴影、渐变。集成:shadcn/ui MCP 用于组件搜索与示例。

source

正确读取 GitHub

v1.0.1

SkillClawHub5.4k

通过 gitmcp.io 以正确方式读取 GitHub 仓库,而非原始抓取。相比网页搜索的优势:(1) 跨文档语义搜索而非关键词匹配;(2) 基于准确文件结构的代码导航,对仓库布局零幻觉;(3) 输出为 LLM 优化的 Markdown,而非原始 HTML/JSON 垃圾;(4) README、/docs 与代码聚合在一个干净接口中;(5) 遵守速率限制与 robots.txt。别再直接粘贴 GitHub URL 了,改用这个。

source

常见问题

网页抓取 MCP 和浏览器自动化 MCP 怎么选?

静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。

Firecrawl MCP 需要 API Key 吗?

托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。

抓回来的内容如何喂给 AI 检索?

常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。

配套安装与配置教程

相关场景