AgentHubAgentHub

使用场景/网页抓取与采集

网页抓取 MCP 推荐

从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。

共匹配 512 个资源 · 第 6 / 11 页

什么是网页抓取与采集?

网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。

典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。

合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。

适合做什么

  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
  • 批量导出公开数据

不太适合

  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
常见组合: Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

相关资源

查看全部 →

JavaScript

v1.0.6

SkillClawHub4.6k

编写、调试并审查 JavaScript:异步与事件循环、类型隐式转换、闭包、日期、Unicode、正则,以及 ES2023+ 现代 API。当 JS 抛出 TypeError 或“undefined is not a function”、Promise 永不落定或拒绝未被处理、出现 NaN 或 [object Object]、日期偏移一天、排序或相等比较结果异常、内存持续增长、正则卡死、JSON 丢失精度、Node 进程无法退出或忽略信号、fetch 遇到 404 却不 reject 时使用;在选择数据结构、处理错误、剖析慢代码,或判断某特性对目标 Node 或浏览器版本是否安全时同样适用。覆盖 Node 与浏览器运行时的边界情况。不适用于 TypeScript 类型系统设计或框架内部实现。

source

Tailwind CSS

v1.0.1

SkillClawHub4.3k

编写并调试 Tailwind CSS:工具类、主题配置、暗色模式、变体、插件与构建配置。不适用于 CSS 机制本身——层叠上下文、flex 尺寸与层叠行为属于 css 技能。当某个类没有产生任何 CSS、动态拼接的类名(bg-${color}-500)始终不生效、样式在开发环境正常但部署后消失、你自己的 CSS 压不住工具类或工具类压不住你的 CSS、@apply 在 Vue、Svelte 或 CSS module 文件中报错、hover:、group-hover:、peer-*、has-[…]、dark: 无法触发、从 v3 升级到 v4(@tailwind 指令、tailwind.config.js 改为 @theme、工具类改名)、新增自定义颜色/间距/断点/字体或关键帧、把 Tailwind 接入 Vite、Next.js、Astro、SvelteKit、Rails 或 Laravel、CSS 产物体积过大或重新构建缓慢、Preflight 抹平了第三方组件样式,或在 @apply、组件与 tailwind-merge 之间做选择时使用。

source

MoltThreats

v0.6.3

SkillClawHub3.5k

PromptIntel 出品的 Agent 原生安全信号源。当 Agent 需要上报威胁、拉取防护情报源、应用安全规则或更新 SHIELD.md 时使用。触发词包括:威胁上报、安全情报源、MCP 威胁、恶意 skill、提示注入报告、IOC、失陷指标、Agent 安全、PromptIntel、MoltThreats、SHIELD.md 更新。当 Agent 在运行中检测到可疑行为(意外工具调用、凭证访问尝试、未知 MCP 服务器、数据外泄模式)时也应触发。

source

观远 BI · 马甲实战版

v3.2.3

SkillClawHub3.5k

观远 BI(Guandata)实战增益层。标准查数、指标批量查询、本地分析、建卡发布、ETL、数据集和表单结构管理、工作流、指标写入路由官方六组件。专攻 ETL 整库治理、SmartETL 全链路重写、引擎报错、自定义图表与 HTML 看板排障、v7 发布兼容、移动端 phoneLayout、门店手机成绩单、SuperApp 的 LLM 中转及历史兼容、AI-native ADS 架构判断。餐饮会员公式见 majia-huiyuan。触发:观远、Guandata、会员、订单、复购率、RFM、ETL 治理、payload_json、自定义图表、HTML 看板、门店手机成绩单、换店滤空、phoneLayout、60004、SuperApp、ILLEGAL_JSON_RES、数据架构。

source

常见问题

网页抓取 MCP 和浏览器自动化 MCP 怎么选?

静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。

Firecrawl MCP 需要 API Key 吗?

托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。

抓回来的内容如何喂给 AI 检索?

常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。

配套安装与配置教程

相关场景