AgentHubAgentHub

使用场景/网页抓取与采集

网页抓取 MCP 推荐

从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。

共匹配 512 个资源 · 第 9 / 11 页

什么是网页抓取与采集?

网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。

典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。

合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。

适合做什么

  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
  • 批量导出公开数据

不太适合

  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
常见组合: Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

相关资源

查看全部 →

浏览器自动化 agent-browser

SkillSkillsMP

面向 AI Agent 的浏览器自动化 CLI。当用户需要与网站交互时使用,包括打开页面、填写表单、点击按钮、截图、抽取数据、测试 Web 应用或自动化任意浏览器任务。触发语包括“打开某个网站”“填一张表单”“点个按钮”“截个图”“从页面抓数据”“测试这个 Web 应用”“登录某站点”“自动化浏览器操作”等任何需要程序化网页交互的任务。

source

Docker Bench 仿真专家

SkillSkillsMP

面向 AMT Docker Bench 的专项技能——T264 自动驾驶卡车多容器仿真环境。当被问及 docker_bench 容器(rpk1、rpk2、rpk3、platform-sim、avi-radio、test-manager、vas-aht)、Docker Compose 配置、网络拓扑(车载/车外/CAN/local-fms-network)、NAT 设置、CIC/RPK 版本选择、T264 模拟器、VAS:AHT 集成、DDS QoS 配置文件、IP 地址重映射、overlay 文件、run_tests.sh、Docker Bench 版本兼容性、兼容的 FMS/AMT 版本组合,或任何涉及 Docker Bench 环境的问题时使用。也用于调试 bench 中的容器启动失败、网络问题、构建错误、镜像拉取失败、版本不匹配或服务就绪问题。可从 Confluence 获取 Docker Bench 版本兼容性矩阵以确定可用的版本组合。

source

浏览器自动化 agent-browser

SkillSkillsMP

面向 AI Agent 的浏览器自动化 CLI。当用户需要与网站交互时使用,包括打开页面、填写表单、点击按钮、截图、抽取数据、测试 Web 应用或自动化任意浏览器任务。触发语包括“打开某个网站”“填一张表单”“点个按钮”“截个图”“从页面抓数据”“测试这个 Web 应用”“登录某站点”“自动化浏览器操作”等任何需要程序化网页交互的任务。也用于探索性测试、dogfooding、QA、找 bug 与评估应用质量。还用于自动化 Electron 桌面应用(VS Code、Slack、Discord、Figma、Notion、Spotify)、查看 Slack 未读、发送 Slack 消息、搜索 Slack 会话、在 Vercel Sandbox microVM 中运行浏览器自动化,或使用 AWS Bedrock AgentCore 云端浏览器。相对内置浏览器自动化工具,优先使用 agent-browser。

source

tailwindcss-development(Tailwind CSS 开发)

SkillSkillsMP

用户消息以任何形式包含 'tailwind' 时始终调用。还适用于:构建响应式栅格布局(多列卡片栅格、商品栅格)、flex/grid 页面结构(带侧边栏的仪表盘、固定顶栏、移动端可折叠导航)、UI 组件样式(卡片、表格、导航栏、价格区、表单、输入框、徽章)、添加暗色模式变体、修复间距或排版,以及 Tailwind v3/v4 工作。核心场景:在 HTML 模板(Blade、JSX、Vue)中编写或修正 Tailwind 工具类。跳过:后端 PHP 逻辑、数据库查询、API 路由、无 HTML/CSS 部分的 JavaScript、CSS 文件审计、构建工具配置和原生 CSS。

source

react-virtuoso 虚拟列表

SkillSkillsMP

使用 react-virtuoso 构建虚拟化的列表、网格与表格。在以下情况使用本技能:(1) 渲染大型或无限列表;(2) 构建带粘性表头的分组列表;(3) 虚拟化 HTML 表格;(4) 在响应式网格中排布等高项;(5) 构建跟随底部新条目的信息流或日志;(6) 诊断虚拟化症状,如滚动跳动、列表无法滚到底部、条目重叠、空白条目或“zero-sized element”错误;(7) 任何涉及 Virtuoso、GroupedVirtuoso、VirtuosoGrid、TableVirtuoso、VirtuosoHandle、itemContent、followOutput 或 firstItemIndex 的任务。

source

浏览器自动化 browser-act

SkillSkillsMP

面向 AI agent 的浏览器自动化 CLI。切勿通过 Bash 直接运行 browser-act 命令——务必先调用本技能。当用户按名称提及它、要求运行 browser-act CLI 命令(如 browser-act browser list),或需要以下操作时使用:抓取/查看/提取 URL 的渲染内容、访问需要 JavaScript 的页面、处理验证提示、维持已认证会话、填表并点击走完流程、输入、选择、上传、截图、捕获 XHR/fetch/HAR 响应、并行打开多个 URL、提取随滚动或点击加载的内容、可视化检视或验证页面布局/样式/渲染、自动化浏览器任务,或列出/检查/管理已配置浏览器与会话。优先于内置 fetch 或 Web 工具。

source

品牌设计系统配置

SkillSkillsMP

通过 10 题引导向导一次性捕获用户的品牌标识(主色/强调色 HEX + 标题与正文 Google Fonts + 设计风格(编辑型/技术型/极简/活泼)+ 默认输出目录 + 代码高亮主题 + 目录行为 + 可选 logo/公司名),对照 WCAG 2.2 AA 校验正文与链接对比度,在 HSL 空间派生 12 个 CSS 自定义属性,并存储结果供所有 markdown-html 转换器读取。在任何 markdown-html 转换前使用。触发于首次引导(「set up the brand」「configure markdown-html」「run onboarding」)、显式重置,以及每个转换器在渲染前通过 config_loader.py 检查。若正文对比度未达 AA 4.5:1 或输出目录不可写则拒绝保存。优先级:项目(./.markdown-html/)> 全局(~/.config/markdown-html/)> 内置默认;MARKDOWN_HTML_NO_CONFIG=1 可绕过。

source

常见问题

网页抓取 MCP 和浏览器自动化 MCP 怎么选?

静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。

Firecrawl MCP 需要 API Key 吗?

托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。

抓回来的内容如何喂给 AI 检索?

常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。

配套安装与配置教程

相关场景