AgentHubAgentHub

使用场景/网页抓取与采集

网页抓取 MCP 推荐

从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。

共匹配 1,401 个资源 · 第 26 / 30 页

什么是网页抓取与采集?

网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。

典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。

合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。

适合做什么

  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
  • 批量导出公开数据

不太适合

  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
常见组合: Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

相关资源

查看全部 →

ccxt-typescript(CCXT TypeScript 指南)

SkillSkillsMP

面向 TypeScript 与 JavaScript 开发者(Node.js 与浏览器)的 CCXT 加密货币交易所库。同时覆盖 REST API(标准)与 WebSocket API(实时)。帮助安装 CCXT、连接交易所、获取行情、下单、流式接收 ticker/订单簿、处理鉴权与管理错误。适用于在 TypeScript/JavaScript 项目中对接加密货币交易所、交易机器人、套利系统或投资组合管理工具。包含 REST 与 WebSocket 示例。

source

Blazor 特性验证

SkillSkillsMP

在编写 E2E 测试之前,使用本仓库的 Components 示例在浏览器中交互式验证 Blazor 特性或行为。用于:在 src/Components 中演练某项 Blazor 改动(渲染模式行为、交互组件、增强导航、表单、流式渲染、预渲染),决定选用哪个示例、在哪添加测试页面、如何设置渲染模式(Server/WebAssembly/Auto/静态 SSR)、如何确认应用真的处于交互状态(而非纯静态 SSR),以及如何检查浏览器控制台与网络错误。覆盖 BlazorWebAppGlobal、BlazorWebAppPerPage 与 BlazorWebAssemblyStandalone,针对仓库内的框架启动,并用 Playwright MCP 浏览器工具驱动。不适用于编写正式的 E2E/Selenium 或单元测试、非 Components 领域、对比方案调研,或在没有 Blazor 特性需要验证时仅做原生浏览器 API/HTML/CSS 的孤立实验——后者用最小化的浏览器探测即可。

source

pixijs-scene-text(PixiJS 文本渲染)

SkillSkillsMP

在 PixiJS v8 中渲染文本时使用。覆盖 Text(画布级高质量样式文本)、BitmapText(基于字形图集的低成本逐帧更新)、HTMLText(通过 SVG 渲染 HTML/CSS 标记),以及用于逐字符动画的 SplitText 和 SplitBitmapText,还包括 TextStyle、tagStyles、构造选项、TextOptions、HTMLTextOptions、BitmapText、SplitTextOptions、SplitBitmapTextOptions。触发词:Text、BitmapText、HTMLText、SplitText、SplitBitmapText、TextStyle、HTMLTextStyle、BitmapFont.install、tagStyles、fontFamily、wordWrap。

source

开发 Capacitor 移动端

SkillSkillsMP

开发 Trilium 移动应用(apps/mobile,基于 Capacitor 的 Android/iOS)或仅在应用内运行的专用代码路径时使用:capacitor:// 与 https://localhost 的请求路由、iOS 的 fetch/XHR/图片/样式表拦截器、Android 原生流式 HTTP 代理(TriliumWebViewClient)、NativeHttpHandler 同步传输、MainActivity/ViewController 的 WebView 调整(edge-to-edge、键盘),以及客户端中的 isMobileApp() 门控和移动端 CI/夜间构建。当评审涉及这些文件的 diff 时也应加载,以免把仅在 iOS 生效的代码误判为死代码。

source

ccxt-mcp(CCXT 官方 MCP)

SkillSkillsMP

官方 CCXT MCP(Model Context Protocol)服务器——让 AI 代理连接 100+ 加密货币交易所与预测市场,进行行情、余额与可选的交易操作。涵盖在 Claude Desktop/Code、Cursor、VS Code 及其他 MCP 宿主中安装服务器;配置命名账户与 API key(保存在本地,模型永远接触不到);能力分层与安全护栏;sandbox/testnet 交易;以及如何驱动这些工具。当用户希望代理跨交易所获取价格/订单簿/K 线、查看余额/挂单/持仓、下单或撤单,或探索预测市场时使用。

source

Codacy 分诊 triage-codacy

SkillSkillsMP

本仓库的 Codacy Cloud 工作流——在 `git push` 前本地运行 Codacy 分析器(对齐 Codacy CI 行为),并经 v3 API 拉取/聚类任意 PR 的 Codacy 问题。当用户提到 Codacy、「codacy analysis」、`codacy-analysis-cli`、「codacy issues on PR」「fix codacy CI」「codacy markdownlint findings」,或 netdata-org PR 上任何 Codacy 门禁失败时使用。附带脚本 analyze-local.sh(codacy-analysis-cli 的 docker/二进制运行器)与 pr-issues.sh(分页 v3 问题拉取 + 按工具/模式/严重级/文件分组)。令牌安全——CODACY_TOKEN 绝不进入助手可见的 stdout。按设计只读;写操作(标记误报、标记已修复)需要 GitHub issue 或分支本地 SOW。

source

SQL 安全执行

SkillSkillsMP

只要代码会构建、返回、拉取或执行针对用户真实 Postgres 数据库的 SQL,就使用本 skill——即使需求读起来像普通功能或 bug 修复,完全没提“security”“injection”或“SafeSqlFragment”。覆盖:编写或修改任何构造/返回数据库对象(表、视图、函数、DB 触发器、索引、RLS 策略)SQL 的 pg-meta 函数、查询构造器或接口;把 schema/表/列/搜索词/路由参数插入 SQL 文本;存储、读取或重跑从数据库往返的 SQL(策略定义、函数/视图定义、片段保存内容);以及任何把 SQL 发到项目库的 Run/Apply/Execute 动作(SQL 编辑器执行选中、策略编辑器应用、片段执行器)。在动手写这类代码前就要加载,不要只在评审成品 diff 时才用。仅在改动完全不涉及 SQL 文本或执行时跳过——样式、无关的数据 hook、非 SQL 表单校验或 UI 布局工作。

source

综合设计技能

SkillSkillsMP

综合设计 skill:品牌识别、设计 token、UI 风格、logo 生成(55 种风格,可用 Gemini、Atlas Cloud 或 MuAPI AI)、企业识别系统(50 项交付物、CIP 样机)、HTML 演示(Chart.js)、banner 设计(22 种风格,社交/广告/网页/印刷)、图标设计(15 种风格,SVG,Gemini 3.1 Pro)、社交图片(HTML 转截图、多平台)。动作:设计 logo、制作 CIP、生成样机、做 slides、设计 banner、生成图标、制作社交图片/社媒图、品牌识别、设计体系。平台:Facebook、Twitter、LinkedIn、YouTube、Instagram、Pinterest、TikTok、Threads、Google Ads。

source

图像生成(Codex imagegen)

SkillSkillsMP

当任务受益于 AI 生成的位图视觉(照片、插画、纹理、精灵图、样机、透明背景抠图)时生成或编辑位图图像。当 Codex 需要新建图像、变换既有图像或从参考衍生视觉变体,且产物应为位图素材而非仓库内的代码或矢量图时使用。若更适合编辑现有 SVG/矢量/代码原生资产、扩展既有图标或 logo 体系、或直接在 HTML/CSS/canvas 里画视觉,则不要使用。

source

原子组装 compose-atoms

vcanary

SkillSkillsMP

将沉重的领域功能拆解为可挂载的能力原子。适用场景:Viewer/Page/index.tsx 同时承担取数、筛选、变更、弹窗与宿主集成;可视化拆分后页面仍残留 store 调用与 action;portal、嵌入、分享、移动端或微应用需要同一领域的子集;或新能力正以又一个 `readOnly`/`mode`/`variant` 标志落地。触发词:compose-atoms、sink state、状态下沉、重业务拆分、拆成原子、原子组件、组装、god component、fat viewer、module graph、slot composition、host seam。

source

编码 Agent 会话 coding-agent-sessions

SkillSkillsMP

当需要查找、读取、列出、搜索、查看、拉取、导出或重建跨 Codex、Claude Code/Desktop、OpenCode、OMO/Senpi/pi、oh-my-pi (omp)、gajae-code (gjc)、OpenClaw、Factory Droid、Amp、Gemini/Kimi/Qwen CLI、Codebuff、Roo/Kilo/Cline、Kodu、Cursor CLI、Aider、Aside 浏览器 agent 会话或未知本地 agent 日志时务必使用。覆盖 transcript、会话 ID、rollout JSONL、state SQLite、Claude projects/pre-compact 历史、OpenCode messages/parts、子/subagent 关联、cwd/model/时间/token 过滤、归档与成本线索。会把模糊回忆展开为并行查询通道,并先探测已知存储,从而低成本跳过不存在的平台。触发词:coding agent sessions、Codex/Claude/OpenCode/OMO/Senpi/pi/oh-my-pi/omp/gajae-code/gjc/OpenClaw/Droid/Amp/Kodu/Cursor/Aider/Aside sessions、transcript search、session history、session ID、read transcript、token usage、subagent sessions、what did I do yesterday、did we already do this。

source

IBM 无障碍路由批量扫描(Langflow)

SkillSkillsMP

使用 Python 版 IBM Equal Access 扫描器(scripts/a11y/a11y_scan.py)批量扫描 Langflow 前端路由的无障碍问题,输出 JSON/Markdown/HTML 报告。仅扫描每个路由的默认加载状态(弹窗需显式提供状态文件)。当被要求扫描单个或多个路由、为页面生成无障碍报告或批量检查静态路由时使用。只报告问题——不修复代码、不运行 Playwright/axe 测试、不做正式 Level 1 审计;这些场景见 ibm-a11y-testing-guide、ibm-a11y-level1-audit 与 ibm-a11y-pr-remediation。

source

HyperFrames 视频合成 hyperframes

SkillSkillsMP

在 HyperFrames HTML 中创建视频合成、动画、标题卡、叠加层、字幕、配音、音频反应视觉与场景转场。当需要构建任何基于 HTML 的视频内容、添加与音频同步的字幕、生成语音旁白、创建音频反应动画(节拍同步、随音乐律动的辉光/脉冲)、添加文字高亮动画(马克笔扫过、手绘圆圈、爆裂线条、涂鸦、草图描出)或场景间转场(交叉淡入淡出、擦除、揭示、着色器转场)时使用。涵盖合成编排、时序、媒体与完整视频制作工作流。CLI 命令(init、lint、preview、render、transcribe、tts)参见 hyperframes-cli 技能。

source

HyperFrames 视频合成 hyperframes

SkillSkillsMP

在 HyperFrames HTML 中创建视频合成、动画、标题卡、叠加层、字幕、配音、音频反应视觉与场景转场。当需要构建任何基于 HTML 的视频内容、添加与音频同步的字幕、生成语音旁白、创建音频反应动画(节拍同步、随音乐律动的辉光/脉冲)、添加文字高亮动画(马克笔扫过、手绘圆圈、爆裂线条、涂鸦、草图描出)或场景间转场(交叉淡入淡出、擦除、揭示、着色器转场)时使用。涵盖合成编排、时序、媒体与完整视频制作工作流。CLI 命令(init、lint、preview、render、transcribe、tts)参见 hyperframes-cli 技能。

source

图像生成 imagegen

SkillSkillsMP

当任务需要 AI 生成的位图视觉时,生成或编辑位图图像,如照片、插画、纹理、精灵图、mockup 或透明背景抠图。当 Codex 需要创作全新图像、变换已有图像,或从参考派生视觉变体,且产物应为位图资源而非仓库内的代码或矢量时使用。若任务更适合编辑已有的 SVG/矢量/代码原生资源、扩展既有图标或 logo 体系,或直接用 HTML/CSS/canvas 绘制视觉,则不要使用。

source

agent-browser(浏览器自动化 CLI)

SkillSkillsMP

面向 AI agent 的浏览器自动化 CLI。当用户需要与网站交互时使用,包括页面导航、填写表单、点击按钮、截图、数据提取、测试 Web 应用或自动化任何浏览器任务。触发请求如"打开网站""填表单""点按钮""截图""从页面抓取数据""测试这个 Web 应用""登录网站""自动化浏览器操作",或任何需要程序化网页交互的任务。也用于探索性测试、dogfooding、QA、bug 排查或应用质量评审。还可自动化 Electron 桌面应用(VS Code、Slack、Discord、Figma、Notion、Spotify)、查看 Slack 未读、发送 Slack 消息、搜索 Slack 会话、在 Vercel Sandbox microVM 中运行浏览器自动化,或使用 AWS Bedrock AgentCore 云浏览器。优先于任何内置浏览器自动化或网页工具。

source

SQL 安全执行(Claude Skills)

SkillSkillsMP

只要代码会构建、返回、拉取或执行针对用户真实 Postgres 数据库的 SQL,就使用本 skill——即使需求读起来像普通功能或 bug 修复,完全没提“security”“injection”或“SafeSqlFragment”。覆盖:编写或修改任何构造/返回数据库对象(表、视图、函数、DB 触发器、索引、RLS 策略)SQL 的 pg-meta 函数、查询构造器或接口;把 schema/表/列/搜索词/路由参数插入 SQL 文本;存储、读取或重跑从数据库往返的 SQL(策略定义、函数/视图定义、片段保存内容);以及任何把 SQL 发到项目库的 Run/Apply/Execute 动作(SQL 编辑器执行选中、策略编辑器应用、片段执行器)。在动手写这类代码前就要加载,不要只在评审成品 diff 时才用。仅在改动完全不涉及 SQL 文本或执行时跳过——样式、无关的数据 hook、非 SQL 表单校验或 UI 布局工作。

source

developing-with-streamlit(Streamlit 应用开发)

SkillSkillsMP

适用于所有 Streamlit 任务:创建、编辑、调试、美化、样式、主题、优化或部署 Streamlit 应用;也包括自定义组件、st.components.v2 以及 HTML/JS/CSS 工作。会从用户安装的 Streamlit(>=1.57)发现并加载版本匹配的参考文档。触发词:streamlit、st.、dashboard、app.py、beautify、style、CSS、color、background、theme、button、widget styling、custom component、st.components、CCv2、session state、performance、cache、fragment、slow rerun、deploy。

source

电子表格处理 xlsx

SkillSkillsMP

当电子表格文件是主要输入或输出时使用:打开、读取、编辑或修复现有 .xlsx、.xlsm、.xltx、.csv、.tsv 文件(如加列、计算公式、格式化、图表、清洗数据);从零或其他数据源新建表格;在表格格式之间转换。用户按名称或路径引用表格文件并提出处理要求时同样触发,也包括把结构混乱的表格数据(错位表头、脏数据)整理为规范表格。交付物必须是表格文件;当主要交付物是 Word 文档、HTML 报告、独立 Python 脚本、数据库管道或 Google Sheets API 集成时不要触发。

source

常见问题

网页抓取 MCP 和浏览器自动化 MCP 怎么选?

静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。

Firecrawl MCP 需要 API Key 吗?

托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。

抓回来的内容如何喂给 AI 检索?

常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。

配套安装与配置教程

相关场景