AgentHubAgentHub

使用场景/网页抓取与采集

网页抓取 MCP 推荐

从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。

共匹配 512 个资源 · 第 7 / 11 页

什么是网页抓取与采集?

网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。

典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。

合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。

适合做什么

  • 新闻/文档采集
  • 竞品页面监控
  • 构建 RAG 语料
  • 批量导出公开数据

不太适合

  • 登录后敏感数据爬取
  • 违反 robots.txt 或站点 ToS 的场景
常见组合: Firecrawl / Fetch MCP + 向量库 → 自动入库与检索

相关资源

查看全部 →
xlsx icon

xlsx

SkillGitHub

当电子表格文件是主要输入或输出时使用本技能。包括:打开、读取、编辑或修复现有 .xlsx、.xlsm、.xltx、.csv、.tsv 文件(如加列、计算公式、格式化、图表、清洗脏数据);从零或其他数据源创建新电子表格;在表格文件格式间转换。当用户按名称或路径引用电子表格文件(哪怕是随口一提,如“下载目录里那个 xlsx”)并要对它做处理或从中产出内容时触发;也适用于把脏乱的表格数据文件(畸形行、错位表头、垃圾数据)整理成规范电子表格。交付物必须是电子表格文件。当主要交付物是 Word 文档、HTML 报告、独立 Python 脚本、数据库流水线或 Google Sheets API 集成时不要触发,即使涉及表格数据。

sourceregistry 收录

diagram-design

SkillSkillsMP

Create branded architecture, IT current-state, flowchart, sequence, state machine, ER/data model, timeline, swimlane, quadrant, radar/spider, polar chart (polar/radial lollipop), loop/flywheel, nested, tree, org chart, layer stack, Venn, pyramid/funnel, treemap, heatmap, bar, waterfall, line, Gantt and scatter charts, high-level, process, medallion, data flow, DP integration, DP security matrix, Sankey, fishbone, Wardley map, kanban, user journey, deployment, dependency graph, UML class, story map, or database schema diagrams as HTML/SVG/PNG, with .drawio and .excalidraw import support, plus lifecycle phase maps and onboarding guidance.

source

migrate-to-rspack

SkillSkillsMP

Use when migrating an existing Meteor app to Rspack (Meteor 3.4+), or upgrading Rspack 1 to 2 on Meteor 3.6 beta. Triggers on nested imports, mainModule entry points, server-only apps, replacing fourseven:scss / meteor/less / coffeescript / jorgenvatle:vite / zodern:melte with loaders, Svelte/TypeScript preprocessing or Lingui SWC plugin failures after upgrade, CommonJS default-import interop, module.exports in client graphs, Node built-ins in browser code, _build / build-assets / build-chunks, .meteorignore hiding handoff files, dynamic chunks under ROOT_URL, meteor.modules for CSS/HTML, resolve.symlinks or resolve.alias migration, automatic dependency updates and immutable CI/Docker builds. Use this skill when the user asks about migration compatibility or a build plugin's Rspack replacement. For new-app setup and rspack.config.js helpers, use meteor-modern-build-stack instead.

source

developing-with-streamlit(Streamlit 应用开发)

SkillSkillsMP

**[必备]** 适用于所有 Streamlit 任务:创建、编辑、调试、美化、样式、主题或优化 Streamlit 应用。构建自定义组件(内联或打包)、使用 st.components.v2 或任何 HTML/JS/CSS 组件工作时同样必需。触发词:streamlit、st.、dashboard、app.py、beautify、style、CSS、color、background、theme、button、widget styling、custom component、st.components、packaged component、pyproject.toml、asset_dir、CCv2、HTML/JS component。

source

ccxt-typescript(CCXT TypeScript 指南)

SkillSkillsMP

面向 TypeScript 与 JavaScript 开发者(Node.js 与浏览器)的 CCXT 加密货币交易所库。同时覆盖 REST API(标准)与 WebSocket API(实时)。帮助安装 CCXT、连接交易所、获取行情、下单、流式接收 ticker/订单簿、处理鉴权与管理错误。适用于在 TypeScript/JavaScript 项目中对接加密货币交易所、交易机器人、套利系统或投资组合管理工具。包含 REST 与 WebSocket 示例。

source

Blazor 特性验证

SkillSkillsMP

在编写 E2E 测试之前,使用本仓库的 Components 示例在浏览器中交互式验证 Blazor 特性或行为。用于:在 src/Components 中演练某项 Blazor 改动(渲染模式行为、交互组件、增强导航、表单、流式渲染、预渲染),决定选用哪个示例、在哪添加测试页面、如何设置渲染模式(Server/WebAssembly/Auto/静态 SSR)、如何确认应用真的处于交互状态(而非纯静态 SSR),以及如何检查浏览器控制台与网络错误。覆盖 BlazorWebAppGlobal、BlazorWebAppPerPage 与 BlazorWebAssemblyStandalone,针对仓库内的框架启动,并用 Playwright MCP 浏览器工具驱动。不适用于编写正式的 E2E/Selenium 或单元测试、非 Components 领域、对比方案调研,或在没有 Blazor 特性需要验证时仅做原生浏览器 API/HTML/CSS 的孤立实验——后者用最小化的浏览器探测即可。

source

Docling 文档解析 docling

SkillSkillsMP

用 Docling 理解任意受支持格式文档的内容——PDF(原生数字或扫描件)、DOCX、PPTX、XLSX、HTML、Markdown、AsciiDoc、CSV、图片、音频与 XML——把它们统一转换为 DoclingDocument(Markdown 或结构化 JSON)。当你需要读取、解析、转换、提取或切分无法直接阅读的文档时使用,例如“这份 PDF 里有什么”“转成 markdown”“提取表格”“为 RAG 切块”“读这份扫描文档”“解析这个 DOCX/PPTX”。涵盖 docling CLI、Python SDK(DocumentConverter 与 PipelineOptions)、远程 Service Client(自托管或托管的 docling-serve),以及用于最小依赖体积的 docling-slim install extras。

source

pixijs-scene-text(PixiJS 文本渲染)

SkillSkillsMP

在 PixiJS v8 中渲染文本时使用。覆盖 Text(画布级高质量样式文本)、BitmapText(基于字形图集的低成本逐帧更新)、HTMLText(通过 SVG 渲染 HTML/CSS 标记),以及用于逐字符动画的 SplitText 和 SplitBitmapText,还包括 TextStyle、tagStyles、构造选项、TextOptions、HTMLTextOptions、BitmapText、SplitTextOptions、SplitBitmapTextOptions。触发词:Text、BitmapText、HTMLText、SplitText、SplitBitmapText、TextStyle、HTMLTextStyle、BitmapFont.install、tagStyles、fontFamily、wordWrap。

source

开发 Capacitor 移动端

SkillSkillsMP

开发 Trilium 移动应用(apps/mobile,基于 Capacitor 的 Android/iOS)或仅在应用内运行的专用代码路径时使用:capacitor:// 与 https://localhost 的请求路由、iOS 的 fetch/XHR/图片/样式表拦截器、Android 原生流式 HTTP 代理(TriliumWebViewClient)、NativeHttpHandler 同步传输、MainActivity/ViewController 的 WebView 调整(edge-to-edge、键盘),以及客户端中的 isMobileApp() 门控和移动端 CI/夜间构建。当评审涉及这些文件的 diff 时也应加载,以免把仅在 iOS 生效的代码误判为死代码。

source

ccxt-mcp(CCXT 官方 MCP)

SkillSkillsMP

官方 CCXT MCP(Model Context Protocol)服务器——让 AI 代理连接 100+ 加密货币交易所与预测市场,进行行情、余额与可选的交易操作。涵盖在 Claude Desktop/Code、Cursor、VS Code 及其他 MCP 宿主中安装服务器;配置命名账户与 API key(保存在本地,模型永远接触不到);能力分层与安全护栏;sandbox/testnet 交易;以及如何驱动这些工具。当用户希望代理跨交易所获取价格/订单簿/K 线、查看余额/挂单/持仓、下单或撤单,或探索预测市场时使用。

source

Codacy 分诊 triage-codacy

SkillSkillsMP

本仓库的 Codacy Cloud 工作流——在 `git push` 前本地运行 Codacy 分析器(对齐 Codacy CI 行为),并经 v3 API 拉取/聚类任意 PR 的 Codacy 问题。当用户提到 Codacy、「codacy analysis」、`codacy-analysis-cli`、「codacy issues on PR」「fix codacy CI」「codacy markdownlint findings」,或 netdata-org PR 上任何 Codacy 门禁失败时使用。附带脚本 analyze-local.sh(codacy-analysis-cli 的 docker/二进制运行器)与 pr-issues.sh(分页 v3 问题拉取 + 按工具/模式/严重级/文件分组)。令牌安全——CODACY_TOKEN 绝不进入助手可见的 stdout。按设计只读;写操作(标记误报、标记已修复)需要 GitHub issue 或分支本地 SOW。

source

SQL 安全执行

SkillSkillsMP

只要代码会构建、返回、拉取或执行针对用户真实 Postgres 数据库的 SQL,就使用本 skill——即使需求读起来像普通功能或 bug 修复,完全没提“security”“injection”或“SafeSqlFragment”。覆盖:编写或修改任何构造/返回数据库对象(表、视图、函数、DB 触发器、索引、RLS 策略)SQL 的 pg-meta 函数、查询构造器或接口;把 schema/表/列/搜索词/路由参数插入 SQL 文本;存储、读取或重跑从数据库往返的 SQL(策略定义、函数/视图定义、片段保存内容);以及任何把 SQL 发到项目库的 Run/Apply/Execute 动作(SQL 编辑器执行选中、策略编辑器应用、片段执行器)。在动手写这类代码前就要加载,不要只在评审成品 diff 时才用。仅在改动完全不涉及 SQL 文本或执行时跳过——样式、无关的数据 hook、非 SQL 表单校验或 UI 布局工作。

source

综合设计技能

SkillSkillsMP

综合设计 skill:品牌识别、设计 token、UI 风格、logo 生成(55 种风格,可用 Gemini、Atlas Cloud 或 MuAPI AI)、企业识别系统(50 项交付物、CIP 样机)、HTML 演示(Chart.js)、banner 设计(22 种风格,社交/广告/网页/印刷)、图标设计(15 种风格,SVG,Gemini 3.1 Pro)、社交图片(HTML 转截图、多平台)。动作:设计 logo、制作 CIP、生成样机、做 slides、设计 banner、生成图标、制作社交图片/社媒图、品牌识别、设计体系。平台:Facebook、Twitter、LinkedIn、YouTube、Instagram、Pinterest、TikTok、Threads、Google Ads。

source

图像生成(Codex imagegen)

SkillSkillsMP

当任务受益于 AI 生成的位图视觉(照片、插画、纹理、精灵图、样机、透明背景抠图)时生成或编辑位图图像。当 Codex 需要新建图像、变换既有图像或从参考衍生视觉变体,且产物应为位图素材而非仓库内的代码或矢量图时使用。若更适合编辑现有 SVG/矢量/代码原生资产、扩展既有图标或 logo 体系、或直接在 HTML/CSS/canvas 里画视觉,则不要使用。

source

原子组装 compose-atoms

vcanary

SkillSkillsMP

将沉重的领域功能拆解为可挂载的能力原子。适用场景:Viewer/Page/index.tsx 同时承担取数、筛选、变更、弹窗与宿主集成;可视化拆分后页面仍残留 store 调用与 action;portal、嵌入、分享、移动端或微应用需要同一领域的子集;或新能力正以又一个 `readOnly`/`mode`/`variant` 标志落地。触发词:compose-atoms、sink state、状态下沉、重业务拆分、拆成原子、原子组件、组装、god component、fat viewer、module graph、slot composition、host seam。

source

编码 Agent 会话 coding-agent-sessions

SkillSkillsMP

当需要查找、读取、列出、搜索、查看、拉取、导出或重建跨 Codex、Claude Code/Desktop、OpenCode、OMO/Senpi/pi、oh-my-pi (omp)、gajae-code (gjc)、OpenClaw、Factory Droid、Amp、Gemini/Kimi/Qwen CLI、Codebuff、Roo/Kilo/Cline、Kodu、Cursor CLI、Aider、Aside 浏览器 agent 会话或未知本地 agent 日志时务必使用。覆盖 transcript、会话 ID、rollout JSONL、state SQLite、Claude projects/pre-compact 历史、OpenCode messages/parts、子/subagent 关联、cwd/model/时间/token 过滤、归档与成本线索。会把模糊回忆展开为并行查询通道,并先探测已知存储,从而低成本跳过不存在的平台。触发词:coding agent sessions、Codex/Claude/OpenCode/OMO/Senpi/pi/oh-my-pi/omp/gajae-code/gjc/OpenClaw/Droid/Amp/Kodu/Cursor/Aider/Aside sessions、transcript search、session history、session ID、read transcript、token usage、subagent sessions、what did I do yesterday、did we already do this。

source

IBM 无障碍路由批量扫描(Langflow)

SkillSkillsMP

使用 Python 版 IBM Equal Access 扫描器(scripts/a11y/a11y_scan.py)批量扫描 Langflow 前端路由的无障碍问题,输出 JSON/Markdown/HTML 报告。仅扫描每个路由的默认加载状态(弹窗需显式提供状态文件)。当被要求扫描单个或多个路由、为页面生成无障碍报告或批量检查静态路由时使用。只报告问题——不修复代码、不运行 Playwright/axe 测试、不做正式 Level 1 审计;这些场景见 ibm-a11y-testing-guide、ibm-a11y-level1-audit 与 ibm-a11y-pr-remediation。

source

HyperFrames 视频合成 hyperframes

SkillSkillsMP

在 HyperFrames HTML 中创建视频合成、动画、标题卡、叠加层、字幕、配音、音频反应视觉与场景转场。当需要构建任何基于 HTML 的视频内容、添加与音频同步的字幕、生成语音旁白、创建音频反应动画(节拍同步、随音乐律动的辉光/脉冲)、添加文字高亮动画(马克笔扫过、手绘圆圈、爆裂线条、涂鸦、草图描出)或场景间转场(交叉淡入淡出、擦除、揭示、着色器转场)时使用。涵盖合成编排、时序、媒体与完整视频制作工作流。CLI 命令(init、lint、preview、render、transcribe、tts)参见 hyperframes-cli 技能。

source

HyperFrames 视频合成 hyperframes

SkillSkillsMP

在 HyperFrames HTML 中创建视频合成、动画、标题卡、叠加层、字幕、配音、音频反应视觉与场景转场。当需要构建任何基于 HTML 的视频内容、添加与音频同步的字幕、生成语音旁白、创建音频反应动画(节拍同步、随音乐律动的辉光/脉冲)、添加文字高亮动画(马克笔扫过、手绘圆圈、爆裂线条、涂鸦、草图描出)或场景间转场(交叉淡入淡出、擦除、揭示、着色器转场)时使用。涵盖合成编排、时序、媒体与完整视频制作工作流。CLI 命令(init、lint、preview、render、transcribe、tts)参见 hyperframes-cli 技能。

source

常见问题

网页抓取 MCP 和浏览器自动化 MCP 怎么选?

静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。

Firecrawl MCP 需要 API Key 吗?

托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。

抓回来的内容如何喂给 AI 检索?

常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。

配套安装与配置教程

相关场景