crawl
共收录 12 个与 crawl 相关的 MCP Server 与 Agent Skill,均附安装命令、来源与热度数据,可直接复制到 Cursor、Claude Code 等客户端。
Firecrawl 搜索
v1.0.0
io.clawhub.ashwingupy/firecrawl-search
通过 Firecrawl API 进行网页搜索与抓取。适用于搜索网页、抓取网站(含 JS 重度页面)、爬取整站或从页面提取结构化数据。需要 FIRECRAWL_API_KEY 环境变量。
增强版网页搜索
v4.3.1
io.clawhub.robbyczgw-cla/web-search-plus
统一的多提供商网页搜索与 URL 抽取技能,可在 Serper、Brave、Tavily、Querit、Linkup、Exa、Firecrawl、Perple…… 之间智能自动路由(原文截断)。
Tavily 搜索 Pro
v1.0.0
io.clawhub.shaharsha/tavily-search-pro
Tavily AI 搜索平台,含 5 种模式:Search(网页/新闻/财经)、Extract(URL 内容)、Crawl(网站抓取)、Map(站点图发现)和 Research(带引用的深度研究)。用于:带 LLM 答案的网页搜索、内容提取、站点抓取、深度研究。
专业网页搜索
v2.1.4
io.clawhub.zjianru/web-search-pro
面向智能体的网页搜索与检索:实时网页搜索、新闻搜索、文档查询、代码查询、公司调研、站点抓取。
Crawl4AI 爬虫
v1.0.10
io.clawhub.lancelin111/crawl4ai-skill
Web crawling and scraping tool with LLM-optimized output. 网页爬虫爬取工具 | Web crawler, web scraper, spider.
技术 SEO 检查器
v19.0.0
io.clawhub.aaron-he-zhu/technical-seo-checker
当用户要求“检查技术 SEO”时使用;审计可抓取性、索引、Core Web Vitals、robots.txt、站点地图、规范链接。
MinerU 文档抽取
v0.1.30
io.clawhub.mineru-extract/mineru-document-extractor
MinerU 文档抽取——将 PDF、扫描文档、图片、Word(DOC/DOCX)、PowerPoint(PPT/PPTX)。
Firecrawler 网页抓取
v1.0.0
io.clawhub.capt-marbles/firecrawler
使用 Firecrawl API 抓取与爬取网页。以 markdown 获取页面内容、截图、抽取结构化数据、搜索网络、爬取文档站。当用户需要抓取某个 URL、获取网页最新信息、截取屏幕、从页面提取特定数据或爬取框架/库文档时使用。
Crawl4AI 网页抓取器
v1.0.1
io.clawhub.angusthefuzz/crawl-for-ai
基于本地 Crawl4AI 实例的完整网页抓取,支持 JavaScript 渲染,输出干净的 Markdown 或含链接与媒体的详细 JSON。
AnyCrawl API
v1.0.1
io.clawhub.techlaai/anycrawl
通过 AnyCrawl API 执行高性能网页抓取、爬虫与 Google 搜索,支持多引擎与结构化数据提取。
Firecrawl 网页抓取 API
v1.2.7
io.clawhub.byungkyu/firecrawl-api
Firecrawl API 集成,托管鉴权。抓取、爬取、映射与搜索网页内容。当用户想从网站提取内容、爬取整站、映射 URL 或搜索网页时使用本技能。其他第三方应用请使用 api-gateway 技能(https://clawhub.ai/byungkyu/api-gateway)。调用经由带 OAuth 登录的 maton CLI 执行;无法安装 CLI 时通过原始 HTTP 加 Maton API key 调用。每次调用都以用户连接身份鉴权,只能访问该连接授权范围内的数据(由服务商在每次请求时强制执行);本文档所列端点即本技能使用的端点,其他端点需用户点名要求方可使用。默认进行读取和列表操作,每次写操作或新建连接均需与用户确认。
Firecrawl CLI
v1.0.0
io.clawhub.yash-kavaiya/firecrawl-cli
通过 Firecrawl CLI(firecrawl)进行网页抓取、爬取、搜索与浏览器自动化。适用于把 URL 抓取为 markdown/HTML、爬取整站... 等场景。