搜索「Crawl」的结果

app.crawlio/crawlio-browser

把实时 Chrome 浏览器接入你的 Agent：150 个抓取、抽取与观测工具。

com.crimsoncrawler/mcp-server

通过 80 余个类型化 MCP 工具对威胁情报进行富化、检索、评估与管理。

com.crawlraven/mcp

读取你站点的 Search Console 表现、关键词机会与批注。

com.actablesite/ai-crawler-robots-monitor

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

com.actablesite/readiness

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

io.github.im-ff/crawlinx-mcp

Free technical-SEO audit MCP: crawl a site, run checks, return an LLM-ready shareable report.

app.crawlie/crawlie

技术 SEO 与 GEO（AI 搜索）站点审计：托管抓取、按优先级排序的修复项与报告对比。

io.github.pucilpet/crawlgraph-mcp

基于 Common Crawl 开放网页图谱（44 亿条链接）提供外链查询与竞品差距分析。

io.github.manchittlab/thecrawler

通用网页抓取器，输出适配 LLM 的 Markdown，支持 RAG 分块与 PDF/DOCX 解析。

io.github.kreuzberg-dev/kreuzcrawl

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

io.github.shulex-voc/smart-crawler

电商竞品情报、VOC 情感分析、Amazon ASIN 分析与 Reddit 增长方案。

ai.seocrawl/mcp

来自 SEOcrawl AI 的实时 Google Search Console 数据、关键词与页面分析、站点审计及 SEO 任务。

io.github.adityaarsharma/librecrawl-technical-seo-audit-mcp

自托管的技术 SEO 审计 MCP：50 多项检查、WAF 检测、临时环境。基于 LibreCrawl 构建。

com.crawlconsole/crawlconsole

面向 AI 智能体的反向链接分析 MCP：权威度、引荐域名与竞品链接缺口。

io.github.lazymac2x/ai-crawler-policy

部署在 Cloudflare Workers 上的 MCP 服务器：ai-crawler-policy。

com.mcparmory/firecrawl

大规模抓取、爬取网页并提取结构化数据

io.github.superaihuman/evocrawl-mcp

Evocrawl 的 MCP 服务器——搜索、抓取并与网页交互。

io.github.pagecrawl/pagecrawl-mcp

监控网页变化，提供 AI 驱动的变化检测、差异对比与提醒。

io.github.DevsHero/ShadowCrawl

Rust MCP 隐蔽抓取器：具备反爬搜索/抓取、CDP 回退与 HITL 非机器人验证。

io.github.DevsHero/shadow-crawl

隐蔽抓取与搜索，通过 Cyborg HITL 方式绕过 Cloudflare、DataDome 与 LinkedIn。

io.github.houtini-ai/seo-crawler-mcp

使用 Crawlee 抓取并分析网站的 SEO 错误，结果存储于 SQLite。

io.github.Crawleo/Crawleo-MCP

托管版 Crawleo MCP（远程可流式 HTTP 端点）。

io.github.opensanctions/opensanctions/refactor-crawler

将杂乱或 AI 生成的爬虫代码重写为符合 zavod 最佳实践的整洁、生产级代码。当用户要求清理、重构、整理爬虫代码、“达到生产可用”或对齐最佳实践时使用。

io.github.jeremylongshore/claude-code-plugins-plus-skills/firecrawl-deploy-integration

将 Firecrawl 集成部署到 Vercel、Cloud Run 与 Docker。用于把 Firecrawl 驱动的应用部署到生产、配置平台密钥或自建 Firecrawl。触发语如 “deploy firecrawl”、“firecrawl Vercel”、“firecrawl production deploy”、“firecrawl Cloud Run”、“firecrawl Docker”。