搜索「Crawl」的结果

ai.seocrawl/mcp

来自 SEOcrawl AI 的实时 Google Search Console 数据、关键词与页面分析、站点审计及 SEO 任务。

io.github.adityaarsharma/librecrawl-technical-seo-audit-mcp

自托管的技术 SEO 审计 MCP：50 多项检查、WAF 检测、临时环境。基于 LibreCrawl 构建。

com.crawlconsole/crawlconsole

面向 AI 智能体的反向链接分析 MCP：权威度、引荐域名与竞品链接缺口。

io.github.lazymac2x/ai-crawler-policy

部署在 Cloudflare Workers 上的 MCP 服务器：ai-crawler-policy。

com.mcparmory/firecrawl

大规模抓取、爬取网页并提取结构化数据

io.github.superaihuman/evocrawl-mcp

Evocrawl 的 MCP 服务器——搜索、抓取并与网页交互。

io.github.pagecrawl/pagecrawl-mcp

监控网页变化，提供 AI 驱动的变化检测、差异对比与提醒。

io.github.DevsHero/ShadowCrawl

Rust MCP 隐蔽抓取器：具备反爬搜索/抓取、CDP 回退与 HITL 非机器人验证。

io.github.DevsHero/shadow-crawl

隐蔽抓取与搜索，通过 Cyborg HITL 方式绕过 Cloudflare、DataDome 与 LinkedIn。

io.github.houtini-ai/seo-crawler-mcp

使用 Crawlee 抓取并分析网站的 SEO 错误，结果存储于 SQLite。

io.github.Crawleo/Crawleo-MCP

托管版 Crawleo MCP（远程可流式 HTTP 端点）。

io.github.crawlbrulee/mcp

EU-native web scraping for AI agents. scrape pages, map sites, run background jobs, check usage.

io.github.lintlab/seo-site-qa

Crawl a site for broken links, redirects and missing SEO tags. Pay per page on Apify.

io.github.pavel-tashev/broken-link-checker

Crawl a site for broken links, 404s, dead images, redirect chains and slow pages, with sources

one.aisa/seo-onpage

Crawl a site: pages, resources, links, duplicates, tags, Lighthouse and raw HTML.

io.github.Sriram-PR/doc-scraper

Crawl documentation sites into local corpora agents can search, read, and diff fully offline.

io.github.mouhabmzibra-rgb/seo-backlinks

Backlinks, Domain Rating & expired-domain drops via seo-backlinks.net (Common Crawl)

cloud.spider/mcp

大规模爬取、抓取与搜索网页，并提供带反爬破解能力的浏览器自动化。

io.github.abhibavishi/rankparse-mcp

SEO MCP 服务器——反链、域名权重、技术栈识别，基于 Common Crawl 的 18 个以上工具。

Web Auditor 网站审计

io.smithery.yakenator.web-inspector

分析单个网页乃至整站在 SEO、可访问性、性能与安全合规方面的表现。生成详细报告与可执行的问题清单，改善站点质量与用户体验。可跟踪历史审计数据，在多次抓取之间监测改进情况。

io.github.quantumproxies/quanticdata-mcp

Live web access for agents: scrape, SERP search, crawl/map, 100+ collectors, datasets, proxies.

dev.ilien.svipall/mcp

Read any page past its anti-bot wall, crawl sites, search without an API key, solve captchas locally

io.github.quantumproxies/quantumproxies-mcp

Web scraping, SERP search, crawl/map and 74 Collectors through residential proxies. 25 tools.

io.github.fastcrw/crw

Open-source web scraper for AI agents with scrape, crawl, and map tools