搜索「Crawl」的结果

com.viraloutliers/viral-outliers

在 TikTok、Instagram 与 YouTube 上寻找爆款帖子、拉取创作者数据并按需抓取。

dev.messora/messora

为 AI 代理抓取、爬取并检索网页，通过 MCP 提供。

io.github.sercanmetalore/web-analytics-mcp

Web Analitiği MCP sunucusu — in-house on-page SEO denetimi (robots.txt + SSRF korumalı crawl).

dev.weblens/weblens

抓取、爬行、梳理并抽取网页；按次以 USDC 计费，无需账号或 API 密钥。

io.github.OsbornVentures/websiteiq

Robots-aware website audits, pre-crawl quotes, and structured evidence for people and agents.

com.seogrep/seogrep

为 AI 智能体提供 SEO 能力：抓取站点、审计页面、拉取 Search Console 数据、生成可分享报告。

io.anakin/mcp

面向 AI 代理的网页数据：抓取、爬取、搜索、深度研究、站点监控与浏览器自动化。

store.dacix/store

AI-agent marketplace: agent templates, web search & crawl, SEO audit, RO company data, city info.

io.github.apexapi/apexapi-mcp

用一把密钥即可从任意 MCP 客户端调用 120 多个 AI 模型与实时网页上下文（抓取/爬取/抽取）。

io.github.MetaLift-AI/metalift

面向 AI 代理的 Metalift MCP：网页搜索（2 积分）、抓取、整站爬取与站点地图工具。

com.stagenth/web

网页抓取并转为干净 Markdown，支持 JS 渲染、多页爬取、结构化提取与站点地图。

io.github.olostep/olostep-mcp-server

为 AI 智能体搜索、抓取并爬取网页，支持批量抓取与带引用的回答。

io.github.alex-on-ai/webreaper

AI 原生网页抓取器：经 stdio 抓取、爬取任意网站并映射为干净的 Markdown。MIT 许可。

io.github.us/fastcrw

抓取、爬取、映射并搜索网页——开源、可自托管的 Rust 爬虫与搜索引擎，面向 AI 智能体。

io.github.Tlalvarez/auxiliar-mcp

面向 AI 智能体的网页访问——通过 auxiliar.ai 网关进行搜索/抓取/抽取/爬取。

dev.rampify/rampify-mcp

SEO MCP 服务：抓取你的站点、找出 AI 可见性缺口，并在编码智能体中直接落地修复。

io.speedvault/mcp

执行网页性能审计、获取代码级修复建议、爬站做 SEO 分析，并读取真实用户 Core Web Vitals。

com.thenextgennexus/web-scraping-mcp-server

通用 URL 抓取与 HTML 提取——没有专用 MCP 的网站的兜底方案。

com.thenextgennexus/seo-web-analysis-mcp-server

站点抓取、技术栈、DNS、SSL、WHOIS——五层网页情报合为一个 MCP。

io.github.rich-jojo/smart-web

网页搜索、直连 URL 抓取、爬取与文档导出 MCP，内置 smartfetch。

ai.smithery/luminati-io-brightdata-mcp

一个面向全网络的 MCP。

io.github.D4Vinci/Scrapling/Scrapling-Skill

使用 Scrapling 抓取网页，支持反爬绕过（如 Cloudflare Turnstile）、隐身无头浏览、spider 框架、自适应抓取和 JavaScript 渲染。需要抓取/爬取/提取网站数据、web_fetch 失败、站点有反爬防护、编写 Python 抓取代码或 spider 时使用。

io.github.danielmiessler/LifeOS/Apify

通过 Apify actor 抓取社交平台、商业数据与电商内容——Instagram、LinkedIn、TikTok、YouTube、Facebook、Google Maps、Amazon 及通用网页爬取——并在代码中过滤。适用场景：抓取 Instagram/LinkedIn/TikTok/YouTube/Facebook、Google Maps 销售线索、Amazon 评论、商业智能、多平台社媒监听、竞品分析、线索生成、社媒监控、Apify actor、网页爬取、提取联系人。不适用于 X/Twitter 操作（用 _X）、四级代理递进式抓取（用 BrightData）、真实 Chrome 反爬绕过与 computer use（用 Interceptor）。

io.github.sickn33/antigravity-awesome-skills/nextjs-seo-indexing

修复 Next.js 应用的 SEO 索引问题、抓取配额（crawl budget）问题与 Search Console 覆盖率错误。涵盖 canonical 标签、noindex 审计、sitemap 健康检查、静态渲染与内部链接。