网页抓取 MCP 推荐

Markdown 转 HTML —— 标题、代码块与表格

面向 AI 智能体的 Markdown 转 HTML API。将 Markdown 转换为干净的 HTML，支持标题、列表、代码块、表格、链接与图片，可选包裹为含 DOCTYPE 的完整文档。工具：text_convert_markdown_to_html。适用于在 Web UI、邮件模板或文档生成中渲染 Markdown 内容。注意：需要带 CSS 主题的样式化 HTML 请用 text_render_markdown。返回：{html, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.001/次。

从任意网页提取结构化数据，支持 CSS 选择器、表格与列表自动识别、JSON/CSV 输出格式，适用于网页抓取与数据抽取任务。

面向任意平台的通用 AI 网页抓取器。可从 Instagram、Facebook、TikTok、YouTube、Google Maps、Google 搜索、Google Trends、Booking.com 与 TripAdvisor 抓取数据。适合线索获取、品牌监控、竞品分析、达人发现、趋势研究、内容分析与受众分析或任何数据抽取任务。

根据 DOI 从 Sci-Hub 抓取学术论文，自动下载 PDF 并以规范文件名保存到 research/papers/。当用户提供 DOI 或请求获取 PubMed 论文时使用。

用于抓取AI领域最新研究信息的技能，重点关注AI产品发展。从知名AI网站获取信息，提供简洁概括和链接，限制数据量以便快速阅读。

通过 Context7 API 获取最新库文档。应主动用于：(1) 使用任何外部库（React、Next.js、Supabase 等）；(2) 用户询问库 API、模式或最佳实践；(3) 实现依赖第三方包的功能；(4) 调试库相关问题；(5) 需要超出训练数据截止时间的最新文档。永远优先于猜测库 API 或使用过时知识。

将此技能作为直接 XCrawl 请求的默认入口，包括单 URL 抓取、格式选择、同步或异步执行、JSON... 处理。

自动化 Web 与 API 数据提取，附带清洗、格式化、调度、代理支持、重试、去重与实时监控。

Twitter/X 抓取（资料、推文与搜索）

面向 AI 智能体的 Twitter/X 抓取 API。抓取公开资料（简介、数据、认证）、用户推文（文本、互动、媒体）与搜索结果——全部不需要 Twitter API key。输出结构化的 JSON，可直接分析。 工具：twitter_scrape_profile、twitter_search_tweets、twitter_get_user_tweets。 适合社媒监控、网红调研、情感分析、竞品情报，或搭建社交看板。是为 AI 智能体准备的社交情报层。重要：若要其他社交网络，请使用 social_lookup_profile。 返回含资料、推文与互动指标的结构化 JSON。无需 API key——在 Base L2 上以 x402 微支付，每次 0.005 美元。

使用带反检测的浏览器自动化抓取 Twitter/X 公开主页与近期推文，并支持经 Google 或 DuckDuckGo 可选地发现目标账号。

Markdown 渲染器 —— 带 CSS 主题的样式化 HTML

面向 AI 智能体的 Markdown 渲染 API。把 Markdown 转换为带 CSS 主题（浅色、深色与 GitHub 风格）的完整样式化 HTML，输出排版自适应、可直接嵌入的文档。工具：text_render_markdown。适用于把 Markdown 转成美观的 HTML：报告、文档、博客文章。注意：只需基础 Markdown 转 HTML（更便宜）请用 text_convert_markdown_to_html。返回：{html, theme, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.002/次。

抓取并分析抖音/TikTok 上当下的热门话题、话题标签、音乐与创作者。

PDF 生成器 —— HTML/Markdown 转专业 PDF

面向 AI 智能体的 PDF 文档生成 API。由 HTML 或 Markdown 生成 PDF：可自定义页面尺寸（A4、Letter）、页边距、页眉与页脚，适合报告、发票、合同与文档。工具：document_generate_pdf。用于生成专业文档、报告或发票。注意：把现有网页存为 PDF 请改用 webpage_to_pdf。返回 base64 编码的 PDF 文档。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.008/次。

AgentScrape 按次网页抓取

**面向 AI 智能体的按次付费网页抓取——无需注册、无需 API key，只用 USDC。** AgentScrape 是可用于生产的 MCP 服务器，为智能体提供 6 个付费工具，用于网页抓取、结构化抽取、截图与元数据——全部运行在 Cloudflare Workers，全部通过 x402 在 Base 上以 USDC 结算。 ## 工具 - **`scrape_webpage`**——按 markdown、html、text 或 json 抓取 - **`extract_structured_data`**——用自然语言提示加 JSON schema 做 AI 抽取 - **`screenshot_webpage`**——PNG 截图，视口可配置 - **`extract_metadata`**——OG、Twitter Card、JSON-LD - **`create_browser_session`**——为多步流程创建持久会话 - **`run_workflow`**——多步原子执行 ## 定价 Base 主网上每次调用 0.001–0.008 USDC。无订阅，无 API key，通过 x402 按请求付费。 **免费额度：**每个钱包每 30 天 10 次调用，无需注册。 ## 技术栈 Cloudflare Workers · Hono · `@x402/hono` v2 · MCP Streamable HTTP · xpay.sh facilitator · Browser Rendering MIT 许可。

ScrapeGraphAI 抓取

ScrapeGraphAI MCP 服务器是一个可用于生产的 Model Context Protocol（MCP）服务器，把大语言模型（LLM）接到 ScrapeGraph AI API 上。让 Claude、Cursor 这类 AI 助手直接通过自然语言交互完成 AI 驱动的网页抓取、调研与爬取。

面向 agent 的确定性验证引擎：为修复提供证明——旧代码上失败、新代码上通过。

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

Public tenders and contract awards from EU TED and UK Find a Tender, with buyer, value and deadline.

网页抓取、遍历、深度调研与自主信息抽取，31 个 MCP 工具，输出干净的 Markdown/JSON。

Web data for marketing agents: traffic, ads, social profiles, search, and any URL as markdown.

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

Analyse robots.txt content and report whether a path may be crawled.

crawl4ai-compatible web crawler API: POST a URL.

Public Telegram channel posts without login: text, views, reactions, media, exact subscribers.

Trustpilot reviews for any company domain: ratings, text, replies, and unanswered low-star reviews.

Search Reddit posts by keyword and subreddit; find recommendation requests and brand mentions.

Search Naukri.com jobs in India: titles, companies, salaries, skills, and which companies hire most.

Enrich Google Maps leads, crawl docs to RAG Markdown, transcribe podcasts, check AI crawler access.

Firecrawl 的 MCP server——网页搜索、网页抓取，以及生物医学/arXiv 论文检索。

Convert a self-contained HTML design into an editable Adobe InDesign (.idml) file. 2 pages free.

Free proxies that actually work: verified HTTP/SOCKS proxies, and pages fetched through them

Reverse geocode a coordinate to country, region, municipality and street, plus your own geofences.

SEO audits and AI crawler checks. Honest findings only; no invented scores.

自主网页爬虫：17 个浏览器工具，外加目标驱动的 run_goal 智能体；单二进制、隐身模式。

Open-source web scraper for AI agents with scrape, crawl, and map tools

Ashby Jobs Scraper - Search Every Ashby Job Board

Facebook/Meta Ads Library Scraper - Winning Ads

Programmatic web-scraping MCP server powered by x402 micro-transactions on Base.

通过 ScrapeUnblocker 的反爬 API 获取任意网页的 HTML 或 AI 解析后的 JSON。

Audit any site for 50+ AI crawlers, generate llms.txt, robots.txt and schema, track AI mentions.

支持用自然语言查询数据库模式——快速浏览表、键、存储过程并获取 SQL 帮助。

面向 AI 智能体的 Twitter/X 抓取 API：获取个人资料、推文、热门趋势等。

Publish, play-test and fix HTML5 browser games from your AI assistant. Own address, 70% ad share.

Let AI agents send email from your own Gmail, Microsoft 365 or SMTP inbox, with guardrails.

Scrape to markdown, map and crawl sites, drive a real browser. Pay per call, no API key, no signup.

HTTP 抓取 MCP 服务器：SSRF 防护、HTML 转 Markdown、阅读模式、元数据提取。

Give it a URL, get structured rows. A model writes the parser once; replays are free.

托管 MCP：1873 个结构化网页数据工具，覆盖搜索、地图、电商、社交、游戏与金融。