网页抓取 MCP 推荐

Firecrawl

基于Firecrawl的智能网页爬取和内容提取MCP工具

Firecrawl MCP，封装 Firecrawl API（firecrawl.dev）。

大规模抓取、爬取网页并提取结构化数据

网页抓取 MCP——从任意 URL 提取干净的 Markdown、链接与元数据。

可靠的网页抓取 MCP 服务器，内置重试逻辑、熔断器模式、缓存与反爬绕过。可按原始 HTML 或便于 LLM 消费的干净 Markdown 抓取 URL。还提供域名健康检查与缓存管理工具。

framefetch 视频数据提取

# FrameFetch **一次 API/MCP 调用，智能体即可获得跨 6 个平台的干净视频数据**——元数据与洞察、Whisper 转写文本，以及参数化抽帧（自选 fps 或精确时间戳 → 推送到 S3）。支持 YouTube（含 Shorts）、TikTok、Reddit、Instagram、Pinterest。 智能体优先设计：类型化错误、失败退款、结果缓存。通过 x402（Base 上的 USDC）或 Stripe 按次付费。 ## 接口 - POST /v1/extract——一次调用组合元数据/洞察/转写/抽帧中任意几项 - POST /v1/metadata · /v1/transcript · /v1/frames——快捷接口 - GET /v1/platforms——能力矩阵 · POST /v1/keys——免费 key 加额度 ## 示例 curl -X POST https://framefetch.net/v1/extract -H “Authorization: Bearer <key>” -H “Content-Type: application/json” -d {“url”:“https://youtu.be/...”,“fields”:[“metadata”,“transcript”]} https://framefetch.net

Web Scraper — Clean Markdown from Any URL

Web content extraction API for AI agents. Scrape any URL and get clean, structured Markdown content with navigation, ads, and scripts stripped. Full JavaScript rendering via headless Chromium. Single and batch (10 URLs) modes. Built for RAG pipelines and AI research. Tools: web_scrape_to_markdown (single), web_scrape_batch (up to 10 URLs). Use this for RAG ingestion, research, content analysis, data extraction, or competitive intelligence. IMPORTANT: For screenshots/PDFs of pages, use capture_screenshot instead. For SEO analysis, use seo_audit_page. Returns: {markdown, title, wordCount, links[]}. No API key required — x402 micropayment $0.005/call on Base L2.

HTML 转 Markdown —— 干净转换并剥离脚本

面向 AI 智能体的 HTML 转 Markdown API。将 HTML 转为干净的 Markdown：剥离脚本、样式与跟踪代码，保留标题、链接、列表、图片与表格。工具：text_convert_html_to_markdown。适用于内容迁移、邮件处理，或把 HTML 内容整理为供 LLM 消费的形态。注意：抓取在线 URL 并转 Markdown 请用 web_scrape_to_markdown。返回：{markdown, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.001/次。

Markdown 转 HTML —— 标题、代码块与表格

面向 AI 智能体的 Markdown 转 HTML API。将 Markdown 转换为干净的 HTML，支持标题、列表、代码块、表格、链接与图片，可选包裹为含 DOCTYPE 的完整文档。工具：text_convert_markdown_to_html。适用于在 Web UI、邮件模板或文档生成中渲染 Markdown 内容。注意：需要带 CSS 主题的样式化 HTML 请用 text_render_markdown。返回：{html, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.001/次。

Twitter/X 抓取（资料、推文与搜索）

面向 AI 智能体的 Twitter/X 抓取 API。抓取公开资料（简介、数据、认证）、用户推文（文本、互动、媒体）与搜索结果——全部不需要 Twitter API key。输出结构化的 JSON，可直接分析。 工具：twitter_scrape_profile、twitter_search_tweets、twitter_get_user_tweets。 适合社媒监控、网红调研、情感分析、竞品情报，或搭建社交看板。是为 AI 智能体准备的社交情报层。重要：若要其他社交网络，请使用 social_lookup_profile。 返回含资料、推文与互动指标的结构化 JSON。无需 API key——在 Base L2 上以 x402 微支付，每次 0.005 美元。

Markdown 渲染器 —— 带 CSS 主题的样式化 HTML

面向 AI 智能体的 Markdown 渲染 API。把 Markdown 转换为带 CSS 主题（浅色、深色与 GitHub 风格）的完整样式化 HTML，输出排版自适应、可直接嵌入的文档。工具：text_render_markdown。适用于把 Markdown 转成美观的 HTML：报告、文档、博客文章。注意：只需基础 Markdown 转 HTML（更便宜）请用 text_convert_markdown_to_html。返回：{html, theme, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.002/次。

PDF 生成器 —— HTML/Markdown 转专业 PDF

面向 AI 智能体的 PDF 文档生成 API。由 HTML 或 Markdown 生成 PDF：可自定义页面尺寸（A4、Letter）、页边距、页眉与页脚，适合报告、发票、合同与文档。工具：document_generate_pdf。用于生成专业文档、报告或发票。注意：把现有网页存为 PDF 请改用 webpage_to_pdf。返回 base64 编码的 PDF 文档。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.008/次。

AgentScrape 按次网页抓取

**面向 AI 智能体的按次付费网页抓取——无需注册、无需 API key，只用 USDC。** AgentScrape 是可用于生产的 MCP 服务器，为智能体提供 6 个付费工具，用于网页抓取、结构化抽取、截图与元数据——全部运行在 Cloudflare Workers，全部通过 x402 在 Base 上以 USDC 结算。 ## 工具 - **`scrape_webpage`**——按 markdown、html、text 或 json 抓取 - **`extract_structured_data`**——用自然语言提示加 JSON schema 做 AI 抽取 - **`screenshot_webpage`**——PNG 截图，视口可配置 - **`extract_metadata`**——OG、Twitter Card、JSON-LD - **`create_browser_session`**——为多步流程创建持久会话 - **`run_workflow`**——多步原子执行 ## 定价 Base 主网上每次调用 0.001–0.008 USDC。无订阅，无 API key，通过 x402 按请求付费。 **免费额度：**每个钱包每 30 天 10 次调用，无需注册。 ## 技术栈 Cloudflare Workers · Hono · `@x402/hono` v2 · MCP Streamable HTTP · xpay.sh facilitator · Browser Rendering MIT 许可。

ScrapeGraphAI 抓取

ScrapeGraphAI MCP 服务器是一个可用于生产的 Model Context Protocol（MCP）服务器，把大语言模型（LLM）接到 ScrapeGraph AI API 上。让 Claude、Cursor 这类 AI 助手直接通过自然语言交互完成 AI 驱动的网页抓取、调研与爬取。

面向 agent 的确定性验证引擎：为修复提供证明——旧代码上失败、新代码上通过。

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

Public tenders and contract awards from EU TED and UK Find a Tender, with buyer, value and deadline.

网页抓取、遍历、深度调研与自主信息抽取，31 个 MCP 工具，输出干净的 Markdown/JSON。

Web data for marketing agents: traffic, ads, social profiles, search, and any URL as markdown.

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

Analyse robots.txt content and report whether a path may be crawled.

crawl4ai-compatible web crawler API: POST a URL.

Public Telegram channel posts without login: text, views, reactions, media, exact subscribers.

Trustpilot reviews for any company domain: ratings, text, replies, and unanswered low-star reviews.

Search Reddit posts by keyword and subreddit; find recommendation requests and brand mentions.

Search Naukri.com jobs in India: titles, companies, salaries, skills, and which companies hire most.

Enrich Google Maps leads, crawl docs to RAG Markdown, transcribe podcasts, check AI crawler access.

Firecrawl 的 MCP server——网页搜索、网页抓取，以及生物医学/arXiv 论文检索。

Convert a self-contained HTML design into an editable Adobe InDesign (.idml) file. 2 pages free.

Free proxies that actually work: verified HTTP/SOCKS proxies, and pages fetched through them

Reverse geocode a coordinate to country, region, municipality and street, plus your own geofences.

SEO audits and AI crawler checks. Honest findings only; no invented scores.

自主网页爬虫：17 个浏览器工具，外加目标驱动的 run_goal 智能体；单二进制、隐身模式。

Open-source web scraper for AI agents with scrape, crawl, and map tools

Ashby Jobs Scraper - Search Every Ashby Job Board

Facebook/Meta Ads Library Scraper - Winning Ads

Programmatic web-scraping MCP server powered by x402 micro-transactions on Base.

通过 ScrapeUnblocker 的反爬 API 获取任意网页的 HTML 或 AI 解析后的 JSON。

Audit any site for 50+ AI crawlers, generate llms.txt, robots.txt and schema, track AI mentions.

支持用自然语言查询数据库模式——快速浏览表、键、存储过程并获取 SQL 帮助。

面向 AI 智能体的 Twitter/X 抓取 API：获取个人资料、推文、热门趋势等。

Publish, play-test and fix HTML5 browser games from your AI assistant. Own address, 70% ad share.

Let AI agents send email from your own Gmail, Microsoft 365 or SMTP inbox, with guardrails.

Scrape to markdown, map and crawl sites, drive a real browser. Pay per call, no API key, no signup.

HTTP 抓取 MCP 服务器：SSRF 防护、HTML 转 Markdown、阅读模式、元数据提取。

Give it a URL, get structured rows. A model writes the parser once; replays are free.

托管 MCP：1873 个结构化网页数据工具，覆盖搜索、地图、电商、社交、游戏与金融。

Render HTML or templates to a hosted PNG or PDF, in one response. Free previews need no API key.