网页抓取 MCP 推荐

MCP server for fetching URLs, safe against SSRF, DNS rebinding, and redirect-to-internal attacks.

Drop-in fetch MCP: clean Markdown from any URL, with JS rendering and anti-bot.

把实时 Chrome 浏览器接入你的 Agent：150 个抓取、抽取与观测工具。

通过 80 余个类型化 MCP 工具对威胁情报进行富化、检索、评估与管理。

读取你站点的 Search Console 表现、关键词机会与批注。

面向 AI 智能体的 Web 能力层：通过 x402 提供页面渲染、内容提取、DNS、SSL、WHOIS 等能力。

Pay-per-call agent tools via x402 (USDC on Base): chat, prices, funding, RNG. No account or keys.

111 web-data endpoints across 11 services. Pay per call in USDC via x402.

Turns any web page into clean Markdown, page metadata and classified links for LLMs.

搜索播客、政府会议及自有音频中的语音：说话人、实体与时间戳。

Prompt-injection scanning and safe webpage fetching for AI agents reading untrusted content.

任意社交视频 URL → 转写、元数据、截帧、OCR、摘要、搜索、问答。MCP 服务器 + x402。

通过 ScrapeUnblocker 的反爬 API 获取任意网页的 HTML、AI 解析 JSON 或 Google 搜索结果。

Live UK marketplace product search with real prices and buy links.

Query public astronomy catalogs through metadata-first TAP and ADQL tools.

将 HTML 渲染为 PDF（html_to_pdf），并附带 boxpdf 库文档与模板，供 AI 智能体调用。

经 MCP 为 AI 智能体提供实时的 Google Maps 商户搜索、评论与照片数据。

Self-hosted retrieval router for AI agents: budgets, provider routing, route receipts.

以 MCP 工具形式提供网页搜索、抓取、带引用的 RAG 问答与翻译。

MCP server for AI agents to search major Chinese internet platforms with local-first login support.

一个 API 取遍社交、名录与房产等公开网页数据，输出干净的 JSON。

给 AI 代理一部电话：拨号、应对 IVR 语音菜单、持线等待并获得结构化答复。

Self-hosted web search for LLM agents: search -> fetch -> rank pipeline with semantic caching

Create sandboxed public-unlisted or access-key-protected HTML previews through a remote MCP server.

美股、ETF、加密货币 → 精简简报：形态、支撑/阻力、市场状态 + 与基线对比的基础概率。非投资建议。

将网页或 HTML 转换为整洁的、适配 LLM 的 Markdown 或 JSON。x402 按次付费，每次 0.005 美元，无需 API 密钥。

校验 Sogou Spider 的 IP 地址，远程 MCP 提供 validate_ip 工具。

校验 Baiduspider 的 IP 地址，远程 MCP 提供 validate_ip 工具。

Publish HTML, Markdown, PDF, or images as instant shareable links with expiry and passwords.

Publish AI-generated HTML to a live page on your own domain — from Claude, ChatGPT, or Cursor.

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

以授权用户身份在 PasteHTML 上发布、更新并整理 HTML 与 Markdown 代码片段。

Free technical-SEO audit MCP: crawl a site, run checks, return an LLM-ready shareable report.

技术 SEO 与 GEO（AI 搜索）站点审计：托管抓取、按优先级排序的修复项与报告对比。

Reddit MCP server: search posts, subreddit feeds, comments & user profiles as JSON. No API key.

为 AI 智能体提供会付费的 fetch 客户端：支出上限、审批与回执，采用非托管方式。

经由开放的 AT Protocol 批量抓取 Bluesky 资料及完整粉丝/关注列表导出，按记录付费。

追踪 Bluesky 上的品牌提及与关键词：情感倾向、互动量与作者触达，按结果付费。

基于 Common Crawl 开放网页图谱（44 亿条链接）提供外链查询与竞品差距分析。

通用网页抓取器，输出适配 LLM 的 Markdown，支持 RAG 分块与 PDF/DOCX 解析。

抓取 Shopify App Store 的应用、完整评论历史与全部目录，用于电商市场研究。

抓取 Bluesky 的帖子、资料、粉丝、话题串与关键词搜索，输出整洁 JSON，按结果付费。

俄罗斯 INN/OGRN、银行、地理与 WHOIS 查询，智能体通过 register_agent 自助注册，每日 20 次免费。

只读的 X/Twitter MCP：帖子、推文串、回复与搜索，基于 twscrape，无需 API key。

可验证抽取：从 PDF/URL 得到有来源支撑的 JSON；诚实空值 + 签名回执。

Htmlpdf Transform Mcp 通过 MCP 把 AI 智能体接入真实的公开 API。

为 LLM 智能体提供公开的 Spotify 元数据、歌词与播客信息，只读且无需 API 密钥。