网页抓取 MCP 推荐

SpiderIQ Mail：为 AI 代理提供 SpiderMail 邮箱、消息、会话、发送与撰写。

SpiderIQ Publish：内容平台 MCP（页面、文章、模板、组件、域名、媒体）。

面向 AI agent 的图原生持久记忆：33 个 MCP 工具，写入过程零 LLM 开销。

光标拖尾光迹、色散光线与方向耀光，用于视频片头的逐词文字揭示效果。

光标拖光 + 彩色像散射线 + 定向光斑, 适合视频片头逐字揭示金句

像素级 iPhone 15 Pro 边框, 一屏 app 截图

三个手机框并排: splash / value-prop / sign-in

Puppeteer

基于Puppeteer的网页自动化和数据抓取MCP工具

统一的多提供商网页搜索与 URL 抽取技能，可在 Serper、Brave、Tavily、Querit、Linkup、Exa、Firecrawl、Perple…… 之间智能自动路由（原文截断）。

Apify Actors MCP服务器，提供与各种Apify Actor的交互能力，包括网页抓取、数据提取、社交媒体监控等功能

ByteFun AI MCP服务 - 打通产品设计、UI设计、代码开发的服务平台，支持设计稿转代码和跨平台原生代码开发。提供两大核心功能模块：UI设计优化 - 将用户输入的需求转换为带有UI设计规范的静态HTML+CSS设计提示词，实现设计稿到代码的转换；代码开发优化 - 将用户输入的需求转换为带有完整开发规则的TypeScript代码开发提示词，支持跨平台原生开发。

Tavily AI 搜索平台，含 5 种模式：Search（网页/新闻/财经）、Extract（URL 内容）、Crawl（网站抓取）、Map（站点图发现）和 Research（带引用的深度研究）。用于：带 LLM 答案的网页搜索、内容提取、站点抓取、深度研究。

中文网页搜索 - 聚合 28 个免费搜索引擎，无需 API Key，纯网页抓取，支持公众号/财经/技术/学术/知识/美股/宏观/Pre-IPO搜索。

通过 browser-act 对网站做一次探索，即可锻造出可复用的 Skill 包（SKILL.md + 脚本），此后无需重复探索。

面向智能体的网页搜索与检索：实时网页搜索、新闻搜索、文档查询、代码查询、公司调研、站点抓取。

宝玉分享的 Claude Code 技能集，包含多个内容生成和处理子技能。

当用户要求“检查技术 SEO”时使用；审计可抓取性、索引、Core Web Vitals、robots.txt、站点地图、规范链接。

MinerU 文档抽取——将 PDF、扫描文档、图片、Word（DOC/DOCX）、PowerPoint（PPT/PPTX）。

通过抓取 Google 地图、网站、Instagram、TikTok、Facebook、LinkedIn、YouTube 与 Google 搜索生成 B2B/B2C 销售线索。当用户要求找线索、找潜在客户、找商家、构建线索名单、富化联系人信息或为销售外联抓取资料时使用。

通过 REST API 运行与管理 Apify Actor，用于抓取网页、爬取页面、提取数据，并从 Apify 数据集与键值存储中取回结果。

通过 Browser Use API 实现云端浏览器自动化。当需要 AI 驱动的网页浏览、抓取、填表或无需本地浏览器控制的多步网页任务时使用。触发条件：“browser use”“云端浏览器”“抓取网站”“自动化网页任务”，或本地浏览器不可用/不适合时。

抓取博客或随笔站点，并整理为适合 Kindle 阅读的 EPUB，附带 AI 生成的封面。适用于把博客下载到 Kindle、将随笔合辑成电子书，或把博客归档发送到 Kindle 等请求。支持 Paul Graham、Kevin Kelly、Derek Sivers、Wait But Why、Astral Codex Ten 以及自定义站点。

首选浏览器——供 AI 智能体在网页上完成任意任务的浏览器。当你需要浏览网站、填写表单、抽取网页数据、测试 Web 应用或自动化浏览器工作流时使用。触发语包括“填写表单”“抓取”“自动化”“测试这个网站”“登录”，或任何浏览器交互请求。

通过 OpenGraph.io 提取网页数据、截图、抓取内容并生成 AI 图片：URL 展开/预览/元数据、网页截图、HTML 抓取、对网页提问及生成图片（图表、图标、社交卡片、二维码）。触发语：get the OG tags、screenshot this page、scrape this URL、generate a diagram 等。

从 Notion、DocSend、PDF 及其他来源抓取文档并保存为本地 PDF 文件。当用户需要下载、归档或将网页文档转换为 PDF 格式时使用。支持受保护文档的认证流程，并可通过 profile 持久化会话。返回已下载 PDF 的本地文件路径。

学术论文检索

从 arXiv、PubMed、bioRxiv、medRxiv、Google Scholar、Semantic Scholar 和 IACR 搜索并下载学术论文。抓取 PDF 并提取全文，加速文献综述。返回一致的元数据，便于筛选、引用与分析。

抓取并阅读 YouTube 视频字幕。在需要总结视频、回答视频内容问题或从中提取信息时使用。

抓取并总结 YouTube 视频字幕稿。当被要求总结、转写或提取 YouTube 视频内容时使用。借助住宅 IP 代理获取字幕，绕过 YouTube 对云服务器 IP 的封禁。

使用 Scrapling 抓取网页，具备反机器人绕过（如 Cloudflare Turnstile）、隐身无头浏览、爬虫框架、自适应抓取和 JavaScript 渲染。在需要抓取、爬取或从网站提取数据、web_fetch 失败、站点有反爬保护、编写 Python…时使用。

通过 Tushare API 获取中国股票和期货市场数据。支持股票行情、期货数据、公司基本面和宏观经济指标。在需要…时使用。

Keenable 网页搜索

Keenable 是免费的远程 MCP 服务器，为智能体开放网页索引访问：搜索网页并返回排序结果，支持按日期与站点筛选，还可把已收录页面抓取为干净的 Markdown；开箱即用，无需账号或 API key。工具：search_web_pages（搜索网页并返回排序结果）、fetch_page_content（抓取已收录 URL 并提取干净的 Markdown 正文）。文档：https://docs.keenable.ai/mcp-server

从飞书（Lark）Wiki、文档、表格和多维表格抓取内容。自动将 Wiki URL 解析为真实实体，并把内容转换为 Markdown。

新闻聚合（AP、BBC、NPR、HN、Google News）

一个 MCP 接口背后接入 5 个独立新闻源（AP、BBC、NPR、Hacker News、Google News）。就同一主题抓取全部来源的头条、按 URL 去重，并把被忽略的报道角度呈现出来。适合每日简报、研究型智能体和舆情转向检测。

romulus-31780

ROMulus is a retro gaming ROM search engine that aggregates results from four major sites. Search by game title and console to get download page URLs, cover images, and file sizes... all in one all. Tools: • search_roms — Find ROMs by title, optionally filtered by console (NES, SNES, N64, GameCube, PS1, PS2, PSP, GBA, Genesis, Dreamcast, and 20+ more) • get_game_details — Fetch full metadata for a game: year, region, genre, languages, rating, serial number, and description • list_systems — List all 28 supported consoles No API key required.

抓取 GitHub issues，派生子代理实施修复并开 PR，随后监控并回应 PR 审查评论。

通过 RSS 源获取并展示 BBC 各版块与地区的新闻。当用户询问 BBC 新闻、英国头条、来自 BBC 的世界新闻，或特定版块（科技、商业、政治、科学、健康、娱乐、英国地区新闻或世界地区）的新闻时使用。

每日从百度、Google 等来源抓取头条新闻。

按日、周、月拉取 GitHub 热门仓库，输出 Markdown 或 JSON 格式。

获取并阅读 YouTube 与 Bilibili 视频的字幕。当你需要总结视频、回答关于视频内容的问题或提取信息……时使用。

基于 feed CLI 的智能体 RSS 摘要。抓取、分诊并总结 RSS 源，筛出高信号内容。

从 RescueTime 获取生产力数据。当用户询问屏幕时间、生产力评分、应用使用情况、时间跟踪、一天/一周的时间分配，或想要电脑活动报告时使用。需在 TOOLS.md 中配置 API key 或直接传入。

浏览并搜索 Hacker News。获取热门、最新、最佳、Ask HN、Show HN 故事与职位。查看条目详情、评论与用户资料。通过 Algolia 搜索故事和评论，查找“Who is hiring?”线程。适用于任何 HN 相关查询，如“HN 上什么在流行”“在 HN 搜索 AI”“查看故事 X 的评论”“谁在招聘”“最新 Ask HN 帖子”。

通过 mootdx/TDX 协议获取中国 A 股行情数据（K 线、实时报价、逐笔成交）。适用于处理中国股票数据、mootdx 库、TDX 行情、盘中分钟线、分时成交历史或实时 A 股行情数据的场景。

从 XE.com 获取任意货币对的实时汇率。

获取今日头条热搜新闻，含标题、热度分、链接、封面、标签与跨主题的分类标签，全中文呈现。

抓取数独题目并以 JSON 存入工作区；按需渲染题面图片；稍后揭晓答案。

通过 Apify API 获取 YouTube 视频转录，可在云端 IP（Hetzner、AWS 等）环境下绕过 YouTube 的反爬检测；支持本地缓存（重复请求免费）与批量模式。需要 APIFY_API_TOKEN 与 Python requests 库。

生成专业的 Python 脚本和应用模板，支持 CLI 工具、Flask API、FastAPI、Django Command、Scraper 等，一键生成完整项目代码。