Reach120 writing practice
v0.1.0
Fetch English writing practice prompts and score a written response. Bring your own API key.
使用场景/网页抓取与采集
从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。
共匹配 1,401 个资源 · 第 12 / 30 页
网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。
典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。
合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。
v0.1.0
Fetch English writing practice prompts and score a written response. Bring your own API key.
v1.0.0
获取实时 Google 搜索结果,含标题与链接,适合用作 SERP API。
v0.1.0
Fetch URLs and return clean Markdown for RAG — nav, ads and boilerplate stripped.
v0.2.0
为 AI 代理抓取、爬取并检索网页,通过 MCP 提供。
v0.9.1
使用 Oxylabs Web Scraper API 抓取并处理指定 URL 与来源的内容。
v3.1.0
按指定账号抓取近期公开的 X/Twitter 帖子,用于监控、对比、OSINT 与研究。
v1.0.0
获取真实的加州 Notary Public 考试练习题,并在对话中为答案评分。
v0.1.3
Fetch, parse, screenshot and browse pages via MCP without a real browser -- no JS execution.
v1.0.0
抓取 Stack Overflow 的问题、回答、标签、得分与采纳状态,按行付费。
v1.0.0
抓取 Shopify 店铺的商品、变体、价格与应用商店条目,按行付费。
v1.0.0
按公司、表格类型、日期或全文检索抓取 SEC EDGAR 公告文件,按行付费。
v1.0.0
按作者、主题、期刊或 DOI 抓取 arXiv、OpenAlex 与 Crossref 的论文,按行付费。
v1.0.0
抓取 openFDA 的药物召回、执法报告、标签与不良事件,按行付费。
v1.0.0
抓取 npm 包元数据、版本、下载量、依赖与维护者,按行付费。
v1.0.0
抓取整个 Fediverse 的 Mastodon 帖子、用户资料、话题标签与实例时间线,按行付费。
v1.0.0
从 Greenhouse、Workable、Reed、RemoteOK 等招聘板抓取职位列表,按行付费。
v1.0.0
抓取 GitHub 仓库元数据、star、fork、话题、许可证与活动情况,按行付费。
v1.0.0
按机构或日期抓取 Federal Register 的规则、拟议规则、公告与行政令,按行付费。
v1.0.0
抓取 Docker Hub 的容器镜像、标签、拉取量与发布者元数据,按行付费。
v1.0.0
抓取 Discogs 的唱片发行、艺人、厂牌、介质格式与目录编号,按行付费。
v1.0.0
抓取 CoinGecko 的币种价格、市值、成交量与交易所上线情况,按行付费。
v1.0.0
按病症、申办方、试验分期、状态或地点抓取 ClinicalTrials.gov 研究记录,按行付费。
v1.0.0
抓取 Open Library 的图书版本、作者、主题与标识符,按行付费。
v1.0.0
按应用、国家、评分或日期抓取 App Store 评论与评分历史,按行付费。
v2.1.0
抓取、爬行、梳理并抽取网页;按次以 USDC 计费,无需账号或 API 密钥。
v1.0.2
通过 get_transcript 与 get_bulk_transcripts 单个或批量获取 YouTube 视频字幕文稿。
v1.0.0
Baidu search results and Chinese SERP data via the Apify Baidu Search Scraper, hosted MCP.
v1.0.0
Yandex search results, images, and SERP data via the Apify Yandex Search Scraper, hosted MCP.
v1.0.0
Google Jobs listings with direct apply links via the Apify Google Jobs Scraper, hosted MCP.
v0.1.2
Backlinks, Domain Rating & expired-domain drops via seo-backlinks.net (Common Crawl)
v1.0.0
Scrape and analyze public LinkedIn posts as structured JSON via the Apify LinkedIn Posts API.
v0.4.0
以 MCP 工具形式获取你的 Trackman 高尔夫统计(差点、轮次、击球、球杆间距)。
v1.0.0
按 N-number 注册号抓取 FAA 航空器登记库——飞机制造商、型号、年份、所有者姓名、地址。
v1.0.0
抓取、爬取、映射并搜索网页——开源、可自托管的 Rust 爬虫与搜索引擎,面向 AI 智能体。
v0.1.0
在任意 MCP 客户端中抓取并阅读 RSS/Atom 订阅源。
v2.0.0
抓取 TikTok、Instagram、YouTube、X、LinkedIn、Reddit 及广告库的社交数据。
v2.2.3
使用 ADIOS2 获取并分析 BP5 数据文件,访问科学数据。
v0.1.2
面向 AI 智能体的 MCP 网页搜索+分级网页抓取(Exa、Firecrawl),带 SSRF 防护,跨平台。
v1.0.0
面向 AI agent 的 Discord 频道操作:抓取、搜索、提及与发帖,4 个工具。
v1.1.0
按合约地址+tokenId 获取 NFT 元数据——名称、图片、属性。支持 x402 微支付。
v1.0.0
SEO MCP 服务器——反链、域名权重、技术栈识别,基于 Common Crawl 的 18 个以上工具。
v1.0.2
抓取 Google 搜索结果,获取 SERP 数据、广告与知识面板
v1.0.1
抓取网页、处理 JavaScript 与验证码,提取结构化数据
v1.0.0
35 多个网页抓取工具,接入 Firecrawl、Bright Data、Jina、Olostep、ScrapeGraph、Notte 与 Riveter。
v1.0.0
40 多个竞品情报工具,接入 Brand.dev、Coresignal、Keywords Everywhere、Exa 与 Firecrawl。
v0.7.3
面向 AI 智能体的结构化网页情报,比 Playwright/Firecrawl 少用 5 倍 token,准确率 84.7%。
v0.3.0
把任意网页抓取为整洁、适合 AI 使用的 markdown,并在必要时智能地从 HTTP 升级到浏览器渲染。
v1.0.3
不浪费 token 的 Twitter/X 分析:抓取推文、下载媒体,无需 API 密钥。
静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。
托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。
常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。