Apify 全能抓取器
v1.0.1
面向任意平台的通用 AI 网页抓取器。可从 Instagram、Facebook、TikTok、YouTube、Google Maps、Google 搜索、Google Trends、Booking.com 与 TripAdvisor 抓取数据。适合线索获取、品牌监控、竞品分析、达人发现、趋势研究、内容分析与受众分析或任何数据抽取任务。
使用场景/网页抓取与采集
从网页提取结构化内容、爬取文档、监控变更。适合调研、内容聚合、知识库构建。
共匹配 2,021 个资源 · 第 2 / 43 页
网页抓取类 MCP Server 把互联网内容变成 AI 可直接消费的结构化文本:Firecrawl 类服务负责整站爬取与 Markdown 转换,Fetch 类服务负责单页拉取与重定向处理。相比浏览器自动化,它们不渲染交互、速度快、token 消耗低,是构建 RAG 语料与知识库的首选采集层。
典型工作流:用 Firecrawl MCP 批量爬取文档站 → 清洗为 Markdown → 送入向量库(如 Qdrant / Chroma MCP)→ 再用检索 MCP 让 AI 基于自有语料回答。AgentHub 上每个抓取类资源都附带安装命令与客户端配置,可直接复制到 Cursor 或 Claude Code。
合规边界:只抓取公开页面,遵守目标站点 robots.txt 与服务条款;控制并发与频率,避免给对方服务造成压力;需要登录才能访问的内容不要自动化批量拉取。
v1.0.1
面向任意平台的通用 AI 网页抓取器。可从 Instagram、Facebook、TikTok、YouTube、Google Maps、Google 搜索、Google Trends、Booking.com 与 TripAdvisor 抓取数据。适合线索获取、品牌监控、竞品分析、达人发现、趋势研究、内容分析与受众分析或任何数据抽取任务。
面向 AI 智能体的 Markdown 转 HTML API。将 Markdown 转换为干净的 HTML,支持标题、列表、代码块、表格、链接与图片,可选包裹为含 DOCTYPE 的完整文档。工具:text_convert_markdown_to_html。适用于在 Web UI、邮件模板或文档生成中渲染 Markdown 内容。注意:需要带 CSS 主题的样式化 HTML 请用 text_render_markdown。返回:{html, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.001/次。
v1.0.0
从任意网页提取结构化数据,支持 CSS 选择器、表格与列表自动识别、JSON/CSV 输出格式,适用于网页抓取与数据抽取任务。
v1.0.0
根据 DOI 从 Sci-Hub 抓取学术论文,自动下载 PDF 并以规范文件名保存到 research/papers/。当用户提供 DOI 或请求获取 PubMed 论文时使用。
v1.8.14
用于抓取AI领域最新研究信息的技能,重点关注AI产品发展。从知名AI网站获取信息,提供简洁概括和链接,限制数据量以便快速阅读。
v1.0.0
通过 Context7 API 获取最新库文档。应主动用于:(1) 使用任何外部库(React、Next.js、Supabase 等);(2) 用户询问库 API、模式或最佳实践;(3) 实现依赖第三方包的功能;(4) 调试库相关问题;(5) 需要超出训练数据截止时间的最新文档。永远优先于猜测库 API 或使用过时知识。
v1.0.0
将此技能作为直接 XCrawl 请求的默认入口,包括单 URL 抓取、格式选择、同步或异步执行、JSON... 处理。
v1.0.0
自动化 Web 与 API 数据提取,附带清洗、格式化、调度、代理支持、重试、去重与实时监控。
面向 AI 智能体的 Twitter/X 抓取 API。抓取公开资料(简介、数据、认证)、用户推文(文本、互动、媒体)与搜索结果——全部不需要 Twitter API key。输出结构化的 JSON,可直接分析。 工具:twitter_scrape_profile、twitter_search_tweets、twitter_get_user_tweets。 适合社媒监控、网红调研、情感分析、竞品情报,或搭建社交看板。是为 AI 智能体准备的社交情报层。重要:若要其他社交网络,请使用 social_lookup_profile。 返回含资料、推文与互动指标的结构化 JSON。无需 API key——在 Base L2 上以 x402 微支付,每次 0.005 美元。
v0.1.1
使用带反检测的浏览器自动化抓取 Twitter/X 公开主页与近期推文,并支持经 Google 或 DuckDuckGo 可选地发现目标账号。
面向 AI 智能体的 Markdown 渲染 API。把 Markdown 转换为带 CSS 主题(浅色、深色与 GitHub 风格)的完整样式化 HTML,输出排版自适应、可直接嵌入的文档。工具:text_render_markdown。适用于把 Markdown 转成美观的 HTML:报告、文档、博客文章。注意:只需基础 Markdown 转 HTML(更便宜)请用 text_convert_markdown_to_html。返回:{html, theme, wordCount}。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.002/次。
v1.0.0
抓取并分析抖音/TikTok 上当下的热门话题、话题标签、音乐与创作者。
面向 AI 智能体的 PDF 文档生成 API。由 HTML 或 Markdown 生成 PDF:可自定义页面尺寸(A4、Letter)、页边距、页眉与页脚,适合报告、发票、合同与文档。工具:document_generate_pdf。用于生成专业文档、报告或发票。注意:把现有网页存为 PDF 请改用 webpage_to_pdf。返回 base64 编码的 PDF 文档。无需 API 密钥——在 Base L2 上以 x402 微支付 $0.008/次。
**面向 AI 智能体的按次付费网页抓取——无需注册、无需 API key,只用 USDC。** AgentScrape 是可用于生产的 MCP 服务器,为智能体提供 6 个付费工具,用于网页抓取、结构化抽取、截图与元数据——全部运行在 Cloudflare Workers,全部通过 x402 在 Base 上以 USDC 结算。 ## 工具 - **`scrape_webpage`**——按 markdown、html、text 或 json 抓取 - **`extract_structured_data`**——用自然语言提示加 JSON schema 做 AI 抽取 - **`screenshot_webpage`**——PNG 截图,视口可配置 - **`extract_metadata`**——OG、Twitter Card、JSON-LD - **`create_browser_session`**——为多步流程创建持久会话 - **`run_workflow`**——多步原子执行 ## 定价 Base 主网上每次调用 0.001–0.008 USDC。无订阅,无 API key,通过 x402 按请求付费。 **免费额度:**每个钱包每 30 天 10 次调用,无需注册。 ## 技术栈 Cloudflare Workers · Hono · `@x402/hono` v2 · MCP Streamable HTTP · xpay.sh facilitator · Browser Rendering MIT 许可。
ScrapeGraphAI MCP 服务器是一个可用于生产的 Model Context Protocol(MCP)服务器,把大语言模型(LLM)接到 ScrapeGraph AI API 上。让 Claude、Cursor 这类 AI 助手直接通过自然语言交互完成 AI 驱动的网页抓取、调研与爬取。
v0.7.4
A polite crawler for agents: obeys robots.txt, fetches each page once, finds and verifies quotes.
v1.0.0
Live public data from Instagram, YouTube and TikTok: profiles, posts, comments, transcripts, search.
v0.7.32
面向 agent 的确定性验证引擎:为修复提供证明——旧代码上失败、新代码上通过。
v2.1.1
Free local crawler: any site, JavaScript pages and linked PDFs, into clean text.
v0.1.92
Static and dynamic call tracing MCP server backed by a SQLite property graph of your codebase
v0.1.0
Search shared agent history and workspace sources, read evidence, and coordinate on an agent board.
v0.44.3
Open-source web scraper for AI agents with scrape, crawl, and map tools
v1.4.8
Scrape, map, crawl, search and monitor the web. Runs locally with no API key, cites every source.
v1.0.2
Top Amazon reviews and rating summary by ASIN on 8 marketplaces outside the US
v1.0.0
Share a page or site as a review link, then read, reply to and resolve the comments people leave.
v1.0.0
Vidvett: bulk YouTube video details and statistics for links and playlists, with growth deltas (offi
v1.0.0
Vidtrawl: YouTube keyword search and trending videos with views, likes, comments and duration (offic
v1.0.0
Chanroll: every video of a YouTube channel with views, likes, comments and duration (official YouTub
v0.4.4
无头模式运行 Screaming Frog SEO Spider:通过 CLI 执行抓取、导出并筛选数据,无需 GUI。
v0.1.2
European data tools for agents: flight, hotel, power prices, marketplaces, companies, open data.
v1.10.2
Retrieve or render public pages with ScrapeNinja, using explicit marketplace charge confirmation.
v1.10.2
Check ScrapeOwl usage and retrieve, extract or render public pages with confirmed credit usage.
v1.0.1
Which tool or official API gets data from a website: ranked routes, prices and output fields.
v1.2.2
Verification layer for the agentic web: a signed answer about any site before an agent acts.
v1.0.0
SEO and AI visibility: site audits, Search Console, Analytics, Bing, rank and ChatGPT tracking.
v0.1.5
Jobs from public Greenhouse, Lever, Ashby and Workable boards; type company names; newOnly alerts.
v0.1.8
Every receipt wefetch issues. Anyone can verify one.
v1.7.0-fbw01
gtinfetch — the GTIN resolver for AI agents. Any barcode, one call. 84M GTINs. x402 at the door.
v0.1.6
When a shopper asks ChatGPT, Claude, Gemini or Grok for a product, is yours in the answer?
v0.1.5
Did your AI pick the right product?
v0.1.8
Words in. Barcode out. With how sure.
v0.10.0
Scrape, crawl and monitor public pages as Markdown, with house-price and news data tools.
v1.6.15
Instagram Scraper No Login - Bio Emails + 25 Fields | Bulk
v1.0.14
Facebook/Meta Ads Library Scraper - Winning Ads
v1.0.12
Google Trends Scraper API: Interest and Trending Now
v1.0.10
Telegram Channel Scraper - No Login, $0.30 per 1K Posts
v0.1.2
Convert Markdown to safe HTML.
v0.1.2
Contact details scraper: company emails, phones, socials per website. Runs on Apify.
静态或服务端渲染的页面、整站文档爬取用抓取类(Firecrawl/Fetch);需要点击、滚动、登录交互或抓渲染后截图,用浏览器自动化(Playwright MCP)。
托管版需要;也可以自部署开源版,或用免费的 Fetch MCP 做单页抓取。资源详情页会标注分发方式与所需环境变量。
常见做法是 Markdown 清洗后写入向量库 MCP(Qdrant、Chroma、pgvector 等),再配合检索 Skill 或 Context7 类知识库 MCP 完成问答。