搜索「crawl scrape firecrawl fetch」的结果

io.clawhub.arthasking123/ai-data-scraper

自动化 Web 与 API 数据提取，附带清洗、格式化、调度、代理支持、重试、去重与实时监控。

Twitter/X 抓取（资料、推文与搜索）

io.smithery.axel-belfort.twitter-scraper

面向 AI 智能体的 Twitter/X 抓取 API。抓取公开资料（简介、数据、认证）、用户推文（文本、互动、媒体）与搜索结果——全部不需要 Twitter API key。输出结构化的 JSON，可直接分析。 工具：twitter_scrape_profile、twitter_search_tweets、twitter_get_user_tweets。 适合社媒监控、网红调研、情感分析、竞品情报，或搭建社交看板。是为 AI 智能体准备的社交情报层。重要：若要其他社交网络，请使用 social_lookup_profile。 返回含资料、推文与互动指标的结构化 JSON。无需 API key——在 Base L2 上以 x402 微支付，每次 0.005 美元。

io.clawhub.arulmozhiv/x-twitter-scraper

使用带反检测的浏览器自动化抓取 Twitter/X 公开主页与近期推文，并支持经 Google 或 DuckDuckGo 可选地发现目标账号。

io.clawhub.lucasye378/douyin-tiktok-trends

抓取并分析抖音/TikTok 上当下的热门话题、话题标签、音乐与创作者。

AgentScrape 按次网页抓取

io.smithery.hshintelligence.agentscrape

**面向 AI 智能体的按次付费网页抓取——无需注册、无需 API key，只用 USDC。** AgentScrape 是可用于生产的 MCP 服务器，为智能体提供 6 个付费工具，用于网页抓取、结构化抽取、截图与元数据——全部运行在 Cloudflare Workers，全部通过 x402 在 Base 上以 USDC 结算。 ## 工具 - **`scrape_webpage`**——按 markdown、html、text 或 json 抓取 - **`extract_structured_data`**——用自然语言提示加 JSON schema 做 AI 抽取 - **`screenshot_webpage`**——PNG 截图，视口可配置 - **`extract_metadata`**——OG、Twitter Card、JSON-LD - **`create_browser_session`**——为多步流程创建持久会话 - **`run_workflow`**——多步原子执行 ## 定价 Base 主网上每次调用 0.001–0.008 USDC。无订阅，无 API key，通过 x402 按请求付费。 **免费额度：**每个钱包每 30 天 10 次调用，无需注册。 ## 技术栈 Cloudflare Workers · Hono · `@x402/hono` v2 · MCP Streamable HTTP · xpay.sh facilitator · Browser Rendering MIT 许可。

ScrapeGraphAI 抓取

io.smithery.scrapegraphai-inc.sgai

ScrapeGraphAI MCP 服务器是一个可用于生产的 Model Context Protocol（MCP）服务器，把大语言模型（LLM）接到 ScrapeGraph AI API 上。让 Claude、Cursor 这类 AI 助手直接通过自然语言交互完成 AI 驱动的网页抓取、调研与爬取。

io.github.fetchsandbox/mcp

面向 agent 的确定性验证引擎：为修复提供证明——旧代码上失败、新代码上通过。

io.github.imfurkana/unrendered-ai-crawler-checker

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

com.meridianlabssoftware/eu-uk-tenders-scraper

Public tenders and contract awards from EU TED and UK Find a Tender, with buyer, value and deadline.

io.github.mysleekdesigns/crawlforge-mcp-server

网页抓取、遍历、深度调研与自主信息抽取，31 个 MCP 工具，输出干净的 Markdown/JSON。

dev.scrapewhale/scrapewhale

Web data for marketing agents: traffic, ads, social profiles, search, and any URL as markdown.

io.github.xberg-io/crawlberg

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

io.github.nolindnaidoo/scrape-le

Analyse robots.txt content and report whether a path may be crawled.

com.saastemly/crawl4agent

crawl4ai-compatible web crawler API: POST a URL.

io.github.saulius876-lgtm/telegram-channels

Public Telegram channel posts without login: text, views, reactions, media, exact subscribers.

io.github.saulius876-lgtm/trustpilot-reviews

Trustpilot reviews for any company domain: ratings, text, replies, and unanswered low-star reviews.

io.github.saulius876-lgtm/reddit-search

Search Reddit posts by keyword and subreddit; find recommendation requests and brand mentions.

io.github.saulius876-lgtm/naukri-jobs

Search Naukri.com jobs in India: titles, companies, salaries, skills, and which companies hire most.

io.github.tidytools/tidytools-apify-tools

Enrich Google Maps leads, crawl docs to RAG Markdown, transcribe podcasts, check AI crawler access.

io.github.firecrawl/firecrawl-mcp-server

Firecrawl 的 MCP server——网页搜索、网页抓取，以及生物医学/arXiv 论文检索。

io.github.maximilianfeix/proxy-scraper

Free proxies that actually work: verified HTTP/SOCKS proxies, and pages fetched through them

xyz.atlasfetch/atlasfetch

Reverse geocode a coordinate to country, region, municipality and street, plus your own geofences.

site.crawlwise/crawlwise

SEO audits and AI crawler checks. Honest findings only; no invented scores.

io.github.Mingye-Lu/acrawl

自主网页爬虫：17 个浏览器工具，外加目标驱动的 run_goal 智能体；单二进制、隐身模式。