搜索「Crawl」的结果

Firecrawl

io.mcp-cn.firecrawl-mcp

基于Firecrawl的智能网页爬取和内容提取MCP工具

io.github.imfurkana/unrendered-ai-crawler-checker

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

io.github.mysleekdesigns/crawlforge-mcp-server

网页抓取、遍历、深度调研与自主信息抽取，31 个 MCP 工具，输出干净的 Markdown/JSON。

io.github.xberg-io/crawlberg

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

io.github.firecrawl/firecrawl-mcp-server

Firecrawl 的 MCP server——网页搜索、网页抓取，以及生物医学/arXiv 论文检索。

io.github.Mingye-Lu/acrawl

自主网页爬虫：17 个浏览器工具，外加目标驱动的 run_goal 智能体；单二进制、隐身模式。

io.github.Grubbomatic/crawl-readiness

Audit any site for 50+ AI crawlers, generate llms.txt, robots.txt and schema, track AI mentions.

io.github.schemacrawler/schemacrawler-ai

支持用自然语言查询数据库模式——快速浏览表、键、存储过程并获取 SQL 帮助。

io.github.nickjlamb/pubcrawl

PubMed 与 Europe PMC 文献检索、美英药品说明书查询与临床试验检索，供 AI 助手使用。

io.github.mrfentmen/commoncrawl-mcp

Use this MCP server to Common Crawl index discovery for historical web captures.

io.github.SanggonBoy/PyreCrawl

Web scraping + research toolkit for AI agents: scrape, crawl, monitor URLs with anti-bot bypass.

io.github.jmshinhwa/robots-txt-ai-crawler-audit

Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

io.github.RidioDevelopment/socialcrawl

一个 API 覆盖 65 个平台、572 个端点：社交、电商、零售、招聘、金融与网页抓取。

io.github.waiky-github/CrawlEyes

Web scraping & search for AI agents: extract, SearXNG search, rerank, robots compliance. No API key.

io.github.amati032-dev/crawlbit

Four free tools to check if AI engines can find, read and recognise a site. No API key.

app.crawlio/crawlio-browser

把实时 Chrome 浏览器接入你的 Agent：150 个抓取、抽取与观测工具。

io.github.pucilpet/crawlgraph-mcp

基于 Common Crawl 开放网页图谱（44 亿条链接）提供外链查询与竞品差距分析。

io.github.manchittlab/thecrawler

通用网页抓取器，输出适配 LLM 的 Markdown，支持 RAG 分块与 PDF/DOCX 解析。

io.github.kreuzberg-dev/kreuzcrawl

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

com.mcparmory/firecrawl

大规模抓取、爬取网页并提取结构化数据

io.github.superaihuman/evocrawl-mcp

Evocrawl 的 MCP 服务器——搜索、抓取并与网页交互。

io.github.houtini-ai/seo-crawler-mcp

使用 Crawlee 抓取并分析网站的 SEO 错误，结果存储于 SQLite。

io.github.crawlbrulee/mcp

EU-native web scraping for AI agents. scrape pages, map sites, run background jobs, check usage.

io.github.Sriram-PR/doc-scraper

Crawl documentation sites into local corpora agents can search, read, and diff fully offline.