搜索「Crawl」的结果

io.github.SanggonBoy/PyreCrawl

Web scraping + research toolkit for AI agents: scrape, crawl, monitor URLs with anti-bot bypass.

com.lumnika/ai-crawler-readiness

Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

io.github.jmshinhwa/robots-txt-ai-crawler-audit

Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

io.github.Ansarii/firecrawl-stealth-mcp

WAF-bypass web scraper and passive URL mapper for AI agents with zero pay-on-fail.

dev.workers.pathwren.www/crawler-log-triage

对访问日志中的爬虫流量做归类与诊断，免费无需密钥（原文功能描述为未填写的占位符）。

io.github.RidioDevelopment/socialcrawl

一个 API 覆盖 65 个平台、572 个端点：社交、电商、零售、招聘、金融与网页抓取。

dev.workers.pathwren.www/ai-crawler-index

查询与统计抓取本站的 AI 爬虫索引情况，免费无需密钥（原文功能描述为未填写的占位符）。

dev.workers.pathwren.www/crawler-ip-verifier

校验来访 IP 是真实的 Googlebot 等爬虫还是假冒者，免费无需密钥（原文功能描述为未填写的占位符）。

io.github.waiky-github/CrawlEyes

Web scraping & search for AI agents: extract, SearXNG search, rerank, robots compliance. No API key.

net.fastcrawl/fastcrawl

Cloud scraping & crawling API for AI agents. Turn any URL into clean, LLM-ready markdown.

io.github.taylorsmithgg/crawl-census

Ask before you fetch: will this domain serve your crawler, refuse it, or charge it?

io.github.amati032-dev/crawlbit

Four free tools to check if AI engines can find, read and recognise a site. No API key.

app.crawlio/crawlio-browser

把实时 Chrome 浏览器接入你的 Agent：150 个抓取、抽取与观测工具。

com.crimsoncrawler/mcp-server

通过 80 余个类型化 MCP 工具对威胁情报进行富化、检索、评估与管理。

com.crawlraven/mcp

读取你站点的 Search Console 表现、关键词机会与批注。

com.actablesite/ai-crawler-robots-monitor

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

com.actablesite/readiness

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

io.github.im-ff/crawlinx-mcp

Free technical-SEO audit MCP: crawl a site, run checks, return an LLM-ready shareable report.

app.crawlie/crawlie

技术 SEO 与 GEO（AI 搜索）站点审计：托管抓取、按优先级排序的修复项与报告对比。

io.github.pucilpet/crawlgraph-mcp

基于 Common Crawl 开放网页图谱（44 亿条链接）提供外链查询与竞品差距分析。

io.github.manchittlab/thecrawler

通用网页抓取器，输出适配 LLM 的 Markdown，支持 RAG 分块与 PDF/DOCX 解析。

io.github.kreuzberg-dev/kreuzcrawl

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

io.github.shulex-voc/smart-crawler

电商竞品情报、VOC 情感分析、Amazon ASIN 分析与 Reddit 增长方案。

ai.seocrawl/mcp

来自 SEOcrawl AI 的实时 Google Search Console 数据、关键词与页面分析、站点审计及 SEO 任务。