搜索「Crawler」的结果

io.clawhub.capt-marbles/firecrawler

使用 Firecrawl API 抓取与爬取网页。以 markdown 获取页面内容、截图、抽取结构化数据、搜索网络、爬取文档站。当用户需要抓取某个 URL、获取网页最新信息、截取屏幕、从页面提取特定数据或爬取框架/库文档时使用。

小红书内容爬虫

v1.0.1

io.clawhub.djttt/xiaohongshu-crawler

小红书内容爬取工具，支持搜索笔记（需要登录）、获取笔记详情、用户信息、热门笔记等公开内容爬取功能。

io.github.imfurkana/unrendered-ai-crawler-checker

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

io.github.tidytools/tidytools-apify-tools

Enrich Google Maps leads, crawl docs to RAG Markdown, transcribe podcasts, check AI crawler access.

io.github.schemacrawler/schemacrawler-ai

支持用自然语言查询数据库模式——快速浏览表、键、存储过程并获取 SQL 帮助。

com.ranovam/flarum-scraper

搜索或监控任意 Flarum 论坛的讨论、回复、参与者。

io.github.newmediamadman/nm-signals

Audit webpage access for AI crawlers. API key and Premium or Partner plan required.

app.rowb.ai-visibility/audit

One-call audit: robots.txt AI-bot rules, llms.txt, JSON-LD, meta tags, sitemap. Score plus fixes.

com.lumnika/ai-crawler-readiness

Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

io.github.jmshinhwa/robots-txt-ai-crawler-audit

Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

dev.workers.pathwren.www/crawler-log-triage

对访问日志中的爬虫流量做归类与诊断，免费无需密钥（原文功能描述为未填写的占位符）。

dev.workers.pathwren.www/ai-crawler-index

查询与统计抓取本站的 AI 爬虫索引情况，免费无需密钥（原文功能描述为未填写的占位符）。

dev.workers.pathwren.www/crawler-ip-verifier

校验来访 IP 是真实的 Googlebot 等爬虫还是假冒者，免费无需密钥（原文功能描述为未填写的占位符）。

com.crimsoncrawler/mcp-server

通过 80 余个类型化 MCP 工具对威胁情报进行富化、检索、评估与管理。

com.actablesite/ai-crawler-robots-monitor

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

com.actablesite/readiness

检查 AI 爬虫的 robots.txt 策略，并监控公开站点的策略、sitemap 与 llms.txt 变化。

io.github.manchittlab/thecrawler

通用网页抓取器，输出适配 LLM 的 Markdown，支持 RAG 分块与 PDF/DOCX 解析。

io.github.shulex-voc/smart-crawler

电商竞品情报、VOC 情感分析、Amazon ASIN 分析与 Reddit 增长方案。

io.github.lazymac2x/ai-crawler-policy

部署在 Cloudflare Workers 上的 MCP 服务器：ai-crawler-policy。

io.github.houtini-ai/seo-crawler-mcp

使用 Crawlee 抓取并分析网站的 SEO 错误，结果存储于 SQLite。

io.github.opensanctions/opensanctions/refactor-crawler

将杂乱或 AI 生成的爬虫代码重写为符合 zavod 最佳实践的整洁、生产级代码。当用户要求清理、重构、整理爬虫代码、“达到生产可用”或对齐最佳实践时使用。

dev.oassis/scraper-crawler

Scrape to markdown, map and crawl sites, drive a real browser. Pay per call, no API key, no signup.

io.clawhub.lancelin111/crawl4ai-skill

Web crawling and scraping tool with LLM-optimized output. 网页爬虫爬取工具 | Web crawler, web scraper, spider.

io.clawhub.zxrys/arxiv-paper-reviews

与 arXiv Crawler API 交互，拉取论文、阅读评审、提交评论、检索论文并导入论文。在处理 arXiv 论文、抓取相关内容时使用（原文截断）。