搜索「Crawl」的结果

Firecrawl

io.mcp-cn.firecrawl-mcp

基于Firecrawl的智能网页爬取和内容提取MCP工具

io.clawhub.ashwingupy/firecrawl-search

通过 Firecrawl API 进行网页搜索与抓取。适用于搜索网页、抓取网站（含 JS 重度页面）、爬取整站或从页面提取结构化数据。需要 FIRECRAWL_API_KEY 环境变量。

io.clawhub.lancelin111/crawl4ai-skill

Web crawling and scraping tool with LLM-optimized output. 网页爬虫爬取工具 | Web crawler, web scraper, spider.

io.clawhub.romneyda/tiktok-crawling

用于 TikTok 的抓取、内容获取与分析

io.clawhub.codylrn804/crawl4ai

AI 驱动的网页抓取框架，用于从网站提取结构化数据。当 Codex 需要抓取、爬取或使用 AI 解析从网页提取数据、处理动态内容或应对复杂 HTML 结构时使用。

io.clawhub.capt-marbles/firecrawler

使用 Firecrawl API 抓取与爬取网页。以 markdown 获取页面内容、截图、抽取结构化数据、搜索网络、爬取文档站。当用户需要抓取某个 URL、获取网页最新信息、截取屏幕、从页面提取特定数据或爬取框架/库文档时使用。

小红书内容爬虫

v1.0.1

io.clawhub.djttt/xiaohongshu-crawler

小红书内容爬取工具，支持搜索笔记（需要登录）、获取笔记详情、用户信息、热门笔记等公开内容爬取功能。

io.clawhub.angusthefuzz/crawl-for-ai

基于本地 Crawl4AI 实例的完整网页抓取，支持 JavaScript 渲染，输出干净的 Markdown 或含链接与媒体的详细 JSON。

io.clawhub.techlaai/anycrawl

通过 AnyCrawl API 执行高性能网页抓取、爬虫与 Google 搜索，支持多引擎与结构化数据提取。

io.clawhub.byungkyu/firecrawl-api

Firecrawl API 集成，托管鉴权。抓取、爬取、映射与搜索网页内容。当用户想从网站提取内容、爬取整站、映射 URL 或搜索网页时使用本技能。其他第三方应用请使用 api-gateway 技能（https://clawhub.ai/byungkyu/api-gateway）。调用经由带 OAuth 登录的 maton CLI 执行；无法安装 CLI 时通过原始 HTTP 加 Maton API key 调用。每次调用都以用户连接身份鉴权，只能访问该连接授权范围内的数据（由服务商在每次请求时强制执行）；本文档所列端点即本技能使用的端点，其他端点需用户点名要求方可使用。默认进行读取和列表操作，每次写操作或新建连接均需与用户确认。

io.clawhub.yash-kavaiya/firecrawl-cli

通过 Firecrawl CLI（firecrawl）进行网页抓取、爬取、搜索与浏览器自动化。适用于把 URL 抓取为 markdown/HTML、爬取整站... 等场景。

io.clawhub.wykings/xcrawl

将此技能作为直接 XCrawl 请求的默认入口，包括单 URL 抓取、格式选择、同步或异步执行、JSON... 处理。

io.github.imfurkana/unrendered-ai-crawler-checker

AI crawler checker: shows which page content GPTBot and ClaudeBot can't read without JavaScript.

io.github.mysleekdesigns/crawlforge-mcp-server

网页抓取、遍历、深度调研与自主信息抽取，31 个 MCP 工具，输出干净的 Markdown/JSON。

io.github.xberg-io/crawlberg

通过本地 CLI 抓取、爬取并映射网站，输出 Markdown 或 JSON。

com.saastemly/crawl4agent

crawl4ai-compatible web crawler API: POST a URL.

io.github.tidytools/tidytools-apify-tools

Enrich Google Maps leads, crawl docs to RAG Markdown, transcribe podcasts, check AI crawler access.

io.github.firecrawl/firecrawl-mcp-server

Firecrawl 的 MCP server——网页搜索、网页抓取，以及生物医学/arXiv 论文检索。

site.crawlwise/crawlwise

SEO audits and AI crawler checks. Honest findings only; no invented scores.

io.github.Mingye-Lu/acrawl

自主网页爬虫：17 个浏览器工具，外加目标驱动的 run_goal 智能体；单二进制、隐身模式。

io.github.Grubbomatic/crawl-readiness

Audit any site for 50+ AI crawlers, generate llms.txt, robots.txt and schema, track AI mentions.

io.github.schemacrawler/schemacrawler-ai

支持用自然语言查询数据库模式——快速浏览表、键、存储过程并获取 SQL 帮助。

dev.oassis/scraper-crawler

Scrape to markdown, map and crawl sites, drive a real browser. Pay per call, no API key, no signup.

net.crawlora/crawlora-mcp

托管 MCP：1873 个结构化网页数据工具，覆盖搜索、地图、电商、社交、游戏与金融。