GitHub Trending | Crawl4AI：为 AI 而生的开源爬虫，轻松产出结构�?Markdown

🔍 什么是 Crawl4AI�?

Crawl4AI 是一个开源的、面�?LLM 和数据流水线的智能爬虫工具，它在 GitHub 上火速升温，目前是开源界非常流行的项目之一

�?�?高效抓取网页，适配动态加载与复杂结构
�?�?自动生成 Markdown 格式内容，友好支�?RAG 流程
�?�?支持深度爬取、提取策略、代理、多页面处理等全链路能力

�?核心亮点速览

特�?
说明
✍️ Markdown 输出
默认生成 result.markdown 和 fit_markdown，便于模型训练或文档整合�?[Crawl4AI Documentation][3])
🧠 CSS/XPath/LLM 提取
可用 CSS/XPath 规则，也可用 LLM 帮你自动提取数据结构�?[DICloak][2], [apidog][4])
🌐 浏览器控制能�?
通过 Playwright 完成模拟登录、session 管理、弹窗处理、代理设置等任务�?[Crawl4AI Documentation][5], [GitHub][1])
🤖 自适应爬虫策略
支持 BFS、DFS、BestFirst 等不同的网页探索策略，还能判断信息饱和自动停止爬取�?[ScrapingBee][6], [apidog][4])
�?高并发与性能优化
异步架构 + 分块提取 + proxy rotation，实现大规模爬取效率高、稳定�?[GitHub][1], [GitHub][7])

🚀 快速使用指�?

安装方式

pip install -U crawl4ai crawl4ai-setup crawl4ai-doctor无需 API Key 即可开始使用（如需 LLM 提取功能，建议配�?OpenAI �?Ollama Key�?[GitHub][1], [milvus.io][8])�?

第一个爬虫脚�?

`import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url=”https://example.com“)
print(result.markdown[:300])

if name == “main“:
asyncio.run(main())`这段代码将自动输出网页内容的 Markdown 格式，非常适合快速把页面内容转成结构化文本�?[DICloak][2])

使用 CSS 规则提取结构化数�?

from crawl4ai import JsonCssExtractionStrategy, AsyncWebCrawler async def main(): schema = { "baseSelector": "div.item", "fields": [{"name":"title","selector":"h2","type":"text"}]} async with AsyncWebCrawler(config={"extraction_strategy": JsonCssExtractionStrategy(schema)}) as crawler: result = await crawler.arun(url="https://example.com") print(result.extracted_content) asyncio.run(main())快速输�?JSON 格式数据，适合批量提取结构化列表信息�?[ScrapingBee][6], [Crawl4AI Documentation][3])