2.7K+ Star！Crawl4AI：一个为大型语言模型（LLMs）和AI应用设计的网页爬虫和数据提取工具

Crawl4AI 简介

Crawl4AI[1] 是一个开源的、为大型语言模型（LLMs）和AI应用设计的网页爬虫和数据提取工具。

它简化了网页爬取和数据提取的过程，使其更加易于访问和使用。

项目特点

主要特点

• 完全免费且开源

• 支持LLM友好的输出格式（JSON、清洁的HTML、markdown）

• 支持同时爬取多个URL

• 提取并返回所有媒体标签（图片、音频和视频）

• 提取所有外部和内部链接

• 从页面提取元数据

• 自定义钩子用于认证、头部和爬取前的页面修改

• 用户代理自定义

• 截取页面屏幕截图

• 执行多个自定义JavaScript脚本

• 多种分块策略：基于主题、正则表达式、句子等

• 高级提取策略：余弦聚类、LLM等

• 支持CSS选择器

• 传递指令/关键词以优化提取

使用场景

Crawl4AI适用于需要从网页中快速提取大量数据的场景，如数据科学家、研究人员、开发者和AI应用开发者。

项目使用

快速开始

from crawl4ai import WebCrawler

# 创建W