crawling

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

Scrapy：Python 快速高级网页爬取与抓取框架

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

用于网络爬虫与数据处理的库、工具及API列表。

构建无懈可击爬虫的全能框架

获取域名列表，爬取网址并扫描端点、密钥、API密钥、文件扩展名、令牌等

Crawly，一个用于 Elixir 的高层级网络爬取与抓取框架。