超级会员免费看
本文介绍了Python爬虫的基础知识，包括正则表达式、BFS和DFS网页遍历策略、字符编码，以及为什么选择Scrapy框架。强调了Python基础和Web基础的重要性，并对爬虫的作用、去重策略进行了讲解。
简介
- 这几篇博客是一个系列，最终目标是能独立编写爬虫项目
- 技术点包括反爬处理手段、正则表达式使用、抓包技术、模拟请求等，熟练掌握urllib模块，最终还要学习Scrapy框架
- 当然，也可能会结合其他模块，提升效率必须要有模块化的思想
- 如果你是小白，想快速感受一下爬虫到底要怎么做，可以看我的github博客
Python基础
- 这里要用到的Python基础包括
- 基础语法
- 函数及模块
- 文件操作
- 异常处理
- 面向对象编程
- 在我的Python基础专栏有详细介绍，这里就不赘述，但这些东西是必须要会的！
Web基础
- 爬虫是在爬网页信息（当然也包含APP等）&
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
