qq_39736804的博客

原创 使用requests模块进行简单爬虫

简单的Python爬虫 我最近在学习Python爬虫相关的内容，打算学一点写一点，一边总结一边学习。 使用requests模块可以对一些缺乏反爬虫限制的网站进行爬取。 本次爬取的是猫眼的电影排行，利用URL中offset的设定即可爬取前十页每一页的HTML代码，再通过re模块使用正则表达式提取网页中我们需要的成分，然后将这些成分以字典的形式写到一个文档里面，也就实现了简单的爬虫，具体代码如下： #...