爬虫----咨询公司招标信息采集

weixin_45620570

于 2020-02-05 18:54:14 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45620570/article/details/104185991

本文介绍了如何使用Scrapy框架构建爬虫，针对特定网站进行招标信息采集。从分析项目需求到模拟登录请求，配置代理IP，再到异常处理和数据提取，详细阐述了爬虫实现的各个步骤。同时，文中提到了如何优化请求链的健壮性和利用异步IO实现数据持久化存储到MySQL数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目分析

在这里插入图片描述
我们以后做爬虫项目的时候，往往爬取的不止一个网站，要对每个网站定制爬虫。下面是我们以必联网为例，要爬取的所有内容。

下面，是网站页面的一级界面和二级界面上，我们所需要的内容。

打开网站，我们需要在登陆的情况下爬取。
爬虫分析，一定要从第二页开始，举例该网，第一页是一个get请求，但是从第二页开始，就是一个post请求了。这里，老师下载了个Postman的软件，可以直接下载网页的html。
二级页面，打开之后，是get请求。
一级页面，需要通过传递cookie，user-agent，form data。二级页面，直接通过url地址，来定位页面。

动手操作之模拟请求头

以往在pycharm中创建项目，这个是在CMD中创建。
在这里插入图片描述
在settings里面做了五个改动

同时，我们需要对默认请求头做修改，变成cookie和user-ag

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。