python多线程+代理池爬取天天基金网、股票数据过程解析_天天基金估值资源-CSDN下载

需积分: 49 178 浏览量 2021-01-01 09:55:42 上传评论 2 收藏 99KB PDF 举报

资源详情

资源评论

资源推荐

python多线程多线程+代理池爬取天天基金网、股票数据过程解析代理池爬取天天基金网、股票数据过程解析

简介简介

提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动

实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。

本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。

技术路线技术路线

IP代理池

多线程

爬虫与反爬

编写思路编写思路

首先，开始分析天天基金网的一些数据。经过抓包分析，可知：

./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会失败的情况。

同时，经过分析可知某只基金的相关信息地址为:fundgz.1234567.com.cn/js/ + 基金代码 + .js

分析完天天基金网的数据后，搭建IP代理池，用于反爬作用。点击这里搭建代理池，由于该作者提供了一个例子，所以本代码

里面直接使用的是作者提供的接口。如果你需要更快速的获取到普匿IP，则可以自行搭建一个本地IP代理池。

# 返回一个可用代理，格式为ip:端口

# 该接口直接调用github代理池项目给的例子，故不保证该接口实时可用

# 建议自己搭建一个本地代理池，这样获取代理的速度更快

# 代理池搭建github地址https://github.com/1again/ProxyPool

# 搭建完毕后，把下方的proxy.1again.cc改成你的your_server_ip，本地搭建的话可以写成127.0.0.1或者localhost

def get_proxy():

data_json = requests.get("http://proxy.1again.cc:35050/api/v1/proxy/?type=2").text

data = json.loads(data_json)

return data['data']['proxy']

搭建完IP代理池后，我们开始着手多线程爬取数据的工作。一旦使用多线程，则需要考虑到数据的读写顺序问题。这里使用

python中的队列queue进行存储基金代码，不同线程分别从这个queue中获取基金代码，并访问指定基金的数据。由于queue

的读取和写入是阻塞的，所以可以确保该过程不会出现读取重复和读取丢失基金代码的情况。

# 将所有基金代码放入先进先出FIFO队列中

# 队列的写入和读取都是阻塞的，故在多线程情况下不会乱

# 在不使用框架的前提下，引入多线程，提高爬取效率

# 创建一个队列

fund_code_queue = queue.Queue(len(fund_code_list))

# 写入基金代码数据到队列

for i in range(len(fund_code_list)):

#fund_code_list[i]也是list类型，其中该list中的第0个元素存放基金代码

fund_code_queue.put(fund_code_list[i][0])

现在，开始编写如何获取指定基金的代码。首先，该函数必须先判断queue是否为空，当不为空的时候才可进行获取基金数

据。同时，当发现访问失败时，则必须将我们刚刚取出的基金代码重新放回到队列中去，这样才不会导致基金代码丢失。

# 获取基金数据

def get_fund_data():

# 当队列不为空时

while (not fund_code_queue.empty()):

# 从队列读取一个基金代码

# 读取是阻塞操作

fund_code = fund_code_queue.get()

# 获取一个代理，格式为ip:端口

proxy = get_proxy()

# 获取一个随机user_agent和Referer

header = {'User-Agent': random.choice(user_agent_list),

'Referer': random.choice(referer_list)

}

try:

req = requests.get("http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js", proxies={"http": proxy}, timeout=3,

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

评论0

内容反馈

weixin_38684633

粉丝: 5

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip