python实现文件分片上传的接口自动化

def __init__(self,data):

  dat = json.loads(data)

  self.path = dat['path'] # 获取文件路径

  self.CHUNK_SIZE = 1024*1024*2 # 定义每片文件的大小

  self.size = os.path.getsize(dat['path']) # 获取文件的大小

  self.totalchunk = math.ceil(self.size / self.CHUNK_SIZE) # 获取文件的分片总数

  self.ext = os.path.basename(dat['path']).split('.').pop() # 获取文件的后缀

  self.name = os.path.basename(dat['path']) # 获取文件的名字

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

# 使用hashlib库的md5方法获取指定文件的md5

def getmd5(self,path):

m = hashlib.md5()

with open(path, 'rb') as f:

 for line in f:

  m.update(line)

  md5code = m.hexdigest()

  return md5code

 # 开发那边对md5的算法进行了优化，当文件的大小小于1M时，直接通过getmd5方法去获取文件的md5值;

 # 当文件大于1M时，通过截取整个文件中的某几个片段，然后拼接成一个文件，再去获取其md5值，最后删除这个文件

 def md5(self,path):

  if self.size < 1024 * 1024:

   return self.getmd5(path)

  f = open(path, 'rb')

  f.seek(0, 0)

  data = f.read(2012)

  f.seek(int(self.size / 2) - 1999, 0)

  data += f.read(1999)

  f.seek(-2010, 2)

  data += f.read(2010)

  f.close()

  path = 'D:/copy_' + str(os.path.basename(path))

  f = open(path, 'wb')

  f.write(data)

  f.close()

  val = self.getmd5(path)

  os.remove(path)

  return val

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

def uploading(self, chunkIndex):

  MD5 = self.md5(self.path) # 整个文件的md5

  start = (chunkIndex - 1) * self.CHUNK_SIZE # 截取文件的起始位置

  end = min(self.size, start + self.CHUNK_SIZE)# 截取文件的结束位置

  f = open(self.path, 'rb')

  f.seek(start)

  data = f.read(end) # 待分片上传的数据

  f.close()

  path1 = 'D:/copy_' + str(os.path.basename(self.path)) # 将该数据保存在本地

  f = open(path1, 'wb')

  f.write(data)

  f.close()

  chunk_md5 = self.md5(path1) # 读取分片上传数据的md5

  # 将所有的数据储存在files字典当中，利用requests的files传输数据

  # 使用requests files类型时，要像下面一样构建参数，不然会有错误

  files={

   'chunk':('blob',data,'application/octet-stream'),

   'name':(None,self.name),

   'ext':(None,self.ext),

   'index':(None,chunkIndex),

   'total': (None,self.totalchunk),

   'size': (None,self.size),

   'chunk_md5': (None,chunk_md5),

   'md5': (None,MD5),

  }

  # 使用requests发送接口请求

  res = self.request.send('post', 'https://10.104.17.222/bank/elements/uploading', verify=False, files=files)

  os.remove(path1) # 删除存在本地的分片文件

  return res.json()

1

2

3

4

chunkIndex = 1

 while chunkIndex <= totalchunk:

 res2 = upload.uploading(chunkIndex)

 chunkIndex += 1