使用python 自动下载http目录下的所有文件，并创建对应的目录结构

原创于 2020-04-16 15:55:34 发布 · 2.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

Python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Python的httplib库从HTTPS服务器下载文件的方法，并通过正则表达式解析目录链接，实现对远程目录结构的递归下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import httplib
import re
import os
conn = httplib.HTTPSConnection("af.hikvision.com.cn")

def downloadDstFile(dirName,fileName,fullUrl):
    print "start down load file ",fileName,fullUrl
    conn.request("GET", fullUrl)
    fileDataResponse = conn.getresponse()
    with open(os.path.join(dirName,fileName),"wb") as f:
        f.write(fileDataResponse.read())
        
def getFullDirToLocal(rootUrl,rootDir):
    conn.request("GET", rootUrl)
    response = conn.getresponse().read()
    subUrls = re.findall(r'<a.*?href="(.*?)">(.*?)</a>', response)
    for singleUrl in subUrls:
        if singleUrl[1] != "../":
            if singleUrl[1][-1] != "/":
                downloadDstFile(rootDir,singleUrl[1],rootUrl+singleUrl[1])
            else:
                if not os.path.exists(rootDir+singleUrl[1]):            
                    os.mkdir(rootDir+singleUrl[1])
                getFullDirToLocal(rootUrl+str(singleUrl[1]),rootDir+singleUrl[1])
            
getFullDirToLocal("/artifactory/list/sbmc-release/public-lib/","./")