Python 异步协程抓取网页内容

光宝儿

于 2022-04-25 17:50:07 发布

阅读量916

点赞数 1

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_68431081/article/details/124410451

版权

本文记录了一位自学Python的初学者使用异步协程抓取樱花动漫视频信息的学习过程。在两个月Python基础知识学习后，尝试进行爬虫实践，并计划进一步学习Python CookBook。文中期待高手指教，分享优化建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''
# 思路：
# 1、拿到主页面源代码，找到u3m8文件链接在源代码中的位置
# 2、从页码源代码中拿到m3u8文件
# 3、下载第一层m3u8文件-->下载第二层m3u8文件
# 4、下载视频
# 5.下载密钥，进行解密
# 6，合并视频
'''
import requests
import re
import asyncio
import aiohttp
import aiofiles
from Crypto.Cipher import AES

import os,sys,io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')   #好像是解决系统报错


def m3u8_1(url):    ##1,抓到页面源代码，找到第一层m3u8文件的链接
    #从页面源代码中取出 m3u8文件链接
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36'
    }
    domain_page = requests.get(url,headers=headers)
    domain_page.encoding='utf-8'
    #print(domain_page.text)   #测试是否成功取到主页面的源代码
    #解析主页面，找到m3u8文件链接
    src = re.compile(r'now="(?P<src>.*?)"',re.S)   #使用正则匹配想要的内容
    m3u8_link1 = src.sea

最低0.47元/天解锁文章