python爬虫 爬取网页信息

python爬虫 爬取古诗词网站

导入库

import requests  # 获取网页
from lxml import etree  # 解析网页库

函数1：获取网页

def get_html(k, type_v1):
    url = "https://so.gushiwen.cn/mingju/default.aspx?p={}&c={}&t=".format(k + 1, type_v1)  # 网址
    print(url)
    ua = {
   'User-Agent': "User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
    resp = requests.get(url, headers=ua)
    print(resp.status_code)  # 打印状态码
    # print(resp.text)   # 打印网页
    return resp

函数2：转换格式

def change_html(resp):
    # 2.解析元素
    html = etree.HTML(resp.text)  # 将网页转换为xpath能解析的格式
    result = etree.tostring(html)  # 格式修正
    return html

函数3：解析元素

def elem_def(html):
    # 2.1 解析标题
    title_v1 = html.xpath