学习笔记 爬虫篇：python re模块（使用正则表达式提取数据）

一、re模块的基本介绍

re模块是为python中用于处理正则表达式的一个重要的模块，re模块也是python独有的一个模块。该模块包含多个函数，可以用于编译、匹配、搜索、替换等操作，在python爬虫领域里通常被用来解析爬取后的数据。

二、re模块的基本使用

1. re.compile函数
   compile 函数用于优化正则表达式，生成一个正则表达式（ Pattern ）对象，该对象包含.match()，.findall()，.search()，.sub()等方法，具体使用方法如下：

import re
P = re.compile(pattern[, flags]) 
# pattern:一个字符串形式的正则表达式
# flags:匹配的模式(可选)，常用的参数如下：
re.I #忽略大小写
re.M #多行模式
re.S #任意匹配模式
re.X #详细模式，该模式的正则表达是可以是多行的（比如用三个引号”“”引起来的多行正则表达式），可以忽略正则表达式里的空格和‘#’号后面的注释

.match()方法：

import re
P = re.compile(r"\d+")
result = P.match("2024hello").group() #该方法效果和 re.match(r"\d+","2024hello").group()相同
print(result)  # 输出结果为：2024

.seach()方法：

import re
P = re.compile(r"\d+")
result = P.search("hello2024").group() #该方法效果和 re.search(r"\d+","hello2024").group()相同
print(result)  # 输出结果为：2024

.findall()方法

import re
P = re.compile(r"\d+")
result = P.findall("hello2024") #该方法效果和 re.findall(r"\d+","hello2024")相同
print(result) # 输出结果为：['2024']

.sub()方法

import re
P = re.compile(r"\d+")
result = P.sub("zeyu","hello 2024") #该方法效果和re.sub(r"\d+","zeyu","hello 2024")相同
print(result) # 输出结果为：hello zeyu

2. re.match函数
   该函数根据正则表达式去匹配字符串的起始字符，匹配成功返回该字符，匹配不成功则返回None。具体使用方法如下：

import re
m = re.match(r"\d+","hello2024")
print(m) #输出的结果为：None（因为正则表达式匹配的数字不在起始位置）

re.match().group() #返回的是匹配的字符串部分
m = re.match(r"\d+","2024hello").group()
print(m) #输出的结果为：2024

re.match().string #返回传入函数的字符串
m = re.match(r"\d+","2024hello").string
print(m) #输出的结果为：2024hello

re.match().span() #返回一个元组，其中包含了匹配的开始和结束位置
m = re.match(r"\d+","2024hello").span()
print(m) #输出的结果为：(0, 4)

3.re.findall函数
该函数根据正则表达式匹配字符串，匹配成功以列表形式返回所有的匹配结果，匹配不成功返回空列表。具体使用方法如下：

import re
book = "<<Language>>,<<Math>>,<<English>>,<<History>>"
f = re.findall("<<(.*?)>>",book)
print(f) #输出结果为['Language', 'Math', 'English', 'History']

4.re.sub函数
该函数用于根据正则表达式去替换字符串中的匹配项，返回替换字符后的新字符串。具体使用方法如下：

import re
re.sub(pattern, repl, string, count=0, flags=0)
 #1. pattern：正则表达式
 #2. repl：需要替换成的字符或字符串，也可以是函数
 #3. string：被处理（查找替换）的原始字符串
 #4. count：可选参数，表示是要替换的最大个数，默认为0，表示替换掉所有的匹配项
 #5. flags：可选参数，表示编译时用的匹配模式（如忽略大小写、多行模式等），数字形式，默认为0。                        
book = "<<Language>>,<<Language>>，<<Math>>,<<English>>,<<History>>"
f = re.sub("Language","geography",book,count=1) #将book字符串中的Language替换成geography，替换一次
print(f) #输出结果：<<geography>>,<<Language>>,<<English>>,<<History>>

f = re.sub("Language","geography",book,count=2) #将book字符串中的Language替换成geography，替换两次
print(f) #输出结果：<<geography>>,<<geography>>,<<English>>,<<History>>

f = re.sub("Language","geography",book,count=0) #将book字符串中的Language替换成geography，全部替换
print(f) #输出结果：<<geography>>,<<geography>>,<<English>>,<<History>>

三、常用的正则表达式（网络收集）

1、匹配中文:[\u4e00-\u9fa5]

2、英文字母:[a-zA-Z]

3、数字:[0-9]

4、匹配中文，英文字母和数字及下划线：

^[\u4e00-\u9fa5_a-zA-Z0-9]+$

同时判断输入长度：[\u4e00-\u9fa5_a-zA-Z0-9_]{4,10}

5、

(?!_)　　不能以_开头
(?!.*?_$)　　不能以_结尾
[a-zA-Z0-9_\u4e00-\u9fa5]+　　至少一个汉字、数字、字母、下划线

6、只含有汉字、数字、字母、下划线，下划线位置不限：

^[a-zA-Z0-9_\u4e00-\u9fa5]+$

7、由数字、26个英文字母或者下划线组成的字符串：
^\w+$

8、2~4个汉字：

"^[\u4E00-\u9FA5]{2,4}$";

9、最长不得超过7个汉字，或14个字节(数字，字母和下划线)正则表达式

^[\u4e00-\u9fa5]{1,7}$|^[\dA-Za-z_]{1,14}$

10、匹配双字节字符(包括汉字在内)：[^x00-xff]

评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）

11、匹配空白行的正则表达式：ns*r

评注：可以用来删除空白行

12、匹配HTML标记的正则表达式：<(S*?)[^>]*>.*?|<.*? />

评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力

13、匹配首尾空白字符的正则表达式：^s*|s*$

评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式

14、匹配Email地址的正则表达式：^[a-zA-Z0-9][\w\.-]*[a-zA-Z0-9]@[a-zA-Z0-9][\w\.-]*[a-zA-Z0-9]\.[a-zA-Z][a-zA-Z\.]*[a-zA-Z]$

评注：表单验证时很实用

15、手机号：^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$

16、身份证：(^\d{15}$)|(^\d{17}([0-9]|X|x)$)

17、匹配网址URL的正则表达式：[a-zA-z]+://[^s]*

评注：网上流传的版本功能很有限，上面这个基本可以满足需求

18、匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$

评注：表单验证时很实用

19、匹配国内电话号码：d{3}-d{8}|d{4}-d{7}

评注：匹配形式如 0511-4405222 或 021-87888822

20、匹配腾讯QQ号：[1-9][0-9]{4,}

评注：腾讯QQ号从10000开始

21、匹配中国邮政编码：[1-9]d{5}(?!d)

评注：中国邮政编码为6位数字

22、匹配身份证：d{15}|d{18}

评注：中国的身份证为15位或18位

23、匹配ip地址：d+.d+.d+.d+

评注：提取ip地址时有用

24、匹配特定数字：

^[1-9]d*$ //匹配正整数
^-[1-9]d*$ //匹配负整数
^-?[1-9]d*$ //匹配整数
^[1-9]d*|0$ //匹配非负整数（正整数 + 0）
^-[1-9]d*|0$ //匹配非正整数（负整数 + 0）
^[1-9]d*.d*|0.d*[1-9]d*$ //匹配正浮点数
^-([1-9]d*.d*|0.d*[1-9]d*)$ //匹配负浮点数
^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$ //匹配浮点数
^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$ //匹配非负浮点数（正浮点数 + 0）
^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$ //匹配非正浮点数（负浮点数 + 0）

评注：处理大量数据时有用，具体应用时注意修正

25、匹配特定字符串：

^[A-Za-z]+$ //匹配由26个英文字母组成的字符串
^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串
^[a-z]+$ //匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符串
^w+$ //匹配由数字、26个英文字母或者下划线组成的字符串 

以上正则表达式收集于：https://blog.csdn.net/Remix_xy/article/details/127001584