源码中有中文,进行正则提取时中文定位信息变成??怎么回事obj3=re.compile(r'<p>.*??????(?P<movie_name>.*?)</p>.*?<a href="(?P<download>.*?)"',re.S)

时间: 2025-01-23 15:51:12 浏览: 36
在Python中使用正则表达式(re模块的`compile()`函数)处理包含中文的源码时,可能会遇到编码问题。当你试图匹配中文字符时,如果没有正确指定编码,`?` 和 `*` 可能会被解释为非贪婪模式或者其他特殊字符,导致中文部分被错误地匹配或丢失。 在这个例子中,`.*??????` 部分可能无法正确识别汉字的编码,使得`movie_name` 和 `download` 正则表达式组出现问题,结果可能是它们捕获的内容缺失或乱码,显示为 `??`。要解决这个问题,你需要确保正则表达式的编译指定了正确的文本编码,通常对于UTF-8编码的文本,可以添加 `re.UNICODE` 标志: ```python obj3 = re.compile(r'<p>.*\b[\u4e00-\u9fa5]*?(?P<movie_name>.*?)</p>.*?<a href="(?P<download>.*?)"', re.S | re.UNICODE) ``` 这里 `\b[\u4e00-\u9fa5]*?` 尝试匹配中文字符,并使用了非贪婪模式。如果源码不是UTF-8,需要替换为相应的字符集范围。
相关问题

''' ''' import re from urllib.request import urlopen def getPage(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): ret = com.finditer(s) # 从s这个网页源码中,找到所有符合com正则表达式的内容,并且以迭代器的形式返回 for i in ret: yield{ 'id':i.group('id'), 'title':i.group('title'), 'rating_num':i.group('rating_num'), 'comment_num':i.group('comment_num') } def main(num): # 翻页,执行10次 url = 'https://movie.douban.com/top250?start=%s&filter='% num response_html = getPage(url) # response_html就是这个url对应的html代码,就是 str ret = parsePage(response_html) print(ret) f = open('move_info7','a',encoding='utf8') for obj in ret: print(obj) data = str(obj) f.write(data +'\n') f.close() com = re.compile( '<div class = "item">.*?<div class="pic">.*?<em.*?>(?P<id>\d+).*?<span class = "title">(?P<title>.*?)</span>' '.*?<span class="rating_num".*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>',re.S) count = 0 for i in range(10): main(count) count += 25 检查这段代码并且进行修改

这段代码是用来爬取豆瓣电影Top250的信息,并且将结果保存到文件中。但是,代码中存在一些错误和需要改进的地方,建议进行如下修改: 1. 将文件名由'move_info7'改为'movie_info.txt',并且将文件打开操作放在for循环外面,避免重复打开和关闭文件。 2. 将函数名从'getPage'改为'get_page',符合Python的命名规范。 3. 将参数名从's'改为'html',更加直观。 4. 将正则表达式中的空格去掉,避免匹配不到结果。 5. 在文件写入操作之前,需要先检查文件是否存在,如果不存在,则需要创建文件。 修改后的代码如下: ```python import re from urllib.request import urlopen def get_page(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode('utf-8') def parse_page(html): com = re.compile( '<div class="item">.*?<div class="pic">.*?<em.*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num".*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) ret = com.finditer(html) # 从html这个网页源码中,找到所有符合com正则表达式的内容,并且以迭代器的形式返回 for i in ret: yield { 'id': i.group('id'), 'title': i.group('title'), 'rating_num': i.group('rating_num'), 'comment_num': i.group('comment_num') } def main(num): # 翻页,执行10次 url = 'https://movie.douban.com/top250?start=%s&filter=' % num html = get_page(url) # html就是这个url对应的html代码,就是 str ret = parse_page(html) print(ret) with open('movie_info.txt', 'a', encoding='utf8') as f: for obj in ret: print(obj) data = str(obj) f.write(data + '\n') if __name__ == '__main__': count = 0 for i in range(10): main(count) count += 25 ```
阅读全文

相关推荐

大家在看

recommend-type

蒙特卡罗剂量模拟和可视化工具包:一组旨在帮助临床医生和研究人员使用 GEANT4 或 TOPAS 的 Matlab 函数-matlab开发

这里有 3 组代码,旨在帮助临床医生和研究人员将 GEANT4 或 TOPAS (MC) 与 3D Slicer 结合使用进行剂量可视化和比较 第一段代码“STLfromDicomRN.m”采用 Varian Eclipse 生成的双散射质子计划的 Dicom 计划文件,并以“.STL”格式生成计划中的Kong径和补偿器模型。 此文件使用 zip 文件中包含的“stlwrite”和“surf2solid”函数。 这些文件可以导入到 MC 模拟几何中。 第二个是一组用于处理Dicom剂量文件和分析剂量的代码。 “NormalizeDicomDose.m”代码将 MC 剂量标准化为 Eclipse 剂量等中心处的剂量,并包含有关如何标准化为其他点或体积的说明。 “ProfilePlot.m”代码只是生成比较两点之间两个剂量文件的剂量的剂量曲线。 包含的是一个 matlab gui,它在您
recommend-type

中科大版苏淳概率论答案

本资料是中科大版本 苏淳编著的概率论答案,此为本书前半部分答案,其中包含书中部分习题,系老师所布置的重点习题答案。包含初等概率论,随机变量,随机向量,数字特征与特征函数极限定理几章的内容
recommend-type

公开公开公开公开-openprotocol_specification 2.7

LY-WCS-2012-01-06-01 V 1.0 公开公开公开公开 产品名称:产品名称:产品名称:产品名称: WCS 系统简介系统简介系统简介系统简介-公开版公开版公开版公开版 共共共共 13 页页页页 WCSWCSWCSWCS 系统简介系统简介系统简介系统简介 ((((客户交流用客户交流用客户交流用客户交流用)))) 文文文文 档档档档 作作作作 者:者:者:者: 王 超 日期:日期:日期:日期:2012/01/06 开发开发开发开发/测试经理:测试经理:测试经理:测试经理: 程 达 日期:日期:日期:日期:2012/01/06 项项项项 目目目目 经经经经 理:理:理:理: 程 达 日期:日期:日期:日期:2012/01/06 文文文文 档档档档 编编编编 号:号:号:号: ___________ ___ LY-WCS-2012-01-06-01______________ 上海朗因智能科技有限公司上海朗因智能科技有限公司上海朗因智能科技有限公司上海朗因智能科技有限公司 版权所有版权所有版权所有版权所有 不得复制不得复制不得复制不得复制
recommend-type

xilinx.com_user_IIC_AXI_1.0.zip

可以直接用在vivado 2017.4版本里。查看各个寄存器就知道用来干什么了,一号寄存器分频系数,二号的start、stop信号,三号寄存器8bit数据,四号寄存器只读,返回IIC状态和ACK信号,其中二号的一个bit可以用来不等待从机ACK,方便使用。
recommend-type

extjs6.2加SenchaCmd-6.5.3.6-windows-64bit

SenchaCmd-6.5.3.6-windows-64bit ext6.2.0gpl SenchaCmd-6.5.3.6-windows-64bit ext6.2.0gpl

最新推荐

recommend-type

网络流量优化策略.pptx

网络流量优化策略.pptx
recommend-type

网络时代中职院校图书馆用户需求及服务研究.docx

网络时代中职院校图书馆用户需求及服务研究.docx
recommend-type

物联网电梯监控传输解决方案的研究.docx

物联网电梯监控传输解决方案的研究.docx
recommend-type

软件设计服务行业技术趋势分析.pptx

软件设计服务行业技术趋势分析.pptx
recommend-type

vscode的vsix插件

vscode的vsix插件
recommend-type

WEB精确打印技术:教你实现无差错打印输出

根据给定文件信息,本篇将深入探讨实现Web精确打印的技术细节和相关知识点。 Web精确打印是指在Web应用中实现用户可以按需打印网页内容,并且在纸张上能够保持与屏幕上显示相同的布局、格式和尺寸。要实现这一目标,需要从页面设计、CSS样式、打印脚本以及浏览器支持等方面进行周密的考虑和编程。 ### 页面设计 1. **布局适应性**:设计时需要考虑将网页布局设计成可适应不同尺寸的打印纸张,这意味着通常需要使用灵活的布局方案,如响应式设计框架。 2. **内容选择性**:在网页上某些内容可能是为了在屏幕上阅读而设计,这不一定适合打印。因此,需要有选择性地为打印版本设计内容,避免打印无关元素,如广告、导航栏等。 ### CSS样式 1. **CSS媒体查询**:通过媒体查询,可以为打印版和屏幕版定义不同的样式。例如,在CSS中使用`@media print`来设置打印时的背景颜色、边距等。 ```css @media print { body { background-color: white; color: black; } nav, footer, header, aside { display: none; } } ``` 2. **避免分页问题**:使用CSS的`page-break-after`, `page-break-before`和`page-break-inside`属性来控制内容的分页问题。 ### 打印脚本 1. **打印预览**:通过JavaScript实现打印预览功能,可以在用户点击打印前让他们预览将要打印的页面,以确保打印结果符合预期。 2. **触发打印**:使用JavaScript的`window.print()`方法来触发用户的打印对话框。 ```javascript document.getElementById('print-button').addEventListener('click', function() { window.print(); }); ``` ### 浏览器支持 1. **不同浏览器的兼容性**:需要考虑不同浏览器对打印功能的支持程度,确保在主流浏览器上都能获得一致的打印效果。 2. **浏览器设置**:用户的浏览器设置可能会影响打印效果,例如,浏览器的缩放设置可能会改变页面的打印尺寸。 ### 实践技巧 1. **使用辅助工具类**:如Bootstrap等流行的前端框架中包含了专门用于打印的样式类,可以在设计打印页面时利用这些工具快速实现布局的调整。 2. **测试打印**:在不同的打印机和纸张尺寸上测试打印结果,确保在所有目标打印环境下都有良好的兼容性和效果。 3. **优化图片和图形**:确保所有用于打印的图片和图形都有足够的分辨率,且在打印时不会因为尺寸缩小而失真。 4. **使用打印样式表**:创建一个专门的打印样式表(print.css),并将其链接到HTML文档的`<link>`标签中。这样可以在打印时引用独立的CSS文件,实现对打印内容的精细控制。 ### 总结 Web精确打印的实现涉及到前端设计和开发的多个方面,从设计、样式的编写到JavaScript脚本的运用,都需要紧密配合。开发者需要具备对打印技术深刻的理解,并且能够熟练使用现代前端技术来达到精确打印的要求。通过上述的知识点介绍,可以为开发者提供一个全面的指导,帮助他们在Web项目中实现高质量的打印输出。
recommend-type

【性能测试基准】:为RK3588选择合适的NVMe性能测试工具指南

# 1. NVMe性能测试基础 ## 1.1 NVMe协议简介 NVMe,全称为Non-Volatile Memory Express,是专为固态驱动器设计的逻辑设备接口规范。与传统的SATA接口相比,NVMe通过使用PCI Express(PCIe)总线,大大提高了存储设备的数据吞吐量和IOPS(每秒输入输出操作次数),特别适合于高速的固态存储设备。
recommend-type

服务器无感部署

<think>首先,用户的问题是:“我想在不引起服务中断的情况下进行服务器部署请问如何实现服务器无感部署无需停机的部署方法”。这涉及到零停机部署,确保服务在更新过程中不间断。我需要参考提供的引用:-引用[1]:讨论了Web服务的无缝更新,强调零停机部署的重要性。 -引用[2]:提供了自动化运维中零停机构建与部署的实践,包括命令示例。 -引用[3]:描述了无感知部署方案,如蓝绿部署。 -引用[4]:提到了负载均衡和服务器横向分布的重要性。系统级指令:-所有行内数学表达式使用$...$格式。-独立公式使用$$...$$格式并单独成段。 -LaTeX语法正确。-使用中文回答。-生成相关问题。 -在回
recommend-type

C++源代码实现:分段线性插值与高斯消去法

根据提供的文件信息,我们可以详细解析和讨论标题和描述中涉及的知识点。以下内容将围绕“计算方法C++源代码”这一主题展开,重点介绍分段线性插值、高斯消去法、改进的EULAR方法和拉格朗日法的原理、应用场景以及它们在C++中的实现。 ### 分段线性插值(Piecewise Linear Interpolation) 分段线性插值是一种基本的插值方法,用于在一组已知数据点之间估算未知值。它通过在相邻数据点间画直线段来构建一个连续函数。这种方法适用于任何连续性要求不高的场合,如图像处理、计算机图形学以及任何需要对离散数据点进行估算的场景。 在C++中,分段线性插值的实现通常涉及到两个数组,一个存储x坐标值,另一个存储y坐标值。通过遍历这些点,我们可以找到最接近待求点x的两个数据点,并在这两点间进行线性插值计算。 ### 高斯消去法(Gaussian Elimination) 高斯消去法是一种用于解线性方程组的算法。它通过行操作将系数矩阵化为上三角矩阵,然后通过回代求解每个未知数。高斯消去法是数值分析中最基本的算法之一,广泛应用于工程计算、物理模拟等领域。 在C++实现中,高斯消去法涉及到对矩阵的操作,包括行交换、行缩放和行加减。需要注意的是,算法在实施过程中可能遇到数值问题,如主元为零或非常接近零的情况,因此需要采用适当的措施,如部分或完全选主元技术,以确保数值稳定性。 ### 改进的EULAR方法 EULAR方法通常是指用于解决非线性动力学系统的数值积分方法,尤其是在动力系统的仿真中应用广泛。但在这里可能是指对Euler方法的某种改进。Euler方法是一种简单的单步求解初值问题的方法,适用于求解常微分方程的初值问题。 Euler方法的基本思想是利用当前点的导数信息来预测下一个点的位置,进而迭代求解整个系统。在C++实现中,通常需要定义一个函数来描述微分方程,然后根据这个函数和步长进行迭代计算。 ### 拉格朗日法(Lagrange Interpolation) 拉格朗日插值法是一种多项式插值方法,它构建一个最高次数不超过n-1的多项式,使得这个多项式在n个已知数据点的值与这些点的已知值相等。拉格朗日插值法适用于数据点数量较少,且对插值精度要求较高的情况。 在C++中,实现拉格朗日插值法需要计算每个基多项式的值并将其乘以对应的已知函数值,然后将这些多项式相加得到最终的插值多项式。这一过程可能会涉及到大量计算,尤其是当数据点数量增多时。 ### 源代码文件列表 - 计算方法代码 虽然文件列表仅提供了“计算方法代码”这一名称,我们可以推断,压缩包中包含了上述所有计算方法的C++源代码文件。每个文件可能对应一个算法的实现,例如,可能会有一个名为“GaussianElimination.cpp”的文件专门用于实现高斯消去法。 ### 结论 文件信息指出,压缩包内包含了一系列计算方法的C++源代码,包括分段线性插值、高斯消去法、改进的EULAR方法和拉格朗日法等。这些方法在数值分析和科学计算领域扮演着重要的角色,它们各自的C++实现展现了程序员在面对不同类型问题时所采取的算法策略和编程技巧。这些代码对于理解算法原理和将其应用到实际问题中是非常有价值的资源。
recommend-type

【固态硬盘寿命延长】:RK3588平台NVMe维护技巧大公开

# 1. 固态硬盘寿命延长的基础知识 ## 1.1 固态硬盘的基本概念 固态硬盘(SSD)是现代计算设备中不可或缺的存储设备之一。与传统的机械硬盘(HDD)相比,SSD拥有更快的读写速度、更小的体积和更低的功耗。但是,SSD也有其生命周期限制,主要受限于NAND闪存的写入次数。 ## 1.2 SSD的写入次数和寿命 每块SSD中的NAND闪存单元都有有限的写入次数。这意味着,随着时间的推移,SSD的