若如初见

在通过Python爬取网页时，通过print函数输出内容进行调试，但是总会遇到解码不了的字符，试过各种方法都不行，错误代码如下：> 'gbk' codec can't encode character '\xa0' in position 8186: illegal multibyte sequence可以利用translate方法、split()解决，并且还可以替换\t \n字符

Python文件编译成exe文件1.安装编译工具2.编译命令3.编译后exe文件太大问题可能遇到的问题解决办法将Python文件编译成exe文件后，可以直接在Windows上运行，不需要再依赖Python环境，可以复制到其他电脑中直接使用，特别方便。1.安装编译工具pyinstaller是Python中将py文件编译成为exe文件的免费工具，特别好用，在Windows中，pyinstaller依赖pywin32，所在如果打包有问题请先安装pywin32模块，安装命令如下：pip install py

1.先注册百度地图开发平台账号，创建应用，获得AK；2.注册好账号后登录，进入到百度地图开放平台控制台，如下图所示，创建应用，获取API接口连接权限AK，然后就可以开始写代码了。代码思路：1. 设置好URL格式，按照行政区进行检索，通过requests模块访问URL获取数据；2. 对检索到JSON数据进行解析，提取需要的字段数据；3. 保存数据为CSV格式；4. 准备好全国行政区清单，设置好循环检索程序，批量检索所有城市数据；5. 运行程序获取数据，并对数据进行去重等操作。

设置无界面（浏览器）运行代码# 设置options参数，以开发者模式运行option = ChromeOptions()option.add_experimental_option("excludeSwitches", ["enable-automation"])# 加上下面两行，解决报错，设置无界面运行option.add_argument('--no-sandbox')option.add_argument('--disable-dev-shm-usage')option.add_arg

使用 selenium 模拟浏览器抓取淘宝商品信息1.创建driver对象2.请求淘宝商品信息3.实现翻页4.通过driver对象，解析商品页面内容，获取需要的数据5.保存数据到MongoDB数据库