import requests from bs4 import BeautifulSoup import xlwt import time import urllib3 import requests import json
时间: 2024-01-31 21:03:18 浏览: 134
这段代码主要是导入了requests库、BeautifulSoup库、xlwt库、urllib3库和json库。其中requests库是一个基于HTTP协议的Python库,可以用来发送HTTP请求和处理HTTP响应;BeautifulSoup库是一个HTML/XML的解析器,可以用来解析HTML/XML文档;xlwt库是一个Python库,可以用来写Excel文件;urllib3库是一个Python库,可以用来处理HTTP请求和响应;json库是一个Python库,可以用来处理JSON数据。这些库在爬虫开发中非常常用。
另外,这段代码中有重复导入requests库,可以将其中一个删除。
以下是修改后的代码:
```python
import requests
from bs4 import BeautifulSoup
import xlwt
import time
import urllib3
import json
```
相关问题
为什么pycharm安装插件会出现PS D:\NEW desktop\app_house> pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pyhive django-adminlte-ui==1.7.2 beautifulsoup4==4.12.2 fake_useragent==1.4.0 certifi==2020.12.5 chardet==4.0.0 django==3.1.7 djangorestframework==3.12 et-xmlfile==1.0.1 idna==2.10 jdcal==1.4.1 openpyxl==3.0.6 pytz==2021.1 requests==2.25.1 django-simpleui==2023.3.1 urllib3==1.26.3 xlwt lxml numpy beautifulsoup4 selenium==3.12.0 pandas pyecharts snownlp geopy wordcloud scikit-learn jieba faker django-import-export==2.7.1 WARNING: Ignoring invalid distribution -ip (d:\anaconda\lib\site-packages) Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting pyhive ERROR: HTTP error 403 while getting https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4d99a6d91450 30cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz (from https://pypi.tuna.tsinghua.edu.cn/simple/pyhive/) [notice] A new release of pip is available: 24.3.1 -> 25.0.1 [notice] To update, run: python.exe -m pip install --upgrade pip ERROR: Could not install requirement pyhive from https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4 d99a6d9145030cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz because of HTTP error 403 Client Er ror: Forbidden for url: https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4d99a6d9145030cc8e003c3f7e fc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz for URL https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c6 58b3a4d99a6d9145030cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz (from https://pypi.tuna.tsinghua.edu.cn/simple/pyhive/) PS D:\NEW desktop\app_house>
### 解决方案
当使用 `pip` 命令从清华大学或其他国内镜像源安装 Python 包时,如果遇到 HTTP 403 错误,通常是因为网络请求被拒绝或者配置不正确。以下是针对此问题的分析和解决方案:
#### 配置正确的镜像源地址
确保使用的镜像源 URL 是有效的。根据引用中的描述[^1],可以尝试以下命令来安装 `pyhive` 包并指定清华大学的镜像源:
```bash
pip install pyhive -i https://pypi.tuna.tsinghua.edu.cn/simple
```
此外,也可以选择阿里云的镜像源作为替代选项[^2]:
```bash
pip install pyhive -i https://mirrors.aliyun.com/pypi/simple
```
#### 更新 pip 工具版本
有时较低版本的 `pip` 可能无法正常解析某些镜像源或存在兼容性问题。因此,在执行安装之前,请先升级到最新版 `pip`[^3]:
```bash
python -m pip install --upgrade pip
```
完成上述操作后再重新运行带有镜像参数的安装指令。
#### 设置全局镜像源(可选)
为了避免每次都需要手动输入 `-i` 参数,可以通过修改 `pip.conf` 文件的方式设定默认使用的镜像站点[^4]。对于 Linux/Mac 用户来说,默认路径位于 `~/.config/pip/pip.conf`;而对于 Windows 则是在 `%APPDATA%\pip\pip.ini` 中定义如下内容:
```ini
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
```
之后无需再额外指明镜像链接即可直接调用 `pip install pyhive` 进行部署。
---
### 注意事项
尽管更换镜像源能够有效缓解速度缓慢的问题,但如果仍然遭遇权限受限 (即所谓的 'Forbidden' 或者状态码 403),则可能是目标资源本身暂时不可获取或者是账户访问限制所致。此时建议等待一段时间再次尝试或是切换至其他可用镜像服务提供商测试效果。
---
为什么在pycharm下载安装插件会失败?:PS D:\NEW desktop\app_house> pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pyhive django-adminlte-ui==1.7.2 beautifulsoup4==4.12.2 fake_useragent==1.4.0 certifi==2020.12.5 chardet==4.0.0 django==3.1.7 djangorestframework==3.12 et-xmlfile==1.0.1 idna==2.10 jdcal==1.4.1 openpyxl==3.0.6 pytz==2021.1 requests==2.25.1 django-simpleui==2023.3.1 urllib3==1.26.3 xlwt lxml numpy beautifulsoup4 selenium==3.12.0 pandas pyecharts snownlp geopy wordcloud scikit-learn jieba faker django-import-export==2.7.1 WARNING: Ignoring invalid distribution -ip (d:\anaconda\lib\site-packages) Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting pyhive ERROR: HTTP error 403 while getting https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4d99a6d91450 30cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz (from https://pypi.tuna.tsinghua.edu.cn/simple/pyhive/) [notice] A new release of pip is available: 24.3.1 -> 25.0.1 [notice] To update, run: python.exe -m pip install --upgrade pip ERROR: Could not install requirement pyhive from https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4 d99a6d9145030cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz because of HTTP error 403 Client Er ror: Forbidden for url: https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4d99a6d9145030cc8e003c3f7e fc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz for URL https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c6 58b3a4d99a6d9145030cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz (from https://pypi.tuna.tsinghua.edu.cn/simple/pyhive/) PS D:\NEW desktop\app_house>
在 PyCharm 中通过命令行 `pip` 安装插件或依赖包时可能会遇到类似的问题,例如 HTTP 错误 403 或者无法连接到指定资源的情况。以下是可能导致此错误的原因以及解决方法:
---
### **原因分析**
1. **网络限制**
某些国内镜像源(如清华大学 TUNA 镜像站)可能对特定版本的文件进行了移除、更新或更改权限设置。这导致请求返回了 HTTP 403 禁止访问。
2. **目标软件已过期或被删除**
如果某个库的旧版本已经被开发者从官方仓库或第三方镜像中移除了,则尝试直接安装该版本就会失败。
3. **代理配置问题**
使用企业内网或其他受限环境下的系统可能出现网络策略冲突,阻止对外部站点发起正常的数据传输需求。
4. **Pip 版本老旧**
Pip 老化也可能造成解析路径异常等问题;此外还有 SSL/TLS 协议兼容性的考量因素存在影响通信稳定性。
5. **缓存损坏**
当本地已有部分数据残缺但未完全清理干净前再次操作同名项目构建任务容易引发连锁反应式的故障现象发生。
---
### **解决方案**
#### **一、切换其他可用镜像源**
可以将清华源更换成阿里云等更稳定的公共 Python 包托管服务地址之一试试看效果如何变化。
```bash
# 示例使用阿里的 PIP 镜像索引位置代替原来那个有问题的地方继续下去吧~
pip install -i https://mirrors.aliyun.com/pypi/simple pyhive django-adminlte-ui==1.7.2 beautifulsoup4==4.12.2 ... etc.
```
#### **二、升级 pip 到最新版**
确保使用的工具本身是最新的状态有助于避免潜在的技术缺陷带来的麻烦哦~
运行下面这条指令完成在线自动更新过程即可轻松搞定啦!
```python
python -m pip install --upgrade pip setuptools wheel
```
#### **三、手动下载并离线安装缺失组件**
如果上述办法依旧无效的话不妨考虑直接前往官方网站找到对应的 whl 文件然后利用这种方式来进行针对性处理咯。
步骤如下所示:
1. 打开浏览器跳转至 [PyPI官网](https://pypi.org/) 寻找所需模块;
2. 下载对应系统的 `.whl` 格式压缩包保存下来备用;
3. 将其复制粘贴进工程目录下并通过以下命令形式加载进去就好了呀!😊
```shell
pip install ./path_to_file/your_module.whl
```
#### **四、检查防火墙及杀毒程序干扰情况**
关闭实时防护功能后再试一次看看会不会有所改善呢?
---
### **预防建议**
为了避免将来再碰到相似状况可以从这几个方面入手加强管理效率哈:
- 始终保持开发环境中所有核心组件处于最佳实践推荐范围内定期维护升级哟!
- 提前规划好需要用到的所有三方扩展列表以便随时快速替换来源链接不至于手忙脚乱噢!
---
阅读全文
相关推荐
