jupyter爬取网页数据

使用Jupyter Notebook来爬取天气数据是一个很常见的任务。你可以使用Python的requests库来发送HTTP请求获取网页内容，然后使用BeautifulSoup库来解析HTML，从而提取所需的天气数据。 首先，你需要安装所需的库。在Jupyter Notebook中，你可以使用以下命令来安装它们： ```python !pip install requests !pip install beautifulsoup4 ``` 然后，你可以使用以下代码来爬取天气数据： ```python import requests from bs4 import BeautifulSoup # 发送HTTP请求获取网页内容 url = "https://www.example.com" # 替换为天气网站的URL response = requests.get(url) # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.content, "html.parser") # 根据HTML结构提取天气数据 # 这里只是一个示例，具体的提取方法会根据网页结构而有所不同 temperature = soup.find("span", class_="temperature").text humidity = soup.find("span", class_="humidity").text # 打印天气数据 print("Temperature:", temperature) print("Humidity:", humidity) ``` 请注意，这只是一个简单的示例。实际的网页结构和提取方法可能会有所不同。你需要根据具体的天气网站来调整代码中的选择器和提取逻辑。 希望这个示例对你有帮助！如果你有任何进一步的问题，请随时问我。

### 如何在 Jupyter Notebook 中编写爬虫程序以获取汽车数据 #### 安装必要的库 为了能够在 Jupyter Notebook 中执行 Python 代码并进行网络爬取，需要先安装 `jupyter` 和其他可能需要用到的数据抓取工具包如 `requests` 或者更高级别的框架比如 `scrapy`。对于基本的 HTTP 请求来说，通常只需要安装 `requests` 库即可。 ```bash pip install jupyter requests beautifulsoup4 pandas ``` 上述命令会安装 Jupyter Notebook 及其依赖项以及用于发送HTTP请求和解析HTML文档结构所需的软件包[^1]。 #### 启动 Jupyter Notebook 完成安装之后，在命令行输入如下指令启动 Jupyter Notebook： ```bash jupyter notebook ``` 这将在默认浏览器打开一个新的标签页显示文件系统的目录树形视图，并允许创建新的笔记本文件或编辑现有的笔记本文档。 #### 创建新笔记本并导入所需模块 一旦进入了 Jupyter 的界面，点击右上角的新建按钮选择 Python 来新建一个工作区。接着可以在第一个单元格里加入下面几行用来加载必需的功能库： ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` 这些语句分别引入了处理网页内容下载、DOM 解析还有表格化存储等功能的支持[^2]。 #### 编写简单的爬虫脚本 假设要从某个网站收集有关车辆的信息列表，则可以按照以下方式构建基础版的爬虫函数: ```python def fetch_car_data(url): response = requests.get(url) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.text, 'html.parser') cars = [] for item in soup.select('.car-item'): # 这里的 .car-item 是示例 CSS 类名，请替换为目标页面实际使用的类名 title = item.find('h2').get_text(strip=True) price = item.find(class_='price').get_text(strip=True).replace('$', '') link = item.find('a')['href'] car_info = { 'title': title, 'price': float(price), 'link': f"https://example.com{link}" # 将相对链接转换成绝对路径 } cars.append(car_info) return cars ``` 此段代码定义了一个名为 `fetch_car_data()` 的函数，它接受 URL 参数作为入口地址，随后发起 GET 请求读取远程资源；如果响应状态码不是成功的标志 (即 200)，则抛出异常终止流程。成功接收到 HTML 文本后利用 Beautiful Soup 对象对其进行分析提取感兴趣的部分——这里是以 `.car-item` 为例的选择器匹配到的所有元素节点集合。最后遍历每一个符合条件的对象实例，从中抽取具体字段组合形成字典对象追加至最终返回的结果集中。 #### 数据保存与展示 当有了上面的方法以后就可以调用它传入特定的目标网址从而获得一系列关于汽车详情记录组成的列表形式输出。为了让结果更加直观易懂还可以借助 Pandas DataFrame 结构来进行整理呈现： ```python data = fetch_car_data('https://www.example-auto-site.com/cars') # 替换成真实的URL df = pd.DataFrame(data) print(df.head()) ``` 这段代码片段首先调用了之前编写的 `fetch_car_data` 函数并将得到的数据集赋给变量 `data` ，紧接着把这份原始资料转化为易于阅读理解的数据框格式并通过打印前五行的方式预览部分内容。 ---