Jupyter爬取找属性值

### 使用 Jupyter Notebook 编写 Python 爬虫抓取微博签到数据 #### 工具与环境配置 为了实现这一目标，首先需要准备好必要的开发环境和工具。以下是所需的主要组件及其作用： - **Python**: 主要编程语言，用于编写爬虫脚本。 - **Jupyter Notebook**: 提供交互式的开发环境，适合数据分析以及可视化展示[^1]。 - **Requests 或 Selenium 库**: Requests 适用于简单的 HTTP 请求；Selenium 则更适合处理动态网页加载的情况。 - **BeautifulSoup (bs4)**: 解析 HTML 文档并提取有用的信息。 可以通过 `pip` 命令安装上述依赖项： ```bash pip install requests selenium beautifulsoup4 jupyter ``` #### 数据获取流程 微博签到页面通常涉及 JavaScript 动态渲染的内容，因此仅靠传统的请求方式可能无法完全解析出所需的字段。此时可以考虑使用 Appium 的替代品——Selenium 来模拟浏览器行为完成登录验证及后续的操作过程。 ##### 登录模块设计 由于微博存在反爬机制，直接发送 GET/POST 请求可能会被识别为异常访问而失败。解决办法之一就是模仿真实用户的浏览习惯，比如设置合理的等待时间间隔、随机化 User-Agent 头部信息等措施规避检测风险。 示例代码如下所示： ```python from selenium import webdriver import time driver = webdriver.Chrome() # 初始化 WebDriver 对象 try: driver.get('https://weibo.com') # 打开新浪微博首页链接地址 # 自动填充账号密码进行登陆操作... username_input = driver.find_element_by_name("username") password_input = driver.find_element_by_name("password") username_input.send_keys("[email protected]") password_input.send_keys("your_password_here") submit_button = driver.find_element_by_xpath("//a[@node-type='submitBtn']") submit_button.click() time.sleep(5) # 给予足够的时间让页面跳转至个人主页区域后再继续执行下一步骤动作... finally: pass ``` ##### 抓取签到记录部分 成功进入用户中心后，可以根据具体的 URL 路径定位到对应的签到历史列表界面，并从中筛选出日期、地点等相关属性值保存下来以便后期统计分析之用。 注意这里假设已经解决了身份认证环节的问题，实际应用当中还需要额外加入错误重试逻辑提高稳定性。 ```python sign_in_items = [] elements = driver.find_elements_by_css_selector(".list-item .content p") for element in elements[:10]: # 只截取前十个作为演示用途 sign_info = { 'date':element.text.split('\n')[0], 'location':element.text.split('\n')[1] } sign_in_items.append(sign_info) print(sign_in_items) ``` 以上即是一个基本框架结构介绍，在此基础上还可以进一步扩展功能满足个性化需求。

### 编写Python爬虫抓取豆瓣电影Top250数据 为了实现这一目标，在Jupyter Notebook中可以按照如下方式构建并执行代码。需要注意的是，由于网站反爬机制的存在，适当加入请求头模拟浏览器行为以及控制访问频率是非常必要的。 #### 导入库文件 首先确保安装了`requests`和`lxml`库用于发起HTTP请求和解析HTML文档；另外还需要导入`pandas`来处理后续可能的数据整理工作。 ```python import requests from lxml import etree import pandas as pd import time ``` #### 设置URL模板与头部信息 定义好要访问的目标页面链接模式，并设置合理的User-Agent字段以伪装成正常用户的浏览习惯。 ```python url_pattern = 'https://movie.douban.com/top250?start={}' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } ``` #### 获取单页内容函数 创建一个专门用来获取指定索引位置处网页源码的方法，这里通过调整参数中的起始偏移量(start)，可以从不同分页加载对应的内容片段[^1]。 ```python def get_page_content(page_index): url = url_pattern.format(str(page_index * 25)) response = requests.get(url=url, headers=headers) return response.text if response.status_code == 200 else None ``` #### 解析HTML结构提取所需信息 利用XPath表达式定位到具体的标签节点下，从中抽取影片名称、评分等重要属性值作为最终保存下来的关键要素之一[^2]。 ```python def parse_html(html_str): html_tree = etree.HTML(html_str) movie_items = [] titles = html_tree.xpath('//div[@class="hd"]/a/span[1]/text()') scores = html_tree.xpath('//span[@class="rating_num"]//text()') for i in range(len(titles)): item_dict = {"title":titles[i].strip(), "score":scores[i]} movie_items.append(item_dict) return movie_items ``` #### 主逻辑流程设计 结合上述辅助功能模块完成整个任务的核心部分——遍历多页结果集并将所有记录汇总起来形成完整的列表对象供下一步操作使用。 ```python all_movies = [] for page_idx in range(10): # 总共十页，每页显示25部作品 content = get_page_content(page_idx) movies_on_this_page = parse_html(content) all_movies.extend(movies_on_this_page) time.sleep(2) # 防止触发反爬措施 df = pd.DataFrame(all_movies) print(df.head()) ``` 以上就是在Jupyter Notebook环境下运用Python编写的简单版豆瓣电影Top250榜单爬虫实例。当然实际应用过程中还涉及到更多细节优化空间比如异常捕获机制的设计等等。