pymysql查询数据库内的一个字段并且把这个字段的所有值放到一个列表内

要将爬取的豆瓣电影Top 250数据存入MySQL数据库中，需要完成以下步骤： 1. **安装MySQL驱动**：使用`pymysql`库连接和操作MySQL数据库。 2. **创建数据库和表**：在MySQL中创建一个数据库和表来存储电影名称。 3. **插入数据**：将爬取到的电影名称插入到数据库中。 以下是完整的代码实现和解释： --- ### 代码实现 ```python import requests from bs4 import BeautifulSoup import concurrent.futures import pymysql import logging # 配置日志 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') movie_list = [] headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.4 Safari/605.1.15' } urls = [ 'https://movie.douban.com/top250', 'https://movie.douban.com/top250?start=25&filter=', 'https://movie.douban.com/top250?start=50&filter=', 'https://movie.douban.com/top250?start=75&filter=', 'https://movie.douban.com/top250?start=100&filter=' ] def get_movie(url): try: logging.info(f"正在请求: {url}") response = requests.get(url, headers=headers, timeout=10) if response.status_code == 200: logging.info("请求成功") soup = BeautifulSoup(response.text, 'html.parser') movie_title = soup.find_all('div', class_="hd") for item in movie_title: movie_name = item.a.span.text.strip() movie_list.append(movie_name) else: logging.error(f"请求失败，状态码为：{response.status_code}") except Exception as e: logging.error(f"请求出错: {e}") def save_to_mysql(movies): # 连接MySQL数据库 connection = pymysql.connect( host='localhost', # 数据库地址 user='root', # 用户名 password='your_password', # 密码 database='douban', # 数据库名 charset='utf8mb4' # 字符集 ) try: with connection.cursor() as cursor: # 创建表（如果不存在） create_table_sql = """ CREATE TABLE IF NOT EXISTS movies ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL UNIQUE ); """ cursor.execute(create_table_sql) connection.commit() # 插入数据 insert_sql = "INSERT IGNORE INTO movies (name) VALUES (%s);" cursor.executemany(insert_sql, [(movie,) for movie in movies]) connection.commit() logging.info("数据插入成功") except Exception as e: logging.error(f"数据库操作出错: {e}") finally: connection.close() if __name__ == '__main__': # 爬取数据 with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: executor.map(get_movie, urls) # 去重和排序 movie_list = list(set(movie_list)) movie_list.sort() # 保存到MySQL save_to_mysql(movie_list) ``` --- ### 代码解释 1. **爬虫部分**： - 使用多线程爬取豆瓣电影Top 250的数据。 - 提取每部电影的名称并存储到`movie_list`中。 2. **数据库部分**： - 使用`pymysql`库连接MySQL数据库。 - 创建一个名为`movies`的表，包含两个字段：`id`（主键，自增）和`name`（电影名称，唯一约束）。 - 使用`INSERT IGNORE`语句插入数据，避免重复插入。 3. **去重和排序**： - 在写入数据库之前对`movie_list`进行去重和排序，确保数据的规范性。 4. **异常处理**： - 对网络请求和数据库操作分别添加了异常捕获，确保程序的健壮性。 --- ###

爬取网易云音乐热歌榜并将其数据放入数据库是一种常见的Web抓取和数据分析任务。首先，你需要完成以下几个步骤： 1. **获取网页内容**： 使用Python的requests库或BeautifulSoup、Scrapy等网络爬虫框架，访问网易云音乐的热歌榜页面（如https://music.163.com/rank/hot）。这些工具可以帮你获取HTML结构。 2. **解析数据**： 利用如lxml或PyQuery这样的库解析HTML，提取需要的数据，比如歌曲名称、歌手、排行榜位置等信息。 3. **数据清洗**： 对从网页上获取的数据进行处理，去除无关的HTML标签，并转换成结构化的数据（如字典或列表）。 4. **存储到数据库**： 使用Python的sqlite3、pymysql或ORM框架（如SQLAlchemy），将数据插入到数据库表中。先创建一个设计合理的数据库表，包括字段如歌曲ID、名称、歌手、排名等。 5. **设置循环和频率限制**： 网页抓取可能会有反爬策略，所以要设定合适的请求间隔（使用time.sleep()函数）和检查网站的robots.txt规则。 ```python import requests from bs4 import BeautifulSoup # ...省略中间部分... def fetch_hot_song_list(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 提取所需数据并清洗 song_data = extract_data_from_soup(soup) # 连接数据库 conn = sqlite3.connect('netEaseMusic.db') cursor = conn.cursor() # 插入数据 for song in song_data: insert_song(cursor, song) # 关闭连接 cursor.close() conn.commit() fetch_hot_song_list("https://music.163.com/rank/hot") ```