BeautifulSoup requests 和 pymysql

为了编写一个将电商网站图书信息爬取并存储到MSSQL Server数据库的Python爬虫程序，你可以参考这份资料：《Python爬虫代码：抓取当当、京东、亚马逊图书信息》。该资料不仅包含了爬取网页数据的实例，还涵盖了如何使用pymysql库与MSSQL Server进行交互的细节。以下是实现上述功能的关键步骤和示例代码： 参考资源链接：[Python爬虫代码：抓取当当、京东、亚马逊图书信息](https://wenku.csdn.net/doc/2dtjg0zg7z?spm=1055.2569.3001.10343) 首先，使用`requests`库获取网页内容，并利用`BeautifulSoup`进行解析。例如，获取亚马逊图书页面的内容并解析出图书信息： ```python import requests from bs4 import BeautifulSoup def get_book_info(url): response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 假设书名在某个特定的HTML标签中，例如class为'book-title'的标签 book_titles = soup.find_all(class_='book-title') books_info = [] for title in book_titles: book = {} book['title'] = title.get_text().strip() # 继续提取其他信息，如作者、价格等 books_info.append(book) return books_info else: print('Failed to retrieve the webpage') return None ``` 接下来，使用`pymysql`库将提取的图书信息存储到MSSQL Server数据库中。首先需要安装并导入pymysql库，然后建立与数据库的连接，并创建一个游标对象执行SQL语句： ```python import pymysql # 数据库连接参数 db_params = { 'host': 'your_host', # 数据库地址 'port': 3306, # 端口号，默认为3306 'user': 'your_user', # 用户名 'password': 'your_password', # 密码 'db': 'your_db', # 数据库名 'charset': 'utf8mb4', # 字符集 } # 建立连接 connection = pymysql.connect(**db_params) cursor = connection.cursor() # 创建表格的SQL语句 create_table_sql = 参考资源链接：[Python爬虫代码：抓取当当、京东、亚马逊图书信息](https://wenku.csdn.net/doc/2dtjg0zg7z?spm=1055.2569.3001.10343)

在编写Python爬虫程序以从电商网站抓取图书信息并存储到MSSQL Server数据库的过程中，你需要了解如何使用requests库进行网络请求，以及如何使用pymysql库与MSSQL Server数据库交互。以下是一个基本的代码示例，它涵盖了从请求网页、解析内容到存储数据的整个流程： 参考资源链接：[Python爬虫代码：抓取当当、京东、亚马逊图书信息](https://wenku.csdn.net/doc/2dtjg0zg7z?spm=1055.2569.3001.10343) ```python import requests from bs4 import BeautifulSoup import pymysql import re def get_book_info(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 发送GET请求 response = requests.get(url, headers=headers) # 使用BeautifulSoup解析响应内容 soup = BeautifulSoup(response.text, 'html.parser') # 假设图书信息在一个表格中，我们通过正则表达式找到表格的class table_class = 'book_table' books_table = soup.find_all('table', class_=***pile(table_class)) book_list = [] for book in books_table: title = book.find('a').get_text(strip=True) price = book.find('span', class_='price').get_text(strip=True) author = book.find('span', class_='author').get_text(strip=True) book_list.append({'title': title, 'price': price, 'author': author}) return book_list def store_to_mssql(book_list): # 数据库连接设置 connection = pymysql.connect(host='localhost', user='your_username', password='your_password', db='your_dbname', charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor) try: with connection.cursor() as cursor: for book in book_list: # 拼接SQL插入语句 sql = 参考资源链接：[Python爬虫代码：抓取当当、京东、亚马逊图书信息](https://wenku.csdn.net/doc/2dtjg0zg7z?spm=1055.2569.3001.10343)