爬虫项目：京东商品数据爬取

最新推荐文章于 2025-06-24 10:59:03 发布

OnMy22

最新推荐文章于 2025-06-24 10:59:03 发布

阅读量2w

点赞数

CC 4.0 BY-SA版权

分类专栏：项目

本文链接：https://blog.csdn.net/weixin_38654336/article/details/79747544

本文介绍了一个Python爬虫项目，用于抓取京东商品数据并存储到MySQL数据库中。过程中遇到了MySQL的安装、数据抓包、中文乱码问题及京东的验证码挑战。解决方案包括参考其他博文进行MySQL安装，通过抓包获取price和comment字段，解决navicat中文乱码问题，以及后续应对验证码的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spider代码：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from jingdong.items import JingdongItem
import re
import urllib

class JdSpider(scrapy.Spider):
    name = 'jd'
    allowed_domains = ['jd.com']
    start_urls = ['http://jd.com/']

    def parse(self, response):
        key = "笔记本"
        search_url = "https://search.jd.com/Search?keyword=" + key + "&enc=utf-8&wq=" + key
        for i in range(1,101):
            page_url = search_url + "&page=" + str(i*2-1)
            yield Request(url=page_url,callback=self.next)
    def next(self,response):
        id = response.xpath('//ul[@class="gl-warp clearfix"]/li/@data-sku').extract()
        #print(id)
        for j in range(len(id)):
            ture_url = "https://item.jd.com/" + str(id[j]) + ".html"
            yield Request(url=ture_url,callback=self.next2)
    def next2(self,response):
        item = JingdongItem()
        item['title'] = response.xpa