Python爬虫-股票数据定向爬虫（东方财富网）

最新推荐文章于 2025-02-01 01:40:48 发布

错落星辰.

最新推荐文章于 2025-02-01 01:40:48 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_46068895/article/details/106240778

本文介绍了一个Python爬虫项目，旨在从东方财富网抓取上交所和深交所的股票名称及交易信息，使用的技术包括requests、bs4和re。首先，解释了选择数据来源的考虑因素，如信息静态显示、无Robots协议限制。接着，概述了程序的三步结构设计：获取股票列表、获取个股信息和存储结果到文件。最后，展示了部分爬取的股票数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实例：股票数据定向爬虫

功能描述

目标：获取上交所和深交所所有股票的名称和交易信息
输出：保存到文件中
技术路线：requests bs4 re

候选数据网站的选择

选取原则：股票信息静态存在于HTML页面中，非js代码生成，没有Robots协议限制
选取方法：浏览器F12，源代码查看等
选取心态：不要纠结于某个网站，多找信息源尝试

程序的结构设计

步骤1：从东方财富网获取股票列表
步骤2：根据股票列表逐个到百度股票获取个股信息
步骤3：将结果存储到文件

股票数据定向爬虫实例编写：

import requests
from bs4 import BeautifulSoup
import traceback
import re
#获得URL页面
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding='utf-8'
        return r.text
    except:
        return "解析出错"
#获得股票信息列表
def getStockList(lst,stockURL):
    html = getHTMLText(stockURL)
    soup = BeautifulSoup(html,"html.parser")
    a = soup.find_all("a")#股票信息存在于a标签
    for i in a: