爬取股票数据python

最新推荐文章于 2025-06-23 14:05:06 发布

圆周率的后六位

最新推荐文章于 2025-06-23 14:05:06 发布

阅读量1.6w

点赞数 7

CC 4.0 BY-SA版权

文章标签： python 开发语言爬虫数据库金融

本文链接：https://blog.csdn.net/sjfx123456/article/details/139526751

最近在搜集数据要做分析，一般的数据来源是一手数据（生产的）和二手数据（来自其他地方的）。
今天我们爬取同花顺这个网站的数据。url为：https://data.10jqka.com.cn/ipo/xgsgyzq/  
话不多说直接上代码。有帮助到各位的给**点赞评论收藏**。

一导入包

import time
import csv
import requests
from bs4 import BeautifulSoup
import re
import pandas as pd

二 url+requests请求

url = 'https://data.10jqka.com.cn/ipo/xgsgyzq/'
headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
response.encoding = 'GBK' # utf-8
main_string = response.text

三获取字段名称

soup = BeautifulSoup(main_string, 'html') # html.parser
# 正则表达式匹配<a>标签内的文本
pattern = r'<a[^>]*>(.*?)</a>'
matches = re.findall(pattern, str(soup.find_all('th')[