活动介绍

这段代码是什么意思dt=(data.iloc[:,1:]-(data.iloc[:,1:].min()))/((data.iloc[:,1:].max())-(data.iloc[:,1:].min())) data.iloc[:,1:]=dt data

时间: 2024-01-14 17:02:08 浏览: 122
这段代码是将数据集中的数值型特征进行归一化处理，使其数值范围在0到1之间。其中，data.iloc[:,1:]表示选取数据集中除第一列（通常为编号或标签）外的所有列，data.iloc[:,1:].min()和data.iloc[:,1:].max()分别表示数据集中数值型特征的最小值和最大值，dt表示归一化后的数据集。最后一行代码data.iloc[:,1:]=dt将归一化后的数据集覆盖原来的数值型特征列。
相关问题

dt=(data.iloc[:,1:]-(data.iloc[:,1:].min()))/((data.iloc[:,1:].max())-(data.iloc[:,1:].min())) In [29]: data.iloc[:,1:]=dt In [30]: data

根据你提供的代码，我的理解是你正在对数据进行归一化处理，将数据的值转换为0到1之间的范围。具体来说，你首先选取数据集中除第一列（假设第一列是标签）外的所有列，然后使用最小-最大归一化的方法将这些列的值重新映射到0到1之间。最后将处理后的值更新到原始数据集中。 需要注意的是，这种归一化处理可能会导致数据集中的一些信息丢失，因此在使用之前需要仔细考虑其优缺点和适用范围。

dt=(data.iloc[:,1:]-(data.iloc[:,1:].min()))/((data.iloc[:,1:].max())-(data.iloc[:,1:].min()))

这是一个使用 pandas 对 DataFrame 进行归一化处理的语法。 归一化是一种常见的数据预处理技术，用于将各个特征的取值范围缩放到相同的区间内，以避免某些特征对模型训练的影响过大。常用的归一化方法有最小-最大规范化（Min-Max Normalization）和 Z-Score 标准化（Z-Score Normalization）等。 在这个语法中，我们使用了 pandas 的 iloc() 方法来选取 DataFrame 中的部分数据，然后进行归一化处理。`data.iloc[:,1:]` 表示选取 DataFrame 中除第一列外的所有数据，即选取特征数据。接着，我们使用了 Min-Max 规范化的方法，将数据缩放到 0 到 1 的区间内。具体来说，我们将每个特征值减去该列的最小值，然后除以该列的取值范围（即最大值减去最小值）。 下面是一个示例，展示如何使用 iloc() 方法和归一化方法对 DataFrame 进行处理： ```python import pandas as pd data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 'age': [25, 30, 35, 40], 'gender': ['F', 'M', 'M', 'M'], 'score': [85.5, 90.0, 82.3, 88.7]} df = pd.DataFrame(data) # 对 DataFrame 进行 Min-Max 归一化处理 dt = (df.iloc[:, 1:] - df.iloc[:, 1:].min()) / (df.iloc[:, 1:].max() - df.iloc[:, 1:].min()) print(dt) ``` 运行结果如下： ``` age score 0 0.00 0.50 1 0.25 1.00 2 0.50 0.00 3 1.00 0.75 ``` 在这个示例中，我们先定义了一个字典 data，并使用 pd.DataFrame(data) 创建了一个 DataFrame。接着，我们使用 iloc() 方法选取了 DataFrame 中除第一列外的所有数据，并使用归一化方法对其进行处理。最后打印出归一化后的 DataFrame。
阅读全文

相关推荐

ppt

数据信息的表示

第2章 数据信息的表示 大学计算机组成原理基础课程
pdf

python：iloc()方法、slice()方法、enumerate()方法、[-1]、[:-1]、[::-1]、[n::-1]方法(切记：切片为左闭右开)

文章目录切片之一维数组切片之二维数组.iloc()函数slice()函数enumerate（） 因为一个切片索引导致一上午在纠结代码肿么回事！ε=(´ο｀*)))唉 话不多说，上例子 切片之一维数组 import numpy as np a=np.arange(5)...
pdf

基于LSTM长短期记忆网络算法的时间序列预测：单输入单输出模型代码详解及数据存储与评估指标.pdf

基于LSTM长短期记忆网络算法的时间序列预测：单输入单输出模型代码详解及数据存储与评估指标.pdf

plt.figure(4) D=data.iloc[:,0] D=list(D.unique()) listl=[] for d in D: dt=data.loc[data['车次']==d,['上车人数']] s=dt.sum() listl.append(s['上车人数'])

这段代码的作用是统计数据集中每个车次的上车人数总和，并将结果存储在一个列表中。具体来说，代码首先创建一个名为4的新图形窗口，然后使用Pandas库中的iloc函数选择数据集的第一列（即车次列），并使用unique函数...

解释该段代码D=data.iloc[:,0] D=list(D.unique()) listl=[] for d in D: dt=data.loc[data['车次']==d,['上车人数']] s=dt.sum() listl.append(s['上车人数']) plt.pie(listl,labels=D,autopct='%1.2f%%')

这段代码主要是对一个数据集进行数据处理和可视化操作。具体来说，代码的流程如下： 1. 从数据集中选取第一列的数据并转换为列表形式，保存在变量D中。 2. 初始化一个空列表listl，用于保存每个车次的上车人数总和...

import pandas as pd from sklearn import preprocessing data=pd.read_csv('wine .csv',encoding='gbk') data data.isna().sum() 变量均值对缺失值进行填充 data['灰的碱度'] = data['灰的碱度'].fillna(data['灰的碱度'].mean()) data['苹果酸'] = data['苹果酸'].fillna(data['苹果酸'].mean()) data['镁'] = data['镁'].fillna(data['镁'].mean()) data['黄酮类化合物'] = data['黄酮类化合物'].fillna(data['黄酮类化合物'].mean()) data['色彩强度'] = data['色彩强度'].fillna(data['色彩强度'].mean()) data['色调'] = data['色调'].fillna(data['色调'].mean()) dt=(data.iloc[:,1:]-(data.iloc[:,1:].min()))/((data.iloc[:,1:].max())-(data.iloc[:,1:].min())) data.iloc[:,1:]=dt data代码解释

这段代码是对读取的名为'wine.csv'的数据进行缺失值处理和数据归一化的操作。 首先，使用pandas库中的read_csv函数读取名为'wine.csv'的数据文件，并指定编码方式为'gbk'。其次，使用isna()函数检查数据中是否存在...

#********** Begin **********# #本关任务： #读取地铁站点进出站客流数据表（Data.xlsx），统计计算获得每个站点每个时刻（除去国庆期间）的总进站客流量和总出站客流量， #用一个数据框来R表示，结果返回R，列名依次为：A1_站点编号、A2_时刻、A3_总进站客流、A4_总出站客流 def return_values(): import pandas as pd import numpy as np #读取数据 df = pd.read_excel('Data.xlsx') df=df.iloc[df['日期'].values>='2015-10-08',:] station = df.iloc[:,0].unique() time = df.iloc[:,2].unique() A1 =[] A2 =[] A3 =[] A4 =[] for i in range(len(station)): d1=df.iloc[df['站点编号'].values==station[i],:] for j in range(len(time)): A1.append(...) A2.append(...) A3.append(...) A4.append(...) R=pd.DataFrame({'A1_站点编号':A1,'A2_时刻':A2,'A3_总进站客流':A3,'A4_总出站客流':A4}) return(R) #********** End **********#给我正确答案

national_day_period = ((data['日期'].dt.month == 10) & (data['日期'].dt.day.between(1, 7))) filtered_data = data[~national_day_period] # 过滤掉国庆期间的数据 # 按照站点编号和时刻分组，并计算总进站...

data.iloc[:,1:]=dt

这段代码将经过归一化处理后的数据dt赋值给原始数据集中除第一列以外的所有列（即数值型数据列），用于替换原始数据集中的数据。这样做的目的是将数据归一化后的结果直接存储到原始数据集中，方便后续的分析和建模。...

import tkinter as tk from tkinter import ttk, filedialog, messagebox, scrolledtext import pandas as pd import numpy as np import os import re class ExcelProcessor: def init(self, root): self.root = root self.root.title(“Excel数据预处理和切分”) self.root.geometry(“1000x600”) self.df = None self.create_widgets() def create_widgets(self): # 顶部控制区域 control_frame = ttk.Frame(self.root, padding=10) control_frame.pack(fill=tk.X) # 文件选择按钮 ttk.Button(control_frame, text="选择Excel文件", command=self.load_excel).grid(row=0, column=0, padx=5) # 处理方式选择 self.process_var = tk.StringVar(value="点击选择") ttk.Label(control_frame, text="处理方式:").grid(row=0, column=1, padx=5) process_combo = ttk.Combobox(control_frame, textvariable=self.process_var, width=15) process_combo['values'] = ( '预处理','数据排序','数据筛选','数据切分','保存结果') process_combo.grid(row=0, column=2, padx=5) # 执行按钮 ttk.Button(control_frame, text="执行", command=self.process_data).grid(row=0, column=3, padx=5) # 数据展示区域 self.notebook = ttk.Notebook(self.root) self.notebook.pack(fill=tk.BOTH, expand=True, padx=10, pady=10) # 预览标签页 self.preview_frame = ttk.Frame(self.notebook) self.notebook.add(self.preview_frame, text="数据展示") # 状态栏 self.status_var = tk.StringVar(value="就绪") ttk.Label(self.root, textvariable=self.status_var, relief=tk.SUNKEN, anchor=tk.W).pack(fill=tk.X, side=tk.BOTTOM) def load_excel(self): """加载Excel文件""" file_path = filedialog.askopenfilename( title="选择Excel文件", filetypes=[("Excel文件", "*.xlsx *.xls"), ("所有文件", "*.*")] ) if not file_path: return try: self.status_var.set(f"正在加载: {os.path.basename(file_path)}...") self.root.update() # 更新界面显示状态 # 读取Excel文件 self.df = pd.read_excel(file_path) # 显示预览数据 self.show_preview() self.status_var.set( f"已加载: {os.path.basename(file_path)} | 行数: {len(self.df)} | 列数: {len(self.df.columns)}") except Exception as e: messagebox.showerror("加载错误", f"无法读取Excel文件:\n{str(e)}") self.status_var.set("加载失败") def preprocess_data(self): """数据预处理对话框 - 整合全部预处理功能""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return preprocess_window = tk.Toplevel(self.root) preprocess_window.title("数据预处理") preprocess_window.geometry("650x800") main_frame = ttk.Frame(preprocess_window) main_frame.pack(fill=tk.BOTH, expand=True, padx=10, pady=10) # ================ 新增：功能启用复选框 ================ enable_frame = ttk.LabelFrame(main_frame, text="启用功能", padding=10) enable_frame.pack(fill=tk.X, pady=5) # 创建启用变量 self.enable_missing = tk.BooleanVar(value=True) self.enable_outlier = tk.BooleanVar(value=True) self.enable_datetime = tk.BooleanVar(value=True) self.enable_lag = tk.BooleanVar(value=True) ttk.Checkbutton(enable_frame, text="执行缺失值处理", variable=self.enable_missing).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="执行异常值处理", variable=self.enable_outlier).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="执行时间列转换", variable=self.enable_datetime).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="添加滞后特征", variable=self.enable_lag).pack(anchor=tk.W) # ================================================= # 1. 缺失值处理部分 missing_frame = ttk.LabelFrame(main_frame, text="缺失值处理", padding=10) missing_frame.pack(fill=tk.X, pady=5) # 缺失值统计显示 missing_stats = self.df.isnull().sum() missing_text = scrolledtext.ScrolledText(missing_frame, height=4) missing_text.pack(fill=tk.X) for col, count in missing_stats.items(): if count > 0: missing_text.insert(tk.END, f"{col}: {count}个缺失值\n") missing_text.config(state=tk.DISABLED) # 缺失值处理方法选择 ttk.Label(missing_frame, text="处理方法:").pack(anchor=tk.W) missing_method_var = tk.StringVar(value="fill") missing_method_frame = ttk.Frame(missing_frame) missing_method_frame.pack(fill=tk.X, pady=5) ttk.Radiobutton(missing_method_frame, text="删除缺失行", variable=missing_method_var, value="drop").pack( side=tk.LEFT) ttk.Radiobutton(missing_method_frame, text="固定值填充", variable=missing_method_var, value="fill").pack( side=tk.LEFT) ttk.Radiobutton(missing_method_frame, text="插值法", variable=missing_method_var, value="interpolate").pack( side=tk.LEFT) # 填充选项 fill_options_frame = ttk.Frame(missing_frame) fill_options_frame.pack(fill=tk.X, pady=5) ttk.Label(fill_options_frame, text="填充值:").pack(side=tk.LEFT) fill_value_entry = ttk.Entry(fill_options_frame, width=10) fill_value_entry.pack(side=tk.LEFT, padx=5) fill_value_entry.insert(0, "0") ttk.Label(fill_options_frame, text="或选择:").pack(side=tk.LEFT, padx=5) fill_type_var = tk.StringVar(value="fixed") ttk.Radiobutton(fill_options_frame, text="前值填充", variable=fill_type_var, value="ffill").pack(side=tk.LEFT) ttk.Radiobutton(fill_options_frame, text="后值填充", variable=fill_type_var, value="bfill").pack(side=tk.LEFT) ttk.Radiobutton(fill_options_frame, text="均值填充", variable=fill_type_var, value="mean").pack(side=tk.LEFT) # 2. 异常值处理部分 outlier_frame = ttk.LabelFrame(main_frame, text="异常值处理", padding=10) outlier_frame.pack(fill=tk.X, pady=5) # 异常值检测方法 ttk.Label(outlier_frame, text="检测方法:").pack(anchor=tk.W) outlier_method_var = tk.StringVar(value="3sigma") outlier_method_frame = ttk.Frame(outlier_frame) outlier_method_frame.pack(fill=tk.X) ttk.Radiobutton(outlier_method_frame, text="3σ原则", variable=outlier_method_var, value="3sigma").pack( side=tk.LEFT) ttk.Radiobutton(outlier_method_frame, text="IQR方法", variable=outlier_method_var, value="iqr").pack( side=tk.LEFT) # 异常值处理方式 ttk.Label(outlier_frame, text="处理方式:").pack(anchor=tk.W) outlier_action_var = tk.StringVar(value="remove") outlier_action_frame = ttk.Frame(outlier_frame) outlier_action_frame.pack(fill=tk.X) ttk.Radiobutton(outlier_action_frame, text="删除", variable=outlier_action_var, value="remove").pack( side=tk.LEFT) ttk.Radiobutton(outlier_action_frame, text="用中位数替换", variable=outlier_action_var, value="median").pack( side=tk.LEFT) ttk.Radiobutton(outlier_action_frame, text="用前后均值替换", variable=outlier_action_var, value="neighbor").pack(side=tk.LEFT) # 3. 数据类型转换部分 type_frame = ttk.LabelFrame(main_frame, text="数据类型转换", padding=10) type_frame.pack(fill=tk.X, pady=5) # 时间列转换 ttk.Label(type_frame, text="时间列转换:").pack(anchor=tk.W) time_col_var = tk.StringVar() time_col_combo = ttk.Combobox(type_frame, textvariable=time_col_var, width=20) time_col_combo['values'] = tuple(self.df.columns) time_col_combo.pack(anchor=tk.W, pady=5) # === 新增：时间单位选择 === time_units_frame = ttk.Frame(type_frame) time_units_frame.pack(fill=tk.X, pady=5) ttk.Label(time_units_frame, text="提取时间单位:").pack(side=tk.LEFT) # 创建时间单位变量 self.extract_year = tk.BooleanVar(value=True) self.extract_month = tk.BooleanVar(value=True) self.extract_day = tk.BooleanVar(value=True) self.extract_hour = tk.BooleanVar(value=False) self.extract_minute = tk.BooleanVar(value=False) self.extract_second = tk.BooleanVar(value=False) # 添加复选框 ttk.Checkbutton(time_units_frame, text="年", variable=self.extract_year).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="月", variable=self.extract_month).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="日", variable=self.extract_day).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="时", variable=self.extract_hour).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="分", variable=self.extract_minute).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="秒", variable=self.extract_second).pack(side=tk.LEFT, padx=5) # === 修改时间转换逻辑 === if self.enable_datetime.get(): time_col = time_col_var.get() if time_col and time_col in self.df.columns: try: # 统一处理不同日期格式 self.df[time_col] = self.df[time_col].apply( lambda x: pd.to_datetime(x, errors='coerce', format='mixed') ) # 强制显示完整时间格式 pd.set_option('display.datetime_format', '%Y-%m-%d %H:%M:%S') # 根据用户选择提取时间单位 if self.extract_year.get(): self.df['year'] = self.df[time_col].dt.year if self.extract_month.get(): self.df['month'] = self.df[time_col].dt.month if self.extract_day.get(): self.df['day'] = self.df[time_col].dt.day if self.extract_hour.get(): self.df['hour'] = self.df[time_col].dt.hour if self.extract_minute.get(): self.df['minute'] = self.df[time_col].dt.minute if self.extract_second.get(): self.df['second'] = self.df[time_col].dt.second # 新增：确保时间部分显示 self.df['full_datetime'] = self.df[time_col].dt.strftime('%Y-%m-%d %H:%M:%S') # 时间周期特征 if self.extract_hour.get() or self.extract_minute.get(): self.df['time_of_day'] = self.df[time_col].dt.hour + self.df[time_col].dt.minute / 60.0 if self.extract_second.get(): self.df['time_of_day'] += self.df[time_col].dt.second / 3600.0 except Exception as e: messagebox.showerror("时间转换错误", f"时间列转换失败: {str(e)}") # 4. 特征工程部分 feature_frame = ttk.LabelFrame(main_frame, text="特征工程", padding=10) feature_frame.pack(fill=tk.X, pady=5) # 添加滞后特征 ttk.Label(feature_frame, text="滞后特征:").pack(anchor=tk.W) lag_frame = ttk.Frame(feature_frame) lag_frame.pack(fill=tk.X) ttk.Label(lag_frame, text="选择列:").pack(side=tk.LEFT) lag_col_var = tk.StringVar() lag_col_combo = ttk.Combobox(lag_frame, textvariable=lag_col_var, width=15) lag_col_combo['values'] = tuple(self.df.select_dtypes(include=['number']).columns) lag_col_combo.pack(side=tk.LEFT, padx=5) ttk.Label(lag_frame, text="滞后步数:").pack(side=tk.LEFT) lag_steps_entry = ttk.Entry(lag_frame, width=5) lag_steps_entry.pack(side=tk.LEFT) lag_steps_entry.insert(0, "1") # 执行预处理按钮 def apply_preprocessing(): try: original_shape = self.df.shape # 1. 处理缺失值 (如果启用) if self.enable_missing.get(): missing_method = missing_method_var.get() if missing_method == "drop": self.df = self.df.dropna() elif missing_method == "fill": fill_type = fill_type_var.get() if fill_type == "fixed": fill_value = fill_value_entry.get() self.df = self.df.fillna( float(fill_value) if self.df.select_dtypes(include=['number']).shape[ 1] > 0 else fill_value) elif fill_type == "ffill": self.df = self.df.ffill() elif fill_type == "bfill": self.df = self.df.bfill() elif fill_type == "mean": self.df = self.df.fillna(self.df.mean()) elif missing_method == "interpolate": self.df = self.df.interpolate() # 2. 处理异常值 (如果启用) if self.enable_outlier.get(): outlier_method = outlier_method_var.get() outlier_action = outlier_action_var.get() numeric_cols = self.df.select_dtypes(include=['number']).columns for col in numeric_cols: if outlier_method == "3sigma": mean, std = self.df[col].mean(), self.df[col].std() lower, upper = mean - 3 * std, mean + 3 * std else: # iqr q1, q3 = self.df[col].quantile(0.25), self.df[col].quantile(0.75) iqr = q3 - q1 lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr if outlier_action == "remove": self.df = self.df[(self.df[col] >= lower) & (self.df[col] <= upper)] elif outlier_action == "median": self.df.loc[(self.df[col] < lower) | (self.df[col] > upper), col] = self.df[col].median() elif outlier_action == "neighbor": mask = (self.df[col] < lower) | (self.df[col] > upper) self.df.loc[mask, col] = self.df[col].rolling(2, min_periods=1).mean()[mask] # 3. 时间列转换 (如果启用) if self.enable_datetime.get(): time_col = time_col_var.get() if time_col and time_col in self.df.columns: try: self.df[time_col] = pd.to_datetime(self.df[time_col]) self.df['year'] = self.df[time_col].dt.year self.df['month'] = self.df[time_col].dt.month self.df['day'] = self.df[time_col].dt.day except Exception as e: messagebox.showwarning("时间转换警告", f"时间列转换失败: {str(e)}") # 4. 添加滞后特征 (如果启用) if self.enable_lag.get(): lag_col = lag_col_var.get() if lag_col and lag_col in self.df.columns: try: lag_steps = int(lag_steps_entry.get()) self.df[f'{lag_col}_lag{lag_steps}'] = self.df[lag_col].shift(lag_steps) except Exception as e: messagebox.showwarning("滞后特征警告", f"创建滞后特征失败: {str(e)}") # ========================================================= # 更新显示 self.show_preview() preprocess_window.destroy() new_shape = self.df.shape self.status_var.set(f"预处理完成 | 原形状: {original_shape} | 新形状: {new_shape}") except Exception as e: messagebox.showerror("预处理错误", f"预处理过程中发生错误:\n{str(e)}") ttk.Button(main_frame, text="执行预处理", command=apply_preprocessing).pack(pady=10) def show_preview(self): """在表格中分页显示数据预览""" # 清除旧内容 for widget in self.preview_frame.winfo_children(): widget.destroy() # 创建主容器 container = ttk.Frame(self.preview_frame) container.pack(fill=tk.BOTH, expand=True) # 创建表格 columns = list(self.df.columns) self.tree = ttk.Treeview(container, columns=columns, show="headings") # 添加列标题 for col in columns: self.tree.heading(col, text=col) self.tree.column(col, width=100, anchor=tk.W) # 添加滚动条 scrollbar = ttk.Scrollbar(container, orient=tk.VERTICAL, command=self.tree.yview) self.tree.configure(yscroll=scrollbar.set) # 布局表格和滚动条 self.tree.pack(side=tk.LEFT, fill=tk.BOTH, expand=True) scrollbar.pack(side=tk.RIGHT, fill=tk.Y) # 创建分页控制面板 pagination_frame = ttk.Frame(self.preview_frame) pagination_frame.pack(fill=tk.X, pady=5) # 分页参数 self.current_page = 1 self.rows_per_page = 1000 # 每页显示的行数 self.total_pages = max(1, (len(self.df) + self.rows_per_page - 1) // self.rows_per_page) # 分页标签 self.page_label = ttk.Label(pagination_frame, text=f"第 {self.current_page} 页 / 共 {self.total_pages} 页") self.page_label.pack(side=tk.LEFT, padx=10) # 分页按钮 ttk.Button(pagination_frame, text="首页", command=lambda: self.change_page(1)).pack(side=tk.LEFT) ttk.Button(pagination_frame, text="上一页", command=lambda: self.change_page(self.current_page - 1)).pack( side=tk.LEFT) ttk.Button(pagination_frame, text="下一页", command=lambda: self.change_page(self.current_page + 1)).pack( side=tk.LEFT) ttk.Button(pagination_frame, text="末页", command=lambda: self.change_page(self.total_pages)).pack(side=tk.LEFT) # 跳转输入框 ttk.Label(pagination_frame, text="跳转到:").pack(side=tk.LEFT, padx=(10, 0)) self.page_entry = ttk.Entry(pagination_frame, width=5) self.page_entry.pack(side=tk.LEFT) ttk.Button(pagination_frame, text="跳转", command=self.jump_to_page).pack(side=tk.LEFT, padx=(5, 10)) # 显示第一页数据 self.load_page_data() def load_page_data(self): """加载当前页的数据""" # 清空现有数据 for item in self.tree.get_children(): self.tree.delete(item) # 计算起始和结束索引 start_idx = (self.current_page - 1) * self.rows_per_page end_idx = start_idx + self.rows_per_page # 添加当前页的数据行 for i, row in self.df.iloc[start_idx:end_idx].iterrows(): self.tree.insert("", tk.END, values=list(row)) # 更新分页标签 self.page_label.config(text=f"第 {self.current_page} 页 / 共 {self.total_pages} 页") self.page_entry.delete(0, tk.END) self.page_entry.insert(0, str(self.current_page)) def change_page(self, new_page): """切换页面""" # 确保新页码在有效范围内 new_page = max(1, min(new_page, self.total_pages)) if new_page != self.current_page: self.current_page = new_page self.load_page_data() def jump_to_page(self): """跳转到指定页码""" try: page_num = int(self.page_entry.get()) self.change_page(page_num) except ValueError: messagebox.showerror("错误", "请输入有效的页码数字") def process_data(self): """根据选择的处理方式处理数据""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return process_type = self.process_var.get() if process_type == "数据排序": self.sort_data() elif process_type == "保存结果": self.save_data() elif process_type == "预处理": self.preprocess_data() elif process_type == "数据切分": self.divide_data() elif process_type == "数据筛选": self.filter_data() def sort_data(self): """数据排序对话框""" sort_window = tk.Toplevel(self.root) sort_window.title("数据排序") sort_window.geometry("400x300") ttk.Label(sort_window, text="选择排序列:").pack(pady=10) # 列选择 col_var = tk.StringVar() col_combo = ttk.Combobox(sort_window, textvariable=col_var, width=20) col_combo['values'] = tuple(self.df.columns) col_combo.pack(pady=5) # 排序方式 ttk.Label(sort_window, text="排序方式:").pack(pady=10) order_var = tk.StringVar(value="ascending") ttk.Radiobutton(sort_window, text="升序", variable=order_var, value="ascending").pack() ttk.Radiobutton(sort_window, text="降序", variable=order_var, value="descending").pack() def apply_sort(): if not col_var.get(): messagebox.showwarning("警告", "请选择排序列") return try: ascending = (order_var.get() == "ascending") self.df = self.df.sort_values(by=col_var.get(), ascending=ascending) self.show_preview() sort_window.destroy() self.status_var.set(f"数据已按 {col_var.get()} {'升序' if ascending else '降序'} 排序") except Exception as e: messagebox.showerror("排序错误", f"排序失败:\n{str(e)}") ttk.Button(sort_window, text="应用排序", command=apply_sort).pack(pady=20) def filter_data(self): """数据筛选对话框 - 支持多条件筛选""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return filter_window = tk.Toplevel(self.root) filter_window.title("数据筛选") filter_window.geometry("700x600") main_frame = ttk.Frame(filter_window, padding=10) main_frame.pack(fill=tk.BOTH, expand=True) # 条件容器 conditions_frame = ttk.LabelFrame(main_frame, text="筛选条件", padding=10) conditions_frame.pack(fill=tk.BOTH, expand=True, pady=5) # 条件列表 self.filter_conditions = [] # 添加初始条件行 def add_condition_row(parent_frame, index=0): """添加单行筛选条件""" condition_frame = ttk.Frame(parent_frame) condition_frame.pack(fill=tk.X, pady=5) # 列选择 col_var = tk.StringVar() col_combo = ttk.Combobox(condition_frame, textvariable=col_var, width=15) col_combo['values'] = tuple(self.df.columns) col_combo.pack(side=tk.LEFT, padx=5) # 运算符选择 operator_var = tk.StringVar(value="==") operator_combo = ttk.Combobox(condition_frame, textvariable=operator_var, width=5) operator_combo['values'] = ("==", "!=", ">", ">=", "<", "<=", "包含", "不包含", "开头是", "结尾是") operator_combo.pack(side=tk.LEFT, padx=5) # 值输入 value_var = tk.StringVar() value_entry = ttk.Entry(condition_frame, textvariable=value_var, width=20) value_entry.pack(side=tk.LEFT, padx=5) # 删除按钮 def remove_condition(): condition_frame.destroy() self.filter_conditions.remove((col_var, operator_var, value_var)) remove_btn = ttk.Button(condition_frame, text="×", width=2, command=remove_condition) remove_btn.pack(side=tk.RIGHT, padx=5) # 逻辑关系选择（从第二行开始） if index > 0: logic_var = tk.StringVar(value="AND") logic_combo = ttk.Combobox(condition_frame, textvariable=logic_var, width=5) logic_combo['values'] = ("AND", "OR") logic_combo.pack(side=tk.LEFT, padx=5) return (col_var, operator_var, value_var, logic_var) else: return (col_var, operator_var, value_var, None) # 添加条件按钮 def add_condition(): new_condition = add_condition_row(conditions_frame, len(self.filter_conditions)) self.filter_conditions.append(new_condition) # 初始添加两行条件 self.filter_conditions.append(add_condition_row(conditions_frame)) self.filter_conditions.append(add_condition_row(conditions_frame, 1)) add_btn = ttk.Button(main_frame, text="添加条件", command=add_condition) add_btn.pack(anchor=tk.W, pady=5) # 预览区域 preview_frame = ttk.LabelFrame(main_frame, text="筛选结果预览", padding=10) preview_frame.pack(fill=tk.BOTH, expand=True, pady=5) preview_tree = ttk.Treeview(preview_frame, show="headings") preview_tree.pack(side=tk.LEFT, fill=tk.BOTH, expand=True) vsb = ttk.Scrollbar(preview_frame, orient="vertical", command=preview_tree.yview) vsb.pack(side=tk.RIGHT, fill=tk.Y) preview_tree.configure(yscrollcommand=vsb.set) # 更新预览 def update_preview(): """更新筛选结果预览""" try: # 清空现有预览 for item in preview_tree.get_children(): preview_tree.delete(item) # 如果没有条件，显示所有数据 if not any(cond[0].get() for cond in self.filter_conditions): filtered_df = self.df.head(100) # 限制预览行数 else: # 构建查询字符串 query_parts = [] for i, (col_var, operator_var, value_var, logic_var) in enumerate(self.filter_conditions): if not col_var.get() or not value_var.get(): continue col = col_var.get() operator = operator_var.get() value = value_var.get() # 处理数值类型 if self.df[col].dtype in (int, float): try: value = float(value) except ValueError: messagebox.showwarning("类型错误", f"列 '{col}' 是数值类型，请输入数字") return # 构建条件表达式 if operator in ("==", "!=", ">", ">=", "<", "<="): expr = f"{col} {operator} {repr(value)}" elif operator == "包含": expr = f"{col}.str.contains({repr(value)}, na=False)" elif operator == "不包含": expr = f"~{col}.str.contains({repr(value)}, na=False)" elif operator == "开头是": expr = f"{col}.str.startswith({repr(value)}, na=False)" elif operator == "结尾是": expr = f"{col}.str.endswith({repr(value)}, na=False)" # 添加逻辑关系（从第二个条件开始） if i > 0 and logic_var and logic_var.get(): expr = f" {logic_var.get()} {expr}" query_parts.append(expr) # 执行查询 query_str = "".join(query_parts) if query_str: filtered_df = self.df.query(query_str, engine='python').head(100) # 限制预览行数 else: filtered_df = self.df.head(100) # 更新预览表格 preview_tree["columns"] = list(filtered_df.columns) for col in filtered_df.columns: preview_tree.heading(col, text=col) preview_tree.column(col, width=100, anchor=tk.W) # 添加数据行 for _, row in filtered_df.iterrows(): preview_tree.insert("", tk.END, values=list(row)) # 更新状态 self.status_var.set(f"预览: {len(filtered_df)} 行 (显示前100条)") except Exception as e: messagebox.showerror("筛选错误", f"筛选条件错误:\n{str(e)}") # 应用筛选按钮 def apply_filter(): """应用筛选条件到主数据集""" try: # 构建查询字符串 query_parts = [] for i, (col_var, operator_var, value_var, logic_var) in enumerate(self.filter_conditions): if not col_var.get() or not value_var.get(): continue col = col_var.get() operator = operator_var.get() value = value_var.get() # 处理数值类型 if self.df[col].dtype in (int, float): try: value = float(value) except ValueError: messagebox.showwarning("类型错误", f"列 '{col}' 是数值类型，请输入数字") return # 构建条件表达式 if operator in ("==", "!=", ">", ">=", "<", "<="): expr = f"{col} {operator} {repr(value)}" elif operator == "包含": expr = f"{col}.str.contains({repr(value)}, na=False)" elif operator == "不包含": expr = f"~{col}.str.contains({repr(value)}, na=False)" elif operator == "开头是": expr = f"{col}.str.startswith({repr(value)}, na=False)" elif operator == "结尾是": expr = f"{col}.str.endswith({repr(value)}, na=False)" # 添加逻辑关系（从第二个条件开始） if i > 0 and logic_var and logic_var.get(): expr = f" {logic_var.get()} {expr}" query_parts.append(expr) # 执行查询 query_str = "".join(query_parts) if query_str: original_count = len(self.df) self.df = self.df.query(query_str, engine='python') new_count = len(self.df) # 更新显示 self.show_preview() filter_window.destroy() self.status_var.set(f"筛选完成 | 原始行数: {original_count} | 筛选后: {new_count}") messagebox.showinfo("筛选完成", f"数据筛选完成，保留 {new_count} 行数据") else: messagebox.showwarning("警告", "未设置有效筛选条件") except Exception as e: messagebox.showerror("筛选错误", f"应用筛选条件失败:\n{str(e)}") # 按钮区域 btn_frame = ttk.Frame(main_frame) btn_frame.pack(fill=tk.X, pady=10) ttk.Button(btn_frame, text="预览", command=update_preview).pack(side=tk.LEFT, padx=5) ttk.Button(btn_frame, text="应用筛选", command=apply_filter).pack(side=tk.LEFT, padx=5) ttk.Button(btn_frame, text="取消", command=filter_window.destroy).pack(side=tk.RIGHT, padx=5) # 初始预览 update_preview() def divide_data(self): """数据切分对话框 - 专门用于大坝渗流问题模型训练和测试""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return # 检查时间列是否存在 datetime_cols = [col for col in self.df.columns if pd.api.types.is_datetime64_any_dtype(self.df[col])] if not datetime_cols: messagebox.showwarning("警告", "未找到时间列，请先进行时间转换") return divide_window = tk.Toplevel(self.root) divide_window.title("大坝渗流数据切分") divide_window.geometry("600x550") main_frame = ttk.Frame(divide_window, padding=15) main_frame.pack(fill=tk.BOTH, expand=True) # 1. 时间列选择 time_frame = ttk.LabelFrame(main_frame, text="时间列选择", padding=10) time_frame.pack(fill=tk.X, pady=5) ttk.Label(time_frame, text="选择时间列:").pack(anchor=tk.W, pady=3) self.time_col_var = tk.StringVar(value=datetime_cols[0]) time_combo = ttk.Combobox(time_frame, textvariable=self.time_col_var, width=25) time_combo['values'] = tuple(datetime_cols) time_combo.pack(anchor=tk.W, fill=tk.X, pady=3) # 显示时间范围 time_range_frame = ttk.Frame(time_frame) time_range_frame.pack(fill=tk.X, pady=5) # 获取最小和最大时间 time_col = self.time_col_var.get() min_time = self.df[time_col].min().strftime('%Y-%m-%d %H:%M') max_time = self.df[time_col].max().strftime('%Y-%m-%d %H:%M') ttk.Label(time_range_frame, text="时间范围:").pack(side=tk.LEFT) ttk.Label(time_range_frame, text=f"{min_time} 至 {max_time}", font=("Arial", 9, "bold")).pack(side=tk.LEFT, padx=5) # 2. 切分方式选择 method_frame = ttk.LabelFrame(main_frame, text="切分方式", padding=10) method_frame.pack(fill=tk.X, pady=5) self.divide_method = tk.StringVar(value="ratio") # 按比例切分 ratio_frame = ttk.Frame(method_frame) ratio_frame.pack(fill=tk.X, pady=3) ttk.Radiobutton(ratio_frame, text="按比例切分", variable=self.divide_method, value="ratio").pack(side=tk.LEFT) ratio_subframe = ttk.Frame(ratio_frame) ratio_subframe.pack(side=tk.LEFT, padx=10) ttk.Label(ratio_subframe, text="训练集比例:").pack(side=tk.LEFT) self.train_ratio_var = tk.DoubleVar(value=0.8) ratio_spin = ttk.Spinbox(ratio_subframe, from_=0.1, to=0.9, increment=0.05, width=5, textvariable=self.train_ratio_var) ratio_spin.pack(side=tk.LEFT, padx=5) # 按时间点切分 date_frame = ttk.Frame(method_frame) date_frame.pack(fill=tk.X, pady=3) ttk.Radiobutton(date_frame, text="按时间点切分", variable=self.divide_method, value="date").pack(side=tk.LEFT) date_subframe = ttk.Frame(date_frame) date_subframe.pack(side=tk.LEFT, padx=10) ttk.Label(date_subframe, text="切分时间:").pack(side=tk.LEFT) # 使用日历控件选择日期 self.divide_date_var = tk.StringVar(value=min_time) date_entry = ttk.Entry(date_subframe, textvariable=self.divide_date_var, width=16) date_entry.pack(side=tk.LEFT, padx=5) # 3. 数据集选择 dataset_frame = ttk.LabelFrame(main_frame, text="选择数据集", padding=10) dataset_frame.pack(fill=tk.X, pady=5) self.dataset_var = tk.StringVar(value="train") ttk.Radiobutton(dataset_frame, text="训练集 (切分点之前)", variable=self.dataset_var, value="train").pack(anchor=tk.W) ttk.Radiobutton(dataset_frame, text="测试集 (切分点之后)", variable=self.dataset_var, value="test").pack(anchor=tk.W) ttk.Radiobutton(dataset_frame, text="全部数据 (仅划分，不切分)", variable=self.dataset_var, value="all").pack(anchor=tk.W) # 4. 添加切分标记选项 mark_frame = ttk.LabelFrame(main_frame, text="切分标记", padding=10) mark_frame.pack(fill=tk.X, pady=5) self.mark_division = tk.BooleanVar(value=True) ttk.Checkbutton(mark_frame, text="添加数据集标记列 (train/test)", variable=self.mark_division).pack(anchor=tk.W) # 5. 执行按钮 btn_frame = ttk.Frame(main_frame) btn_frame.pack(fill=tk.X, pady=10) def apply_division(): """应用数据切分""" try: time_col = self.time_col_var.get() # 确保数据按时间排序 self.df = self.df.sort_values(by=time_col) # 计算切分点 if self.divide_method.get() == "ratio": ratio = self.train_ratio_var.get() split_index = int(len(self.df) * ratio) split_time = self.df.iloc[split_index][time_col] else: # 按时间点切分 split_time = pd.to_datetime(self.divide_date_var.get()) split_index = self.df[self.df[time_col] <= split_time].index.max() + 1 # 添加数据集标记列 if self.mark_division.get(): self.df['dataset'] = 'train' self.df.loc[split_index:, 'dataset'] = 'test' # 根据选择获取数据集 dataset_choice = self.dataset_var.get() if dataset_choice == "train": self.df = self.df.iloc[:split_index] result_type = "训练集" elif dataset_choice == "test": self.df = self.df.iloc[split_index:] result_type = "测试集" else: result_type = "全部数据 (已添加标记)" # 更新显示 self.show_preview() divide_window.destroy() self.status_var.set(f"数据切分完成 | {result_type} | 切分点: {split_time.strftime('%Y-%m-%d %H:%M')}") messagebox.showinfo("切分完成", f"大坝渗流数据切分完成\n当前数据集: {result_type}") except Exception as e: messagebox.showerror("切分错误", f"数据切分失败:\n{str(e)}") def preview_division(): """预览切分点""" try: time_col = self.time_col_var.get() if self.divide_method.get() == "ratio": ratio = self.train_ratio_var.get() split_index = int(len(self.df) * ratio) split_time = self.df.iloc[split_index][time_col] else: split_time = pd.to_datetime(self.divide_date_var.get()) split_index = self.df[self.df[time_col] <= split_time].index.max() + 1 train_count = split_index test_count = len(self.df) - split_index messagebox.showinfo("切分预览", f"切分点时间: {split_time.strftime('%Y-%m-%d %H:%M')}\n" f"训练集数据量: {train_count} 行 ({train_count / len(self.df) * 100:.1f}%)\n" f"测试集数据量: {test_count} 行 ({test_count / len(self.df) * 100:.1f}%)") except Exception as e: messagebox.showerror("预览错误", f"切分点预览失败:\n{str(e)}") ttk.Button(btn_frame, text="预览切分点", command=preview_division).pack(side=tk.LEFT, padx=5) ttk.Button(btn_frame, text="应用切分", command=apply_division).pack(side=tk.LEFT, padx=5) ttk.Button(btn_frame, text="取消", command=divide_window.destroy).pack(side=tk.RIGHT, padx=5) def save_data(self): """保存处理结果""" if self.df is None or self.df.empty: messagebox.showwarning("警告", "没有可保存的数据") return save_path = filedialog.asksaveasfilename( defaultextension=".xlsx", filetypes=[("Excel文件", "*.xlsx"), ("CSV文件", "*.csv")] ) if not save_path: return try: if save_path.endswith('.xlsx'): self.df.to_excel(save_path, index=False) else: self.df.to_csv(save_path, index=False) self.status_var.set(f"文件已保存至: {os.path.basename(save_path)}") messagebox.showinfo("保存成功", f"文件已成功保存至:\n{save_path}") except Exception as e: messagebox.showerror("保存错误", f"保存文件失败:\n{str(e)}") 创建并运行程序 if name == “main”: root = tk.Tk() app = ExcelProcessor(root) root.mainloop() 我是想让你设计成这样的一个窗口格式可以选择excel文件当作训练集和测试集

self.data_scroll_x = ttk.Scrollbar(self.data_frame, orient=tk.HORIZONTAL, command=self.data_text.xview) self.data_text.configure(yscrollcommand=self.data_scroll_y.set, xscrollcommand=self.data_...

import tkinter as tk from tkinter import ttk, filedialog, messagebox, scrolledtext import pandas as pd import numpy as np import os import re class ExcelProcessor: def __init__(self, root): self.root = root self.root.title("Excel数据处理器") self.root.geometry("900x600") self.df = None self.create_widgets() def create_widgets(self): # 顶部控制区域 control_frame = ttk.Frame(self.root, padding=10) control_frame.pack(fill=tk.X) # 文件选择按钮 ttk.Button(control_frame, text="选择Excel文件", command=self.load_excel).grid(row=0, column=0, padx=5) # 处理方式选择 self.process_var = tk.StringVar(value="点击选择") ttk.Label(control_frame, text="处理方式:").grid(row=0, column=1, padx=5) process_combo = ttk.Combobox(control_frame, textvariable=self.process_var, width=15) process_combo['values'] = ( '统计', '预处理','数据排序', '数据切分','保存结果') process_combo.grid(row=0, column=2, padx=5) # 执行按钮 ttk.Button(control_frame, text="执行", command=self.process_data).grid(row=0, column=3, padx=5) # 数据展示区域 self.notebook = ttk.Notebook(self.root) self.notebook.pack(fill=tk.BOTH, expand=True, padx=10, pady=10) # 预览标签页 self.preview_frame = ttk.Frame(self.notebook) self.notebook.add(self.preview_frame, text="数据展示") # 统计标签页 self.stats_frame = ttk.Frame(self.notebook) self.notebook.add(self.stats_frame, text="统计信息") # 状态栏 self.status_var = tk.StringVar(value="就绪") ttk.Label(self.root, textvariable=self.status_var, relief=tk.SUNKEN, anchor=tk.W).pack(fill=tk.X, side=tk.BOTTOM) def load_excel(self): """加载Excel文件""" file_path = filedialog.askopenfilename( title="选择Excel文件", filetypes=[("Excel文件", "*.xlsx *.xls"), ("所有文件", "*.*")] ) if not file_path: return try: self.status_var.set(f"正在加载: {os.path.basename(file_path)}...") self.root.update() # 更新界面显示状态 # 读取Excel文件 self.df = pd.read_excel(file_path) # 显示预览数据 self.show_preview() self.status_var.set( f"已加载: {os.path.basename(file_path)} | 行数: {len(self.df)} | 列数: {len(self.df.columns)}") except Exception as e: messagebox.showerror("加载错误", f"无法读取Excel文件:\n{str(e)}") self.status_var.set("加载失败") def preprocess_data(self): """数据预处理对话框 - 整合全部预处理功能""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return preprocess_window = tk.Toplevel(self.root) preprocess_window.title("数据预处理") preprocess_window.geometry("650x800") main_frame = ttk.Frame(preprocess_window) main_frame.pack(fill=tk.BOTH, expand=True, padx=10, pady=10) # ================ 新增：功能启用复选框 ================ enable_frame = ttk.LabelFrame(main_frame, text="启用功能", padding=10) enable_frame.pack(fill=tk.X, pady=5) # 创建启用变量 self.enable_missing = tk.BooleanVar(value=True) self.enable_outlier = tk.BooleanVar(value=True) self.enable_datetime = tk.BooleanVar(value=True) self.enable_lag = tk.BooleanVar(value=True) ttk.Checkbutton(enable_frame, text="执行缺失值处理", variable=self.enable_missing).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="执行异常值处理", variable=self.enable_outlier).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="执行时间列转换", variable=self.enable_datetime).pack(anchor=tk.W) ttk.Checkbutton(enable_frame, text="添加滞后特征", variable=self.enable_lag).pack(anchor=tk.W) # ================================================= # 1. 缺失值处理部分 missing_frame = ttk.LabelFrame(main_frame, text="缺失值处理", padding=10) missing_frame.pack(fill=tk.X, pady=5) # 缺失值统计显示 missing_stats = self.df.isnull().sum() missing_text = scrolledtext.ScrolledText(missing_frame, height=4) missing_text.pack(fill=tk.X) for col, count in missing_stats.items(): if count > 0: missing_text.insert(tk.END, f"{col}: {count}个缺失值\n") missing_text.config(state=tk.DISABLED) # 缺失值处理方法选择 ttk.Label(missing_frame, text="处理方法:").pack(anchor=tk.W) missing_method_var = tk.StringVar(value="fill") missing_method_frame = ttk.Frame(missing_frame) missing_method_frame.pack(fill=tk.X, pady=5) ttk.Radiobutton(missing_method_frame, text="删除缺失行", variable=missing_method_var, value="drop").pack( side=tk.LEFT) ttk.Radiobutton(missing_method_frame, text="固定值填充", variable=missing_method_var, value="fill").pack( side=tk.LEFT) ttk.Radiobutton(missing_method_frame, text="插值法", variable=missing_method_var, value="interpolate").pack( side=tk.LEFT) # 填充选项 fill_options_frame = ttk.Frame(missing_frame) fill_options_frame.pack(fill=tk.X, pady=5) ttk.Label(fill_options_frame, text="填充值:").pack(side=tk.LEFT) fill_value_entry = ttk.Entry(fill_options_frame, width=10) fill_value_entry.pack(side=tk.LEFT, padx=5) fill_value_entry.insert(0, "0") ttk.Label(fill_options_frame, text="或选择:").pack(side=tk.LEFT, padx=5) fill_type_var = tk.StringVar(value="fixed") ttk.Radiobutton(fill_options_frame, text="前值填充", variable=fill_type_var, value="ffill").pack(side=tk.LEFT) ttk.Radiobutton(fill_options_frame, text="后值填充", variable=fill_type_var, value="bfill").pack(side=tk.LEFT) ttk.Radiobutton(fill_options_frame, text="均值填充", variable=fill_type_var, value="mean").pack(side=tk.LEFT) # 2. 异常值处理部分 outlier_frame = ttk.LabelFrame(main_frame, text="异常值处理", padding=10) outlier_frame.pack(fill=tk.X, pady=5) # 异常值检测方法 ttk.Label(outlier_frame, text="检测方法:").pack(anchor=tk.W) outlier_method_var = tk.StringVar(value="3sigma") outlier_method_frame = ttk.Frame(outlier_frame) outlier_method_frame.pack(fill=tk.X) ttk.Radiobutton(outlier_method_frame, text="3σ原则", variable=outlier_method_var, value="3sigma").pack( side=tk.LEFT) ttk.Radiobutton(outlier_method_frame, text="IQR方法", variable=outlier_method_var, value="iqr").pack( side=tk.LEFT) # 异常值处理方式 ttk.Label(outlier_frame, text="处理方式:").pack(anchor=tk.W) outlier_action_var = tk.StringVar(value="remove") outlier_action_frame = ttk.Frame(outlier_frame) outlier_action_frame.pack(fill=tk.X) ttk.Radiobutton(outlier_action_frame, text="删除", variable=outlier_action_var, value="remove").pack( side=tk.LEFT) ttk.Radiobutton(outlier_action_frame, text="用中位数替换", variable=outlier_action_var, value="median").pack( side=tk.LEFT) ttk.Radiobutton(outlier_action_frame, text="用前后均值替换", variable=outlier_action_var, value="neighbor").pack(side=tk.LEFT) # 3. 数据类型转换部分 type_frame = ttk.LabelFrame(main_frame, text="数据类型转换", padding=10) type_frame.pack(fill=tk.X, pady=5) # 时间列转换 ttk.Label(type_frame, text="时间列转换:").pack(anchor=tk.W) time_col_var = tk.StringVar() time_col_combo = ttk.Combobox(type_frame, textvariable=time_col_var, width=20) time_col_combo['values'] = tuple(self.df.columns) time_col_combo.pack(anchor=tk.W, pady=5) # === 新增：时间单位选择 === time_units_frame = ttk.Frame(type_frame) time_units_frame.pack(fill=tk.X, pady=5) ttk.Label(time_units_frame, text="提取时间单位:").pack(side=tk.LEFT) # 创建时间单位变量 self.extract_year = tk.BooleanVar(value=True) self.extract_month = tk.BooleanVar(value=True) self.extract_day = tk.BooleanVar(value=True) self.extract_hour = tk.BooleanVar(value=False) self.extract_minute = tk.BooleanVar(value=False) self.extract_second = tk.BooleanVar(value=False) # 添加复选框 ttk.Checkbutton(time_units_frame, text="年", variable=self.extract_year).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="月", variable=self.extract_month).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="日", variable=self.extract_day).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="时", variable=self.extract_hour).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="分", variable=self.extract_minute).pack(side=tk.LEFT, padx=5) ttk.Checkbutton(time_units_frame, text="秒", variable=self.extract_second).pack(side=tk.LEFT, padx=5) # === 修改时间转换逻辑 === if self.enable_datetime.get(): time_col = time_col_var.get() if time_col and time_col in self.df.columns: try: # 统一处理不同日期格式 self.df[time_col] = self.df[time_col].apply( lambda x: pd.to_datetime(x, errors='coerce', format='mixed') ) # 强制显示完整时间格式 pd.set_option('display.datetime_format', '%Y-%m-%d %H:%M:%S') # 根据用户选择提取时间单位 if self.extract_year.get(): self.df['year'] = self.df[time_col].dt.year if self.extract_month.get(): self.df['month'] = self.df[time_col].dt.month if self.extract_day.get(): self.df['day'] = self.df[time_col].dt.day if self.extract_hour.get(): self.df['hour'] = self.df[time_col].dt.hour if self.extract_minute.get(): self.df['minute'] = self.df[time_col].dt.minute if self.extract_second.get(): self.df['second'] = self.df[time_col].dt.second # 新增：确保时间部分显示 self.df['full_datetime'] = self.df[time_col].dt.strftime('%Y-%m-%d %H:%M:%S') # 时间周期特征 if self.extract_hour.get() or self.extract_minute.get(): self.df['time_of_day'] = self.df[time_col].dt.hour + self.df[time_col].dt.minute / 60.0 if self.extract_second.get(): self.df['time_of_day'] += self.df[time_col].dt.second / 3600.0 except Exception as e: messagebox.showerror("时间转换错误", f"时间列转换失败: {str(e)}") # 4. 特征工程部分 feature_frame = ttk.LabelFrame(main_frame, text="特征工程", padding=10) feature_frame.pack(fill=tk.X, pady=5) # 添加滞后特征 ttk.Label(feature_frame, text="滞后特征:").pack(anchor=tk.W) lag_frame = ttk.Frame(feature_frame) lag_frame.pack(fill=tk.X) ttk.Label(lag_frame, text="选择列:").pack(side=tk.LEFT) lag_col_var = tk.StringVar() lag_col_combo = ttk.Combobox(lag_frame, textvariable=lag_col_var, width=15) lag_col_combo['values'] = tuple(self.df.select_dtypes(include=['number']).columns) lag_col_combo.pack(side=tk.LEFT, padx=5) ttk.Label(lag_frame, text="滞后步数:").pack(side=tk.LEFT) lag_steps_entry = ttk.Entry(lag_frame, width=5) lag_steps_entry.pack(side=tk.LEFT) lag_steps_entry.insert(0, "1") # 执行预处理按钮 def apply_preprocessing(): try: original_shape = self.df.shape # 1. 处理缺失值 (如果启用) if self.enable_missing.get(): missing_method = missing_method_var.get() if missing_method == "drop": self.df = self.df.dropna() elif missing_method == "fill": fill_type = fill_type_var.get() if fill_type == "fixed": fill_value = fill_value_entry.get() self.df = self.df.fillna( float(fill_value) if self.df.select_dtypes(include=['number']).shape[ 1] > 0 else fill_value) elif fill_type == "ffill": self.df = self.df.ffill() elif fill_type == "bfill": self.df = self.df.bfill() elif fill_type == "mean": self.df = self.df.fillna(self.df.mean()) elif missing_method == "interpolate": self.df = self.df.interpolate() # 2. 处理异常值 (如果启用) if self.enable_outlier.get(): outlier_method = outlier_method_var.get() outlier_action = outlier_action_var.get() numeric_cols = self.df.select_dtypes(include=['number']).columns for col in numeric_cols: if outlier_method == "3sigma": mean, std = self.df[col].mean(), self.df[col].std() lower, upper = mean - 3 * std, mean + 3 * std else: # iqr q1, q3 = self.df[col].quantile(0.25), self.df[col].quantile(0.75) iqr = q3 - q1 lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr if outlier_action == "remove": self.df = self.df[(self.df[col] >= lower) & (self.df[col] <= upper)] elif outlier_action == "median": self.df.loc[(self.df[col] < lower) | (self.df[col] > upper), col] = self.df[col].median() elif outlier_action == "neighbor": mask = (self.df[col] < lower) | (self.df[col] > upper) self.df.loc[mask, col] = self.df[col].rolling(2, min_periods=1).mean()[mask] # 3. 时间列转换 (如果启用) if self.enable_datetime.get(): time_col = time_col_var.get() if time_col and time_col in self.df.columns: try: self.df[time_col] = pd.to_datetime(self.df[time_col]) self.df['year'] = self.df[time_col].dt.year self.df['month'] = self.df[time_col].dt.month self.df['day'] = self.df[time_col].dt.day except Exception as e: messagebox.showwarning("时间转换警告", f"时间列转换失败: {str(e)}") # 4. 添加滞后特征 (如果启用) if self.enable_lag.get(): lag_col = lag_col_var.get() if lag_col and lag_col in self.df.columns: try: lag_steps = int(lag_steps_entry.get()) self.df[f'{lag_col}_lag{lag_steps}'] = self.df[lag_col].shift(lag_steps) except Exception as e: messagebox.showwarning("滞后特征警告", f"创建滞后特征失败: {str(e)}") # ========================================================= # 更新显示 self.show_preview() preprocess_window.destroy() new_shape = self.df.shape self.status_var.set(f"预处理完成 | 原形状: {original_shape} | 新形状: {new_shape}") except Exception as e: messagebox.showerror("预处理错误", f"预处理过程中发生错误:\n{str(e)}") ttk.Button(main_frame, text="执行预处理", command=apply_preprocessing).pack(pady=10) def show_preview(self): """在表格中分页显示数据预览""" # 清除旧内容 for widget in self.preview_frame.winfo_children(): widget.destroy() # 创建主容器 container = ttk.Frame(self.preview_frame) container.pack(fill=tk.BOTH, expand=True) # 创建表格 columns = list(self.df.columns) self.tree = ttk.Treeview(container, columns=columns, show="headings") # 添加列标题 for col in columns: self.tree.heading(col, text=col) self.tree.column(col, width=100, anchor=tk.W) # 添加滚动条 scrollbar = ttk.Scrollbar(container, orient=tk.VERTICAL, command=self.tree.yview) self.tree.configure(yscroll=scrollbar.set) # 布局表格和滚动条 self.tree.pack(side=tk.LEFT, fill=tk.BOTH, expand=True) scrollbar.pack(side=tk.RIGHT, fill=tk.Y) # 创建分页控制面板 pagination_frame = ttk.Frame(self.preview_frame) pagination_frame.pack(fill=tk.X, pady=5) # 分页参数 self.current_page = 1 self.rows_per_page = 1000 # 每页显示的行数 self.total_pages = max(1, (len(self.df) + self.rows_per_page - 1) // self.rows_per_page) # 分页标签 self.page_label = ttk.Label(pagination_frame, text=f"第 {self.current_page} 页 / 共 {self.total_pages} 页") self.page_label.pack(side=tk.LEFT, padx=10) # 分页按钮 ttk.Button(pagination_frame, text="首页", command=lambda: self.change_page(1)).pack(side=tk.LEFT) ttk.Button(pagination_frame, text="上一页", command=lambda: self.change_page(self.current_page - 1)).pack( side=tk.LEFT) ttk.Button(pagination_frame, text="下一页", command=lambda: self.change_page(self.current_page + 1)).pack( side=tk.LEFT) ttk.Button(pagination_frame, text="末页", command=lambda: self.change_page(self.total_pages)).pack(side=tk.LEFT) # 跳转输入框 ttk.Label(pagination_frame, text="跳转到:").pack(side=tk.LEFT, padx=(10, 0)) self.page_entry = ttk.Entry(pagination_frame, width=5) self.page_entry.pack(side=tk.LEFT) ttk.Button(pagination_frame, text="跳转", command=self.jump_to_page).pack(side=tk.LEFT, padx=(5, 10)) # 显示第一页数据 self.load_page_data() def load_page_data(self): """加载当前页的数据""" # 清空现有数据 for item in self.tree.get_children(): self.tree.delete(item) # 计算起始和结束索引 start_idx = (self.current_page - 1) * self.rows_per_page end_idx = start_idx + self.rows_per_page # 添加当前页的数据行 for i, row in self.df.iloc[start_idx:end_idx].iterrows(): self.tree.insert("", tk.END, values=list(row)) # 更新分页标签 self.page_label.config(text=f"第 {self.current_page} 页 / 共 {self.total_pages} 页") self.page_entry.delete(0, tk.END) self.page_entry.insert(0, str(self.current_page)) def change_page(self, new_page): """切换页面""" # 确保新页码在有效范围内 new_page = max(1, min(new_page, self.total_pages)) if new_page != self.current_page: self.current_page = new_page self.load_page_data() def jump_to_page(self): """跳转到指定页码""" try: page_num = int(self.page_entry.get()) self.change_page(page_num) except ValueError: messagebox.showerror("错误", "请输入有效的页码数字") def process_data(self): """根据选择的处理方式处理数据""" if self.df is None: messagebox.showwarning("警告", "请先选择Excel文件") return process_type = self.process_var.get() if process_type == "统计": self.show_statistics() self.notebook.select(1) elif process_type == "数据排序": self.sort_data() elif process_type == "保存结果": self.save_data() elif process_type == "预处理": self.preprocess_data() elif process_type == "数据切分": self.divide_data() def show_statistics(self): """显示数据统计信息""" # 清除旧内容 for widget in self.stats_frame.winfo_children(): widget.destroy() # 计算统计信息 stats = self.df.describe(include='all').fillna('-') # 创建表格显示统计信息 columns = ['统计项'] + list(stats.columns) tree = ttk.Treeview(self.stats_frame, columns=columns, show="headings") # 添加列标题 for col in columns: tree.heading(col, text=col) tree.column(col, width=100, anchor=tk.W) # 添加数据行 for index, row in stats.iterrows(): tree.insert("", tk.END, values=[index] + list(row)) # 添加滚动条 scrollbar = ttk.Scrollbar(self.stats_frame, orient=tk.VERTICAL, command=tree.yview) tree.configure(yscroll=scrollbar.set) # 布局 tree.pack(side=tk.LEFT, fill=tk.BOTH, expand=True) scrollbar.pack(side=tk.RIGHT, fill=tk.Y) # 添加数据类型信息 type_frame = ttk.LabelFrame(self.stats_frame, text="数据类型") type_frame.pack(fill=tk.X, padx=5, pady=5) type_text = scrolledtext.ScrolledText(type_frame, height=5) type_text.pack(fill=tk.BOTH, expand=True, padx=5, pady=5) dtypes = self.df.dtypes.apply(lambda x: x.name).to_dict() type_info = "\n".join([f"{col}: {dtype}" for col, dtype in dtypes.items()]) type_text.insert(tk.END, type_info) type_text.config(state=tk.DISABLED) def sort_data(self): """数据排序对话框""" sort_window = tk.Toplevel(self.root) sort_window.title("数据排序") sort_window.geometry("400x300") ttk.Label(sort_window, text="选择排序列:").pack(pady=10) # 列选择 col_var = tk.StringVar() col_combo = ttk.Combobox(sort_window, textvariable=col_var, width=20) col_combo['values'] = tuple(self.df.columns) col_combo.pack(pady=5) # 排序方式 ttk.Label(sort_window, text="排序方式:").pack(pady=10) order_var = tk.StringVar(value="ascending") ttk.Radiobutton(sort_window, text="升序", variable=order_var, value="ascending").pack() ttk.Radiobutton(sort_window, text="降序", variable=order_var, value="descending").pack() def apply_sort(): if not col_var.get(): messagebox.showwarning("警告", "请选择排序列") return try: ascending = (order_var.get() == "ascending") self.df = self.df.sort_values(by=col_var.get(), ascending=ascending) self.show_preview() sort_window.destroy() self.status_var.set(f"数据已按 {col_var.get()} {'升序' if ascending else '降序'} 排序") except Exception as e: messagebox.showerror("排序错误", f"排序失败:\n{str(e)}") ttk.Button(sort_window, text="应用排序", command=apply_sort).pack(pady=20) def save_data(self): """保存处理结果""" if self.df is None or self.df.empty: messagebox.showwarning("警告", "没有可保存的数据") return save_path = filedialog.asksaveasfilename( defaultextension=".xlsx", filetypes=[("Excel文件", "*.xlsx"), ("CSV文件", "*.csv")] ) if not save_path: return try: if save_path.endswith('.xlsx'): self.df.to_excel(save_path, index=False) else: self.df.to_csv(save_path, index=False) self.status_var.set(f"文件已保存至: {os.path.basename(save_path)}") messagebox.showinfo("保存成功", f"文件已成功保存至:\n{save_path}") except Exception as e: messagebox.showerror("保存错误", f"保存文件失败:\n{str(e)}") # 创建并运行程序 if __name__ == "__main__": root = tk.Tk() app = ExcelProcessor(root) root.mainloop() 请你用相同的风格也一个excel处理器类的一个方法：可以对数据进行筛选

我们将添加一个名为filter_data的方法，用于数据筛选。该方法将创建一个对话框，允许用户选择筛选条件。 筛选条件包括：选择列、选择运算符（如等于、大于、包含等）、输入值。 同时，我们将允许用户添加多个...

# -*- coding: utf-8 -*- import pandas as pd import numpy as np import matplotlib.pyplot as plt import matplotlib as mpl from scipy import stats import sys import os # ===== 中文字体支持 ===== plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei'] # 解决中文显示问题 plt.rcParams['axes.unicode_minus'] = False # 修复负号显示 # ===== 数据预处理 ===== def preprocess_data(data): """ 预处理近6年月度水沙通量数据 输入：DataFrame格式原始数据（需包含日期、月均流量、月均含沙量） 输出：处理后的月度时间序列（月流量均值、月排沙量均值） """ # 修复链式赋值警告（直接赋值替代inplace） data = data.copy() data['月均流量'] = data['月均流量'].fillna(data['月均流量'].mean()) data['月均含沙量'] = data['月均含沙量'].fillna(data['月均含沙量'].mean()) # 计算月排沙量（亿吨）[1](@ref) data['日期'] = pd.to_datetime(data['日期']) # 确保日期格式正确 days_in_month = data['日期'].dt.days_in_month data['月排沙量'] = data['月均流量'] * data['月均含沙量'] * days_in_month * 86400 * 1e-9 # 按月聚合（使用'ME'替代弃用的'M'）[1,9](@ref) monthly_data = data.groupby(pd.Grouper(key='日期', freq='ME')).agg({ '月均流量': 'mean', '月排沙量': 'sum' }).reset_index() return monthly_data # ===== 累积距平法 ===== def cumulative_anomaly(series): """ 计算累积距平序列 输入：时间序列（月流量均值或月排沙量） 输出：累积距平序列、突变点索引 """ try: if series.size == 0 or series.isnull().all(): raise ValueError("输入序列为空或全为NaN值") mean_val = series.mean() anomalies = series - mean_val cum_anomaly = anomalies.cumsum() # 检测突变点（累积距平曲线一阶差分变号点）[5](@ref) diff_sign = np.sign(np.diff(cum_anomaly)) turning_points = np.where(np.diff(diff_sign) != 0)[0] + 1 return cum_anomaly, turning_points except Exception as e: print(f"累积距平计算错误: {str(e)}") return pd.Series(dtype=float), np.array([]) # ===== Mann-Kendall突变检验 ===== def mk_test(series, alpha=0.05): """ Mann-Kendall突变检验 输入：时间序列、显著性水平alpha 输出：UF统计量序列、UB统计量序列、突变点位置 """ n = len(series) UF = np.zeros(n) s = 0 # 计算UF统计量（修正索引范围）[1,9](@ref) for i in range(1, n): for j in range(i): if series[i] > series[j]: s += 1 elif series[i] < series[j]: s -= 1 E = i * (i - 1) / 4 Var = i * (i - 1) * (2 * i + 5) / 72 UF[i] = (s - E) / np.sqrt(Var) if Var > 0 else 0 # 计算UB统计量（确保与UF等长）[5](@ref) UB = -UF[::-1] # 关键修复：直接反向取负 # 检测显著突变点（UF与UB在置信区间内的交点）[1](@ref) critical_value = stats.norm.ppf(1 - alpha / 2) cross_points = [] for i in range(1, n): if (UF[i] * UB[i] < 0) and (abs(UF[i]) > critical_value): cross_points.append(i) return UF, UB, np.array(cross_points) # ===== 主程序 ===== if __name__ == "__main__": try: print("=" * 60) print("水沙通量突变性分析程序启动...") print("=" * 60) # 1. 数据加载（替换为实际数据路径）[1](@ref) # 模拟数据（实际使用时替换此部分） dates = pd.date_range('2016-01-01', '2021-12-31', freq='ME') np.random.seed(42) flow = np.random.normal(loc=1000, scale=200, size=len(dates)) sand = np.random.normal(loc=2.5, scale=0.8, size=len(dates)) raw_data = pd.DataFrame({ '日期': dates, '月均流量': flow, '月均含沙量': sand }) print("✅ 模拟数据生成完成（共{}条记录）".format(len(raw_data))) # 2. 数据预处理 processed_data = preprocess_data(raw_data) print("✅ 数据预处理完成（含排沙量计算）") # 3. 突变性分析（以月流量为例） flow_series = processed_data['月均流量'].dropna() if flow_series.size == 0: raise ValueError("流量序列为空，请检查数据！") # 3.1 累积距平法 cum_anomaly, turning_points = cumulative_anomaly(flow_series) print("📊 累积距平法检测到{}个突变点".format(len(turning_points))) # 3.2 M-K检验 UF, UB, cross_points = mk_test(flow_series.values) print("📈 MK检验检测到{}个显著突变点".format(len(cross_points))) # 4. 可视化 fig, (ax1, ax2) = plt.subplots(2, 1, figsize=(12, 10), dpi=100) # 4.1 累积距平曲线 ax1.set_title('月流量累积距平曲线', fontsize=14) ax1.plot(processed_data['日期'], cum_anomaly, 'b-', label='累积距平') ax1.set_ylabel('累积距平值', fontsize=12) ax1.grid(True, linestyle='--', alpha=0.7) # 标记突变点 if len(turning_points) > 0: ax1.scatter( processed_data['日期'].iloc[turning_points], cum_anomaly.iloc[turning_points], c='red', s=80, label='突变点' ) for idx in turning_points: ax1.annotate( processed_data['日期'].dt.strftime('%Y-%m').iloc[idx], (processed_data['日期'].iloc[idx], cum_anomaly.iloc[idx]), xytext=(0, 15), textcoords='offset points', ha='center', fontsize=9 ) ax1.legend() # 4.2 M-K检验曲线 ax2.set_title('Mann-Kendall突变检验', fontsize=14) ax2.plot(processed_data['日期'], UF, 'r-', label='UF统计量') ax2.plot(processed_data['日期'], UB, 'b--', label='UB统计量') ax2.axhline(y=1.96, color='gray', linestyle='--', label='95%置信区间') ax2.axhline(y=-1.96, color='gray', linestyle='--') ax2.axhline(y=0, color='black', linewidth=0.8) ax2.set_ylabel('统计量值', fontsize=12) ax2.set_xlabel('日期', fontsize=12) ax2.grid(True, linestyle='--', alpha=0.7) # 标记显著突变点 if len(cross_points) > 0: ax2.scatter( processed_data['日期'].iloc[cross_points], UF[cross_points], c='black', s=100, label='显著突变点' ) for idx in cross_points: ax2.annotate( processed_data['日期'].dt.strftime('%Y-%m').iloc[idx], (processed_data['日期'].iloc[idx], UF[idx]), xytext=(0, 10), textcoords='offset points', ha='center', fontsize=9 ) ax2.legend() plt.tight_layout() # 5. 保存结果 output_path = os.path.join(os.getcwd(), '水沙通量突变性分析结果.png') plt.savefig(output_path, dpi=300, bbox_inches='tight') print("=" * 60) print(f"✅ 分析结果已保存至: {output_path}") print("=" * 60) # 6. 结果显示 plt.show() except Exception as e: exc_type, exc_obj, exc_tb = sys.exc_info() print("❌" * 60) print(f"程序异常终止 (行:{exc_tb.tb_lineno}): {str(e)}") print("❌" * 60) 报错内容·如下E:\Anaconda\python.exe C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py 生成模拟数据... 开始数据预处理... 数据预处理完成 E:\Anaconda\Lib\site-packages\statsmodels\tsa\seasonal.py:360: UserWarning: Glyph 27969 (\N{CJK UNIFIED IDEOGRAPH-6D41}) missing from font(s) DejaVu Sans. fig.tight_layout() E:\Anaconda\Lib\site-packages\statsmodels\tsa\seasonal.py:360: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. fig.tight_layout() E:\Anaconda\Lib\site-packages\statsmodels\tsa\seasonal.py:360: UserWarning: Glyph 21547 (\N{CJK UNIFIED IDEOGRAPH-542B}) missing from font(s) DejaVu Sans. fig.tight_layout() E:\Anaconda\Lib\site-packages\statsmodels\tsa\seasonal.py:360: UserWarning: Glyph 27801 (\N{CJK UNIFIED IDEOGRAPH-6C99}) missing from font(s) DejaVu Sans. fig.tight_layout() E:\Anaconda\Lib\site-packages\statsmodels\tsa\seasonal.py:360: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. fig.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 21547 (\N{CJK UNIFIED IDEOGRAPH-542B}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 27801 (\N{CJK UNIFIED IDEOGRAPH-6C99}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 23395 (\N{CJK UNIFIED IDEOGRAPH-5B63}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 33410 (\N{CJK UNIFIED IDEOGRAPH-8282}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 24615 (\N{CJK UNIFIED IDEOGRAPH-6027}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:149: UserWarning: Glyph 35299 (\N{CJK UNIFIED IDEOGRAPH-89E3}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 21547 (\N{CJK UNIFIED IDEOGRAPH-542B}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 27801 (\N{CJK UNIFIED IDEOGRAPH-6C99}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 23395 (\N{CJK UNIFIED IDEOGRAPH-5B63}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 33410 (\N{CJK UNIFIED IDEOGRAPH-8282}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 24615 (\N{CJK UNIFIED IDEOGRAPH-6027}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:150: UserWarning: Glyph 35299 (\N{CJK UNIFIED IDEOGRAPH-89E3}) missing from font(s) DejaVu Sans. plt.savefig('季节性分解.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 27969 (\N{CJK UNIFIED IDEOGRAPH-6D41}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 23395 (\N{CJK UNIFIED IDEOGRAPH-5B63}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 33410 (\N{CJK UNIFIED IDEOGRAPH-8282}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 24615 (\N{CJK UNIFIED IDEOGRAPH-6027}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 35299 (\N{CJK UNIFIED IDEOGRAPH-89E3}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 21547 (\N{CJK UNIFIED IDEOGRAPH-542B}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:151: UserWarning: Glyph 27801 (\N{CJK UNIFIED IDEOGRAPH-6C99}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 26085 (\N{CJK UNIFIED IDEOGRAPH-65E5}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 26399 (\N{CJK UNIFIED IDEOGRAPH-671F}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 25968 (\N{CJK UNIFIED IDEOGRAPH-6570}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 20540 (\N{CJK UNIFIED IDEOGRAPH-503C}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 27969 (\N{CJK UNIFIED IDEOGRAPH-6D41}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 21407 (\N{CJK UNIFIED IDEOGRAPH-539F}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 22987 (\N{CJK UNIFIED IDEOGRAPH-59CB}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 26102 (\N{CJK UNIFIED IDEOGRAPH-65F6}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 38388 (\N{CJK UNIFIED IDEOGRAPH-95F4}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 24207 (\N{CJK UNIFIED IDEOGRAPH-5E8F}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 21015 (\N{CJK UNIFIED IDEOGRAPH-5217}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 23610 (\N{CJK UNIFIED IDEOGRAPH-5C3A}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 24230 (\N{CJK UNIFIED IDEOGRAPH-5EA6}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 22825 (\N{CJK UNIFIED IDEOGRAPH-5929}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 23567 (\N{CJK UNIFIED IDEOGRAPH-5C0F}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 27874 (\N{CJK UNIFIED IDEOGRAPH-6CE2}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 31995 (\N{CJK UNIFIED IDEOGRAPH-7CFB}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 23454 (\N{CJK UNIFIED IDEOGRAPH-5B9E}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 37096 (\N{CJK UNIFIED IDEOGRAPH-90E8}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 31561 (\N{CJK UNIFIED IDEOGRAPH-7B49}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 32447 (\N{CJK UNIFIED IDEOGRAPH-7EBF}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 22270 (\N{CJK UNIFIED IDEOGRAPH-56FE}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 26041 (\N{CJK UNIFIED IDEOGRAPH-65B9}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 24046 (\N{CJK UNIFIED IDEOGRAPH-5DEE}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 26512 (\N{CJK UNIFIED IDEOGRAPH-6790}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 20027 (\N{CJK UNIFIED IDEOGRAPH-4E3B}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:129: UserWarning: Glyph 21608 (\N{CJK UNIFIED IDEOGRAPH-5468}) missing from font(s) DejaVu Sans. plt.tight_layout() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 25968 (\N{CJK UNIFIED IDEOGRAPH-6570}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 20540 (\N{CJK UNIFIED IDEOGRAPH-503C}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 27969 (\N{CJK UNIFIED IDEOGRAPH-6D41}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 21407 (\N{CJK UNIFIED IDEOGRAPH-539F}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 22987 (\N{CJK UNIFIED IDEOGRAPH-59CB}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 26102 (\N{CJK UNIFIED IDEOGRAPH-65F6}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 38388 (\N{CJK UNIFIED IDEOGRAPH-95F4}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 24207 (\N{CJK UNIFIED IDEOGRAPH-5E8F}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 21015 (\N{CJK UNIFIED IDEOGRAPH-5217}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 26085 (\N{CJK UNIFIED IDEOGRAPH-65E5}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 26399 (\N{CJK UNIFIED IDEOGRAPH-671F}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 23610 (\N{CJK UNIFIED IDEOGRAPH-5C3A}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 24230 (\N{CJK UNIFIED IDEOGRAPH-5EA6}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 22825 (\N{CJK UNIFIED IDEOGRAPH-5929}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 23567 (\N{CJK UNIFIED IDEOGRAPH-5C0F}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 27874 (\N{CJK UNIFIED IDEOGRAPH-6CE2}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 31995 (\N{CJK UNIFIED IDEOGRAPH-7CFB}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 23454 (\N{CJK UNIFIED IDEOGRAPH-5B9E}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 37096 (\N{CJK UNIFIED IDEOGRAPH-90E8}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 31561 (\N{CJK UNIFIED IDEOGRAPH-7B49}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 32447 (\N{CJK UNIFIED IDEOGRAPH-7EBF}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 22270 (\N{CJK UNIFIED IDEOGRAPH-56FE}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 26041 (\N{CJK UNIFIED IDEOGRAPH-65B9}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 24046 (\N{CJK UNIFIED IDEOGRAPH-5DEE}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 26512 (\N{CJK UNIFIED IDEOGRAPH-6790}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 20027 (\N{CJK UNIFIED IDEOGRAPH-4E3B}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:130: UserWarning: Glyph 21608 (\N{CJK UNIFIED IDEOGRAPH-5468}) missing from font(s) DejaVu Sans. plt.savefig(f'{title}_小波分析.png', dpi=300) C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 25968 (\N{CJK UNIFIED IDEOGRAPH-6570}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 20540 (\N{CJK UNIFIED IDEOGRAPH-503C}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 27969 (\N{CJK UNIFIED IDEOGRAPH-6D41}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 37327 (\N{CJK UNIFIED IDEOGRAPH-91CF}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 21407 (\N{CJK UNIFIED IDEOGRAPH-539F}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 22987 (\N{CJK UNIFIED IDEOGRAPH-59CB}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 26102 (\N{CJK UNIFIED IDEOGRAPH-65F6}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 38388 (\N{CJK UNIFIED IDEOGRAPH-95F4}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 24207 (\N{CJK UNIFIED IDEOGRAPH-5E8F}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 21015 (\N{CJK UNIFIED IDEOGRAPH-5217}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 26085 (\N{CJK UNIFIED IDEOGRAPH-65E5}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 26399 (\N{CJK UNIFIED IDEOGRAPH-671F}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 23610 (\N{CJK UNIFIED IDEOGRAPH-5C3A}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 24230 (\N{CJK UNIFIED IDEOGRAPH-5EA6}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 22825 (\N{CJK UNIFIED IDEOGRAPH-5929}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 23567 (\N{CJK UNIFIED IDEOGRAPH-5C0F}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 27874 (\N{CJK UNIFIED IDEOGRAPH-6CE2}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 31995 (\N{CJK UNIFIED IDEOGRAPH-7CFB}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 23454 (\N{CJK UNIFIED IDEOGRAPH-5B9E}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 37096 (\N{CJK UNIFIED IDEOGRAPH-90E8}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 31561 (\N{CJK UNIFIED IDEOGRAPH-7B49}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 32447 (\N{CJK UNIFIED IDEOGRAPH-7EBF}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 22270 (\N{CJK UNIFIED IDEOGRAPH-56FE}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 26041 (\N{CJK UNIFIED IDEOGRAPH-65B9}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 24046 (\N{CJK UNIFIED IDEOGRAPH-5DEE}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 20998 (\N{CJK UNIFIED IDEOGRAPH-5206}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 26512 (\N{CJK UNIFIED IDEOGRAPH-6790}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 20027 (\N{CJK UNIFIED IDEOGRAPH-4E3B}) missing from font(s) DejaVu Sans. plt.show() C:\Users\cheny\Desktop\PythonProject2\水沙通量周期性模型.py:131: UserWarning: Glyph 21608 (\N{CJK UNIFIED IDEOGRAPH-5468}) missing from font(s) DejaVu Sans. plt.show()

# 方法1：直接设置字体（如果知道系统中存在某个中文字体） # plt.rcParams['font.sans-serif'] = ['SimHei'] # Windows系统常用 # plt.rcParams['font.sans-serif'] = ['Songti SC'] # Mac系统常用 # plt.rcParams...

import pandas as pd import numpy as np import lightgbm as lgb from sklearn.metrics import mean_squared_error # 1. 读取合并好的数据 df = pd.read_csv('P001-2.csv', parse_dates=['time'], dtype={'annotation': str}) # 2. 特征工程（生成时间特征） def create_time_features(df): df['hour'] = df['time'].dt.hour df['weekday'] = df['time'].dt.weekday df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24) df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24) df['weekday_sin'] = np.sin(2 * np.pi * df['weekday'] / 7) df['weekday_cos'] = np.cos(2 * np.pi * df['weekday'] / 7) return df df = create_time_features(df) # 3. 处理 annotation 列 df['annotation'] = pd.to_numeric(df['annotation'], errors='coerce') # 4. 拆分有标签的训练集 & 缺失的测试集 train_df = df.dropna(subset=['annotation']) test_df = df[df['annotation'].isnull()] # 特征选择 features = ['x', 'y', 'z', 'hour_sin', 'hour_cos', 'weekday_sin', 'weekday_cos'] # 5. 时间排序 + 划分训练/验证 train_df = train_df.sort_values('time') split_index = int(len(train_df) * 0.8) X_train = train_df[features].iloc[:split_index] y_train = train_df['annotation'].iloc[:split_index] X_valid = train_df[features].iloc[split_index:] y_valid = train_df['annotation'].iloc[split_index:] # 6. 训练 LightGBM 回归模型 params = { 'objective': 'regression', 'metric': 'l2', 'boosting_type': 'gbdt', 'num_leaves': 63, 'learning_rate': 0.02, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'num_threads': -1, 'verbosity': -1 } train_data = lgb.Dataset(X_train, label=y_train) valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data) model = lgb.train( params, train_data, valid_sets=[valid_data], num_boost_round=1000, early_stopping_rounds=50 ) # 7. 填补 annotation 缺失值 X_test = create_time_features(test_df)[features] test_df['annotation'] = model.predict(X_test, num_iteration=model.best_iteration) # 8. 合并训练集 & 填补的测试集 final_df = pd.concat([train_df, test_df], ignore_index=True).sort_values('time') # 9. 评估 y_pred = model.predict(X_valid, num_iteration=model.best_iteration) mse = mean_squared_error(y_valid, y_pred) print(f"最终模型 MSE: {mse:.4f}") # 10. 保存完整填补后的数据 final_df.to_csv('P001-2_filled.csv', index=False) print(final_df[['time', 'annotation']].head()) -------------------------------------------------------------------------- TypeError Traceback (most recent call last) Cell In[55], line 55 52 train_data = lgb.Dataset(X_train, label=y_train) 53 valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data) ---> 55 model = lgb.train( 56 params, 57 train_data, 58 valid_sets=[valid_data], 59 num_boost_round=1000, 60 early_stopping_rounds=50 61 ) 63 # 7. 填补 annotation 缺失值 64 X_test = create_time_features(test_df)[features] TypeError: train() got an unexpected keyword argument 'early_stopping_rounds'、

### **完整修正代码段** python # 6. 训练 LightGBM 回归模型（修正部分） params = { 'objective': 'regression', 'metric': 'l2', 'boosting_type': 'gbdt', 'num_leaves': 63, 'learning_rate': 0.02, '...

# 导入所需库 import pandas as pd import numpy as np # 添加numpy库 import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score import warnings warnings.filterwarnings('ignore') # ============================== # 任务1：数据准备（按文档变量名读取数据） # ============================== try: order_data = pd.read_excel('meal_order_info.xlsx') history_order = pd.read_excel('info_new.xlsx') user_info = pd.read_excel('users.xlsx') # 确保此变量被正确加载 user_loss = pd.read_excel('user_loss.xlsx') # 打印每个数据集的前几行以确认加载成功 print("order_data 数据预览：") print(order_data.head()) print("\nhistory_order 数据预览：") print(history_order.head()) print("\nuser_info 数据预览：") print(user_info.head()) print("\nuser_loss 数据预览：") print(user_loss.head()) except Exception as e: print(f"发生错误: {e}") # 捕获并打印其他可能的异常 # ============================== # 任务2：统计每日用餐人数与销售额（文档要求状态为1） # ============================== def analyze_daily_sales(data): """统计有效订单（状态=1）的每日用餐人数与销售额""" valid_data = data[data['order_status'] == 1].copy() if valid_data.empty: print("没有符合条件的有效订单数据") return None # 提取日期（假设日期格式为'YYYY-MM-DD HH:MM'，截取前10位） valid_data['use_start_time'] = pd.to_datetime(valid_data['use_start_time']).dt.date.astype(str) daily_stats = valid_data.groupby('use_start_time').agg( daily_diners=('number_consumers', 'sum'), daily_sales=('expenditure', 'sum') ).reset_index() # 绘制折线图（符合文档要求） plt.figure(figsize=(12, 6)) plt.plot(daily_stats['use_start_time'], daily_stats['daily_diners'], label='每日用餐人数', marker='o') plt.plot(daily_stats['use_start_time'], daily_stats['daily_sales'], label='每日销售额', marker='s') plt.title('餐饮企业每日经营趋势', fontsize=14) plt.xlabel('日期', fontsize=12) plt.ylabel('数值', fontsize=12) plt.xticks(rotation=45) plt.legend() plt.grid(True) plt.show() return daily_stats # 调用函数（此时order_data已定义） if 'order_data' in locals(): daily_trends = analyze_daily_sales(order_data) # ============================== # 任务3：数据预处理（构建RFM与流失特征） # ============================== # ------------------------- # 客户价值分析：构建RFM特征（文档表中R/F/M定义） # ------------------------- def build_rfm(order_data, user_info, rfm_end='2016-08-31'): merged = pd.merge(user_info, order_data, on='USER_ID', how='left') valid_orders = merged[merged['order_status'] == 1].copy() if valid_orders.empty: print("没有符合条件的有效订单数据用于RFM分析") return None rfm = valid_orders.groupby('USER_ID').agg({ 'use_start_time': lambda x: (pd.to_datetime(rfm_end) - x.max()).days, 'order_number': 'count', 'expenditure': 'sum' }).reset_index() rfm.columns = ['USER_ID', 'R', 'F', 'M'] rfm.fillna({'R': rfm['R'].max(), 'F': 0, 'M': 0}, inplace=True) return rfm # 执行RFM分析（此时user_info应已正确加载） if 'user_info' in locals() and 'order_data' in locals(): rfm_data = build_rfm(order_data, user_info) # ------------------------- # 客户流失预测：构建流失特征（文档中4个指标） # ------------------------- def build_churn(user_loss_data, history_order_data, churn_end='2016-07-31'): churn_merged = pd.merge(user_loss_data, history_order_data, on='USER_ID', how='left') churn_merged['use_start_time'] = pd.to_datetime(churn_merged['use_start_time']) churn_features = churn_merged.groupby('USER_ID').agg({ 'order_number': 'count', # frequence 'use_start_time': lambda x: (pd.to_datetime(churn_end) - x.max()).days, # recently 'expenditure': ['sum', lambda x: x.sum()/x.count() if x.count()!=0 else 0] # amount, average }).reset_index() churn_features.columns = ['USER_ID', 'frequence', 'recently', 'amount', 'average'] # 标记流失客户（文档未明确阈值，设为最近天数>90天） churn_features['churn_status'] = np.where(churn_features['recently'] > 90, 1, 0) return churn_features if 'user_loss' in locals() and 'history_order' in locals(): churn_data = build_churn(user_loss, history_order) # ============================== # 任务4：K-Means聚类分析（文档聚类数=3） # ============================== if 'rfm_data' in locals(): scaler = StandardScaler() rfm_scaled = scaler.fit_transform(rfm_data[['R', 'F', 'M']]) kmeans = KMeans(n_clusters=3, random_state=42) rfm_data['cluster'] = kmeans.fit_predict(rfm_scaled) # 输出聚类中心（文档要求分析各群特征） cluster_centers = pd.DataFrame(scaler.inverse_transform(kmeans.cluster_centers_), columns=['R', 'F', 'M'], index=['客户群1', '客户群2', '客户群3']) print("客户群特征中心：\n", cluster_centers.round(2)) # ============================== # 任务5：雷达图可视化（文档要求用雷达图） # ============================== def plot_radar_chart(centers, features): n_clusters = centers.shape[0] angles = np.linspace(0, 2*np.pi, len(features), endpoint=False).tolist() angles += angles[:1] # 闭合图形 plt.figure(figsize=(8, 8)) for i in range(n_clusters): values = centers.iloc[i].tolist() + [centers.iloc[i, 0]] plt.polar(angles, values, label=f'客户群{i+1}') plt.fill(angles, values, alpha=0.2, edgecolor='black') plt.thetagrids(np.degrees(angles[:-1]), features, fontsize=10) plt.title('客户价值聚类雷达图', fontsize=14) plt.legend(loc='upper right') plt.show() if 'cluster_centers' in locals(): plot_radar_chart(cluster_centers, ['最近消费天数(R)', '消费次数(F)', '消费金额(M)']) # ============================== # 任务6：决策树模型（文档使用CART算法） # ============================== if 'churn_data' in locals(): X = churn_data[['frequence', 'recently', 'average', 'amount']] y = churn_data['churn_status'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) cart_model = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=42) cart_model.fit(X_train, y_train) # ============================== # 任务7：模型评价（文档要求混淆矩阵） # ============================== if 'cart_model' in locals(): y_pred = cart_model.predict(X_test) cm = confusion_matrix(y_test, y_pred) precision = precision_score(y_test, y_pred) recall = recall_score(y_test, y_pred) f1 = f1_score(y_test, y_pred) print("混淆矩阵：\n", cm) print(f"精确率：{precision:.2f}, 召回率：{recall:.2f}, F1值：{f1:.2f}")修改以上代码

# 任务1：数据准备（按文档变量名读取数据） # ============================== def load_data(file_path, sheet_name=0): """加载 Excel 数据""" try: data = pd.read_excel(file_path, sheet_name=sheet_name) ...

#********** Begin **********# # -*- coding: utf-8 -*- # 1.在上一关的基础上，获得综合排名前30个股票代码，并构建投资组合 # 2.投资组合持有期为2017-05-01日至2017-12-31日，计算其收益率。 # 3.读取2017年股票日交易数据表“trd_2017.xlsx”，其字段信息如下： # 股票代码、交易日期、收盘价、考虑现金红利再投资的收盘价可比价、 # 不考虑现金红利再投资的收盘价可比价 # 4.注意事项： # 4.1 每只股票的收益率计算方法为： # 以该股票持有期内首个交易日考虑现金红利再投资的收盘价可比价p1买入， # 持有期内最后交易日的考虑现金红利再投资的收盘价可比价p2卖出， # 收益率计算公式为：(p2-p1)/p1 # 4.2 投资组合的收益率为该组合内所有股票收益率之和 # 5.返回投资组合总收益率： r_total def return_values(): import pandas as pd import step7_13 trd=pd.read_excel('trd_2017.xlsx') re = step7_13.return_values() Fscore1=re[0] #预定义每个股票的收益率序列 r_list=[] for i in range(30): #获取排名第i个股票代码 code=Fscore1.index[i] #获取排名第i个股票代码的交易数据 dt=trd.iloc[trd.iloc[:,0].values==code,:] #获取排名第i个股票代码2017-05-01至2017-12-31的交易，并按交易日期升序排序 #注意判断获取的数据是否为空，如果非空，则计算其收益率 r_list.append(...) r_total=sum(r_list) #计算总收益率 return r_total #********** END **********#补充代码

### 投资组合收益率计算的Python代码实现 以下是完整的Python代码逻辑，涵盖了筛选股票数据、计算单个股票收益率以及汇总投资组合收益率的过程： #### 数据准备与清洗 首先，确保输入数据是一个包含日期索引和多个...

检查并优化：import pandas as pd import numpy as np import lightgbm as lgb import gc import os import chardet from sklearn.model_selection import train_test_split from tqdm import tqdm import psutil from sklearn.metrics import log_loss, mean_absolute_error from scipy.sparse import hstack, csr_matrix, save_npz, load_npz import warnings warnings.filterwarnings('ignore') # 内存优化函数 - 增强版 def optimize_dtypes(df, downcast_int=True, downcast_float=True, category_threshold=0.5): """优化DataFrame的数据类型以减少内存占用""" if df.empty: return df # 转换整数列为最小可用类型 if downcast_int: int_cols = df.select_dtypes(include=['int']).columns for col in int_cols: df[col] = pd.to_numeric(df[col], downcast='integer') # 转换浮点列为float32 if downcast_float: float_cols = df.select_dtypes(include=['float']).columns for col in float_cols: # 优先转换为float32而不是downcast='float'以获得更好控制 df[col] = df[col].astype(np.float32) # 转换对象列为分类类型 obj_cols = df.select_dtypes(include=['object']).columns for col in obj_cols: num_unique = df[col].nunique() num_total = len(df) if num_unique / num_total < category_threshold: df[col] = df[col].astype('category') return df # 增强数据加载函数 def load_data_safely(file_path, usecols=None, dtype=None, chunksize=50000, verbose=True): """安全加载大型CSV文件，优化内存使用""" try: if not os.path.exists(file_path): print(f"⚠️ 文件不存在: {file_path}") return pd.DataFrame() # 自动检测编码 with open(file_path, 'rb') as f: result = chardet.detect(f.read(100000)) encoding = result['encoding'] if result['confidence'] > 0.7 else 'latin1' # 获取文件大小用于进度条 file_size = os.path.getsize(file_path) / (1024 ** 2) # MB desc = f"加载 {os.path.basename(file_path)} ({file_size:.1f}MB)" # 分批读取并优化内存 chunks = [] reader = pd.read_csv( file_path, encoding=encoding, usecols=usecols, dtype=dtype, chunksize=chunksize, low_memory=False ) for chunk in tqdm(reader, desc=desc, disable=not verbose): # 优化数据类型 chunk = optimize_dtypes(chunk) chunks.append(chunk) if chunks: result = pd.concat(chunks, ignore_index=True) # 再次整体优化 result = optimize_dtypes(result) return result return pd.DataFrame() except Exception as e: print(f"⚠️ 加载 {file_path} 失败: {str(e)}") return pd.DataFrame() # 稀疏矩阵转换函数 - 优化版 def to_sparse_matrix(df, columns, fillna='MISSING', dtype=np.int8): """将分类特征转换为稀疏矩阵表示""" from sklearn.preprocessing import OneHotEncoder # 预处理数据 sparse_data = df[columns].fillna(fillna).astype(str) # 使用OneHotEncoder替代get_dummies以获得更好性能 encoder = OneHotEncoder(handle_unknown='ignore', sparse_output=True, dtype=dtype) sparse_matrix = encoder.fit_transform(sparse_data) return sparse_matrix, encoder # 增量训练函数 - 优化内存管理 def train_incremental(X, y, categorical_features, params, num_rounds=1000, chunk_size=100000): """分块增量训练模型以减少内存占用""" model = None callbacks = [lgb.early_stopping(stopping_rounds=50, verbose=0), lgb.log_evaluation(period=100)] for i in tqdm(range(0, len(X), chunk_size), desc="增量训练"): chunk_end = min(i + chunk_size, len(X)) # 使用视图避免复制数据 X_chunk = X.iloc[i:chunk_end] y_chunk = y.iloc[i:chunk_end] # 创建数据集后立即释放原始数据 train_data = lgb.Dataset( X_chunk, label=y_chunk, categorical_feature=categorical_features, free_raw_data=True # 训练后释放原始数据 ) if model is None: model = lgb.train( params, train_data, num_boost_round=num_rounds, callbacks=callbacks, keep_training_booster=True ) else: model = lgb.train( params, train_data, num_boost_round=num_rounds, init_model=model, callbacks=callbacks, keep_training_booster=True ) # 显式释放内存 del train_data, X_chunk, y_chunk gc.collect() return model # 历史数据加载函数 - 优化内存 def load_historical_data(days=32, verbose=True): """高效加载历史数据，支持分批处理""" see_list, click_list, play_list = [], [], [] for day in tqdm(range(1, days + 1), desc="加载历史数据", disable=not verbose): day_str = f"{day:02d}" # 加载曝光数据 - 仅加载必要列 see_path = f'see_{day_str}.csv' if os.path.exists(see_path): see = load_data_safely( see_path, usecols=['did', 'vid'], dtype={'did': 'category', 'vid': 'category'}, verbose=verbose ) if not see.empty: see_list.append(see) del see # 加载点击数据 - 优化日期处理 click_path = f'click_{day_str}.csv' if os.path.exists(click_path): click = load_data_safely( click_path, usecols=['did', 'vid', 'click_time'], dtype={'did': 'category', 'vid': 'category'}, verbose=verbose ) if not click.empty and 'click_time' in click.columns: # 直接解析日期为数值类型 click_dates = pd.to_datetime(click['click_time'], errors='coerce') click['date'] = click_dates.dt.strftime('%Y%m%d').astype('int32') click = click.drop(columns=['click_time']) click_list.append(click[['did', 'vid', 'date']]) del click, click_dates # 加载播放数据 play_path = f'playplus_{day_str}.csv' if os.path.exists(play_path): play = load_data_safely( play_path, usecols=['did', 'vid', 'play_time'], dtype={'did': 'category', 'vid': 'category', 'play_time': 'float32'}, verbose=verbose ) if not play.empty: play_list.append(play) del play gc.collect() # 使用concat时避免创建中间对象 return ( pd.concat(see_list, ignore_index=True, copy=False).drop_duplicates(['did', 'vid']) if see_list else pd.DataFrame(), pd.concat(click_list, ignore_index=True, copy=False).drop_duplicates(['did', 'vid']) if click_list else pd.DataFrame(), pd.concat(play_list, ignore_index=True, copy=False).drop_duplicates(['did', 'vid']) if play_list else pd.DataFrame() ) # 点击数据集构建 - 内存优化版 def build_click_dataset(hist_exposure, hist_click, sample_ratio=0.1, verbose=True): """构建点击数据集，包含负样本采样 - 内存优化版""" if hist_exposure.empty or hist_click.empty: print("⚠️ 历史曝光或点击数据为空，无法构建数据集") return pd.DataFrame() # 标记正样本 - 使用视图避免复制 pos_samples = hist_click[['did', 'vid']].copy() pos_samples['label'] = 1 # 创建曝光集索引用于高效查找 exposure_index = hist_exposure.set_index(['did', 'vid']).index # 分块处理负样本 neg_chunks = [] chunk_size = 500000 total_rows = len(hist_exposure) for start in tqdm(range(0, total_rows, chunk_size), desc="构建负样本", disable=not verbose): end = min(start + chunk_size, total_rows) chunk = hist_exposure.iloc[start:end] # 使用索引查找未点击的曝光 chunk['is_clicked'] = chunk.set_index(['did', 'vid']).index.isin(hist_click.set_index(['did', 'vid']).index) neg_chunk = chunk[~chunk['is_clicked']][['did', 'vid']] if not neg_chunk.empty and sample_ratio < 1.0: neg_chunk = neg_chunk.sample(frac=sample_ratio, random_state=42) neg_chunks.append(neg_chunk) del chunk, neg_chunk # 合并负样本 neg_samples = pd.concat(neg_chunks, ignore_index=True) neg_samples['label'] = 0 # 合并正负样本 click_data = pd.concat([pos_samples, neg_samples], ignore_index=True, copy=False) # 释放内存 del exposure_index, pos_samples, neg_samples, neg_chunks gc.collect() return click_data # 在合并操作前添加检查 if 'total' not in df.columns: print("警告：'total' 列不存在于 DataFrame 中") print("可用列名：", df.columns.tolist()) # 尝试找出可能的拼写错误 possible_matches = [col for col in df.columns if 'total' in col.lower()] if possible_matches: print("可能的匹配列：", possible_matches) # 特征工程函数 - 内存优化版 def add_click_features(df, did_features, vid_info, hist_click, hist_play, verbose=True): """添加关键特征，避免内存溢出 - 优化版""" if df.empty: return df # 1. 合并设备特征 - 仅选择必要列 if not did_features.empty and 'did' in did_features.columns: did_cols = ['did'] + [col for col in did_features.columns if col.startswith('f')] df = df.merge(did_features[did_cols], on='did', how='left') # 2. 合并视频特征 - 仅选择必要列 if not vid_info.empty and 'vid' in vid_info.columns: vid_cols = ['vid', 'item_duration'] + [col for col in vid_info.columns if col in ['item_cid', 'item_type']] df = df.merge(vid_info[vid_cols], on='vid', how='left') # 3. 预聚合统计特征 - 减少重复计算 stats = {} # 用户行为统计 if not hist_click.empty: stats['user_click_count'] = hist_click.groupby('did').size().astype('int32') stats['video_click_count'] = hist_click.groupby('vid').size().astype('int32') if not hist_play.empty: stats['user_total_play'] = hist_play.groupby('did')['play_time'].sum().astype('float32') stats['avg_play_time'] = hist_play.groupby('vid')['play_time'].mean().astype('float32') # 4. 合并统计特征 for name, stat_df in tqdm(stats.items(), desc="添加统计特征", disable=not verbose): if name in df.columns: continue df = df.merge(stat_df.rename(name), how='left', left_on=name.split('_')[1], right_index=True) # 5. 填充缺失值 - 使用更高效的方法 fill_values = { 'user_click_count': 0, 'user_total_play': 0, 'video_click_count': df['video_click_count'].median() if 'video_click_count' in df else 0, 'avg_play_time': df['avg_play_time'].median() if 'avg_play_time' in df else 0, 'item_duration': df['item_duration'].median() if 'item_duration' in df else 30.0 } for col, default in fill_values.items(): if col in df: # 使用inplace填充减少内存分配 df[col].fillna(default, inplace=True) # 6. 添加时间特征 - 使用数值替代分类 if 'date' in df: # 直接计算数值特征，避免创建datetime对象 df['day_of_week'] = (df['date'] % 7).astype('int8') df['is_weekend'] = (df['day_of_week'] >= 5).astype('int8') df.drop(columns=['date'], inplace=True, errors='ignore') return df # 主处理流程 - 内存优化版 def main(): """主处理流程，包含完整的内存优化策略""" # 初始内存监控 start_mem = memory_monitor("初始内存") # 定义内存优化的数据类型 dtypes = { 'did': 'category', 'vid': 'category', 'play_time': 'float32' } # 加载核心数据 print("开始加载核心数据...") did_features = load_data_safely('did_features_table.csv', dtype=dtypes) vid_info = load_data_safely('vid_info_table.csv', dtype=dtypes) memory_monitor("加载核心数据后") # 加载历史数据 - 减少加载天数 print("开始加载历史数据...") hist_exposure, hist_click, hist_play = load_historical_data(days=14) # 减少到14天 memory_monitor("加载历史数据后") # 构建点击数据集 if not hist_exposure.empty and not hist_click.empty: print("构建点击数据集...") click_train_data = build_click_dataset(hist_exposure, hist_click, sample_ratio=0.1) # 立即释放不再需要的数据 del hist_exposure, hist_click gc.collect() else: print("⚠️ 无法构建点击数据集") click_train_data = pd.DataFrame() memory_monitor("构建点击数据集后") # 添加特征 - 使用增量方式 if not click_train_data.empty: print("开始构建点击特征...") click_train_data = add_click_features( click_train_data, did_features, vid_info, hist_click if 'hist_click' in locals() else pd.DataFrame(), hist_play ) else: print("⚠️ 点击数据集为空，跳过特征构建") # 立即释放内存 del hist_play gc.collect() memory_monitor("添加特征后") # 准备训练数据 - 使用视图避免复制 if not click_train_data.empty: cols_to_drop = ['did', 'vid', 'label'] if 'date' in click_train_data.columns: cols_to_drop.append('date') X = click_train_data.drop(columns=cols_to_drop, errors='ignore') y = click_train_data['label'] else: X, y = pd.DataFrame(), pd.Series(dtype='float32') print("⚠️ 点击训练数据为空") # 划分数据集 - 使用索引避免复制 if len(X) > 0: indices = np.arange(len(X)) train_idx, val_idx = train_test_split(indices, test_size=0.2, random_state=42, stratify=y) X_train, X_val = X.iloc[train_idx], X.iloc[val_idx] y_train, y_val = y.iloc[train_idx], y.iloc[val_idx] else: print("⚠️ 训练数据为空，无法进行模型训练") X_train, X_val, y_train, y_val = pd.DataFrame(), pd.DataFrame(), pd.Series(), pd.Series() # 释放click_train_data del click_train_data, X, y, indices gc.collect() memory_monitor("划分数据集后") # 训练模型参数 - 调整为更节省内存的参数 params = { 'objective': 'binary', 'metric': 'binary_logloss', 'boosting_type': 'gbdt', 'num_leaves': 31, # 减少叶子节点数 'learning_rate': 0.05, 'feature_fraction': 0.7, # 减少特征使用比例 'bagging_fraction': 0.8, 'bagging_freq': 5, 'min_child_samples': 200, # 增加最小样本数 'verbosity': -1, 'max_depth': -1, # 避免过深 'seed': 42 } # 增量训练点击模型 if len(X_train) > 0: print("开始训练点击预测模型...") model_click = train_incremental(X_train, y_train, [], params, num_rounds=1000, chunk_size=100000) # 在验证集上评估 if len(X_val) > 0: # 分块预测避免内存峰值 chunk_size = 50000 val_preds = [] for i in range(0, len(X_val), chunk_size): chunk = X_val.iloc[i:i+chunk_size] val_preds.extend(model_click.predict(chunk)) val_logloss = log_loss(y_val, val_preds) print(f"验证集LogLoss: {val_logloss:.4f}") else: model_click = None print("⚠️ 训练数据为空，跳过点击预测模型训练") # 释放训练数据 del X_train, X_val, y_train, y_val gc.collect() memory_monitor("训练点击模型后") # 最终内存报告 end_mem = memory_monitor("处理完成") print(f"总内存消耗: {end_mem - start_mem:.2f} MB") # 内存监控函数 def memory_monitor(step_name=""): """监控内存使用情况""" process = psutil.Process(os.getpid()) mem_info = process.memory_info() print(f"{step_name} 内存使用: {mem_info.rss / (1024 ** 2):.2f} MB") return mem_info.rss / (1024 ** 2) # 返回MB if __name__ == "__main__": main()

desc = f"加载 {os.path.basename(file_path)} ({file_size:.1f}MB)" # 分批读取并优化内存 chunks = [] try: reader = pd.read_csv( file_path, encoding=encoding, usecols=usecols, dtype=dtype, ...

帮我检查优化代码，尤其是减少内存占用:import pandas as pd import numpy as np import lightgbm as lgb from lightgbm import early_stopping, log_evaluation import gc import os import chardet from sklearn.model_selection import train_test_split from tqdm import tqdm import joblib from datetime import datetime from scipy.sparse import hstack, csr_matrix, save_npz, load_npz import sys import psutil from sklearn.metrics import log_loss, mean_absolute_error # 内存优化函数 def optimize_dtypes(df): """优化DataFrame的数据类型以减少内存占用""" if df.empty: return df # 转换整数列为最小可用类型 int_cols = df.select_dtypes(include=['int']).columns if not int_cols.empty: df[int_cols] = df[int_cols].apply(pd.to_numeric, downcast='integer') # 转换浮点列为最小可用类型 float_cols = df.select_dtypes(include=['float']).columns if not float_cols.empty: df[float_cols] = df[float_cols].apply(pd.to_numeric, downcast='float') # 转换对象列为分类类型 obj_cols = df.select_dtypes(include=['object']).columns for col in obj_cols: num_unique = df[col].nunique() num_total = len(df) if num_unique / num_total < 0.5: # 如果唯一值比例小于50% df[col] = df[col].astype('category') return df # 内存监控函数 def memory_monitor(step_name=""): """监控内存使用情况""" process = psutil.Process(os.getpid()) mem_info = process.memory_info() print(f"{step_name} 内存使用: {mem_info.rss / (1024 ** 2):.2f} MB") return mem_info.rss / (1024 ** 2) # 返回MB # 增强数据加载函数 def load_data_safely(file_path, usecols=None, dtype=None, chunksize=100000): """安全加载大型CSV文件，优化内存使用""" try: if not os.path.exists(file_path): print(f"⚠️ 文件不存在: {file_path}") return pd.DataFrame() # 自动检测编码 with open(file_path, 'rb') as f: result = chardet.detect(f.read(100000)) encoding = result['encoding'] if result['confidence'] > 0.7 else 'latin1' # 分批读取并优化内存 chunks = [] reader = pd.read_csv( file_path, encoding=encoding, usecols=usecols, dtype=dtype, chunksize=chunksize, low_memory=False ) for chunk in tqdm(reader, desc=f"加载 {os.path.basename(file_path)}"): # 优化分类列内存 for col in chunk.columns: if dtype and col in dtype and dtype[col] == 'category': chunk[col] = chunk[col].astype('category').cat.as_ordered() # 优化数据类型 chunk = optimize_dtypes(chunk) chunks.append(chunk) if chunks: result = pd.concat(chunks, ignore_index=True) # 再次整体优化 result = optimize_dtypes(result) return result return pd.DataFrame() except Exception as e: print(f"⚠️ 加载 {file_path} 失败: {str(e)}") return pd.DataFrame() # 稀疏矩阵转换函数 def to_sparse_matrix(df, columns): """将分类特征转换为稀疏矩阵表示""" sparse_matrices = [] for col in columns: if col in df.columns: # 处理NaN值 df[col] = df[col].fillna('MISSING') # 创建稀疏矩阵 sparse_mat = csr_matrix(pd.get_dummies(df[col], sparse=True).values) sparse_matrices.append(sparse_mat) # 水平堆叠所有稀疏矩阵 if sparse_matrices: return hstack(sparse_matrices) return None # 增量训练函数 def train_incremental(X, y, categorical_features, params, num_rounds=1000, chunk_size=100000): """分块增量训练模型以减少内存占用""" model = None for i in tqdm(range(0, len(X), chunk_size), desc="增量训练"): chunk_end = min(i + chunk_size, len(X)) X_chunk = X.iloc[i:chunk_end] y_chunk = y.iloc[i:chunk_end] train_data = lgb.Dataset( X_chunk, label=y_chunk, categorical_feature=categorical_features ) if model is None: model = lgb.train( params, train_data, num_boost_round=num_rounds, keep_training_booster=True ) else: model = lgb.train( params, train_data, num_boost_round=num_rounds, init_model=model, keep_training_booster=True ) return model # 主处理流程 def main(): """主处理流程，包含完整的内存优化策略""" # 初始内存监控 start_mem = memory_monitor("初始内存") # 定义内存优化的数据类型 dtypes = { 'did': 'category', 'vid': 'category', 'play_time': 'float32' } # 可选特征 optional_features = { 'item_cid': 'category', 'item_type': 'category', 'item_assetSource': 'category', 'item_classify': 'category', 'item_isIntact': 'category', 'sid': 'category', 'stype': 'category' } # 添加特征字段 for i in range(88): dtypes[f'f{i}'] = 'float32' # 加载核心数据 print("开始加载核心数据...") did_features = load_data_safely('did_features_table.csv', dtype=dtypes) vid_info = load_data_safely('vid_info_table.csv', dtype=dtypes) memory_monitor("加载核心数据后") # 添加可选特征到dtypes for feature, dtype in optional_features.items(): if not vid_info.empty and feature in vid_info.columns: dtypes[feature] = dtype # 重新加载数据以确保所有列使用正确的数据类型 if os.path.exists('did_features_table.csv'): did_features = load_data_safely('did_features_table.csv', dtype=dtypes) else: print("⚠️ did_features_table.csv 不存在") did_features = pd.DataFrame() if os.path.exists('vid_info_table.csv'): vid_info = load_data_safely('vid_info_table.csv', dtype=dtypes) else: print("⚠️ vid_info_table.csv 不存在") vid_info = pd.DataFrame() memory_monitor("重新加载数据后") # 加载历史数据 print("开始加载历史数据...") hist_exposure, hist_click, hist_play = load_historical_data(days=32) memory_monitor("加载历史数据后") # 构建点击数据集 if not hist_exposure.empty and not hist_click.empty: print("构建点击数据集...") click_train_data = build_click_dataset(hist_exposure, hist_click, sample_ratio=0.1) else: print("⚠️ 无法构建点击数据集") click_train_data = pd.DataFrame() memory_monitor("构建点击数据集后") # 添加特征 if not click_train_data.empty: print("开始构建点击特征...") click_train_data = add_click_features( click_train_data, did_features, vid_info, hist_click, hist_play ) else: print("⚠️ 点击数据集为空，跳过特征构建") memory_monitor("添加特征后") # 准备训练数据 if not click_train_data.empty: if 'date' in click_train_data.columns: X = click_train_data.drop(columns=['did', 'vid', 'label', 'date'], errors='ignore') else: X = click_train_data.drop(columns=['did', 'vid', 'label'], errors='ignore') y = click_train_data['label'] else: X, y = pd.DataFrame(), pd.Series() print("⚠️ 点击训练数据为空") # 划分数据集 if not X.empty and not y.empty: X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) else: print("⚠️ 训练数据为空，无法进行模型训练") X_train, X_val, y_train, y_val = pd.DataFrame(), pd.DataFrame(), pd.Series(), pd.Series() memory_monitor("划分数据集后") # 训练模型参数 params = { 'objective': 'binary', 'metric': 'binary_logloss', 'boosting_type': 'gbdt', 'num_leaves': 63, 'learning_rate': 0.05, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 5, 'min_child_samples': 100, 'verbosity': -1 } # 增量训练点击模型 if not X_train.empty: print("开始训练点击预测模型...") model_click = train_incremental(X_train, y_train, categorical_features, params, num_rounds=1500, chunk_size=100000) # 在验证集上评估 val_preds = model_click.predict(X_val) val_logloss = log_loss(y_val, val_preds) print(f"验证集LogLoss: {val_logloss:.4f}") else: model_click = None print("⚠️ 训练数据为空，跳过点击预测模型训练") memory_monitor("训练点击模型后") # 构建完播率数据集 print("开始构建完播率数据集...") play_train_data = build_play_dataset(hist_play, vid_info, did_features, hist_click) memory_monitor("构建完播率数据集后") # 训练完播率模型 if not play_train_data.empty: X_play = play_train_data.drop(columns=['did', 'vid', 'play_time', 'item_duration', 'completion_rate'], errors='ignore') y_play = play_train_data['completion_rate'] else: X_play, y_play = pd.DataFrame(), pd.Series() print("⚠️ 完播率训练数据为空") if not X_play.empty and not y_play.empty: X_train_play, X_val_play, y_train_play, y_val_play = train_test_split( X_play, y_play, test_size=0.2, random_state=42 ) else: print("⚠️ 完播率训练数据为空，无法进行模型训练") X_train_play, X_val_play, y_train_play, y_val_play = pd.DataFrame(), pd.DataFrame(), pd.Series(), pd.Series() # 训练参数 params_reg = { 'objective': 'regression', 'metric': 'mae', 'boosting_type': 'gbdt', 'num_leaves': 63, 'learning_rate': 0.03, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 5, 'lambda_l1': 0.1, 'lambda_l2': 0.1, 'min_data_in_leaf': 50, 'verbosity': -1 } # 增量训练完播率模型 if not X_train_play.empty: print("开始训练完播率模型...") model_play = train_incremental(X_train_play, y_train_play, play_categorical_features, params_reg, num_rounds=2000, chunk_size=100000) # 在验证集上评估 val_preds = model_play.predict(X_val_play) val_mae = mean_absolute_error(y_val_play, val_preds) print(f"验证集MAE: {val_mae:.4f}") else: model_play = None print("⚠️ 训练数据为空，跳过完播率模型训练") memory_monitor("训练完播率模型后") # 保存模型 if model_click: model_click.save_model('click_model.txt') print("点击预测模型已保存") if model_play: model_play.save_model('play_model.txt') print("完播率预测模型已保存") # 预测流程 print("开始加载预测数据...") to_predict_users = load_data_safely('testA_pred_did.csv', dtype={'did': 'category'}) to_predict_exposure = load_data_safely('testA_did_show.csv', dtype={'did': 'category', 'vid': 'category'}) # 执行预测 if not to_predict_users.empty and not to_predict_exposure.empty: print("开始生成预测结果...") submission = predict_for_test_data(to_predict_users, to_predict_exposure, did_features, vid_info) # 保存结果 if not submission.empty: timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") output_file = f'submission_{timestamp}.csv' submission.to_csv(output_file, index=False) print(f"预测结果已保存至: {output_file}") else: print("⚠️ 预测结果为空，未保存文件") else: print("⚠️ 预测数据加载失败，无法生成结果") # 最终内存报告 end_mem = memory_monitor("处理完成") print(f"总内存消耗: {end_mem - start_mem:.2f} MB") # 历史数据加载函数 def load_historical_data(days=32): """高效加载历史数据，支持分批处理""" see_list, click_list, play_list = [], [], [] for day in tqdm(range(1, days + 1), desc="加载历史数据"): day_str = f"{day:02d}" # 加载曝光数据 see_path = f'see_{day_str}.csv' if os.path.exists(see_path): see = load_data_safely(see_path, usecols=['did', 'vid'], dtype={'did': 'category', 'vid': 'category'}) if not see.empty and 'did' in see.columns and 'vid' in see.columns: see_list.append(see) del see gc.collect() # 加载点击数据 click_path = f'click_{day_str}.csv' if os.path.exists(click_path): click = load_data_safely(click_path, usecols=['did', 'vid', 'click_time'], dtype={'did': 'category', 'vid': 'category'}) if not click.empty and 'click_time' in click.columns and 'did' in click.columns and 'vid' in click.columns: # 优化日期处理 click['date'] = pd.to_datetime(click['click_time'], errors='coerce').dt.date click = click.drop(columns=['click_time'], errors='ignore') click_list.append(click[['did', 'vid', 'date']]) del click gc.collect() # 加载播放数据 play_path = f'playplus_{day_str}.csv' if os.path.exists(play_path): play = load_data_safely(play_path, usecols=['did', 'vid', 'play_time'], dtype={'did': 'category', 'vid': 'category'}) if not play.empty and 'play_time' in play.columns and 'did' in play.columns and 'vid' in play.columns: play_list.append(play) del play gc.collect() gc.collect() # 确保返回三个DataFrame return ( pd.concat(see_list).drop_duplicates(['did', 'vid']) if see_list else pd.DataFrame(), pd.concat(click_list).drop_duplicates(['did', 'vid']) if click_list else pd.DataFrame(), pd.concat(play_list).drop_duplicates(['did', 'vid']) if play_list else pd.DataFrame() ) # 点击数据集构建 def build_click_dataset(hist_exposure, hist_click, sample_ratio=0.1): """构建点击数据集，包含负样本采样""" if hist_exposure.empty or hist_click.empty: print("⚠️ 历史曝光或点击数据为空，无法构建数据集") return pd.DataFrame() # 标记正样本 hist_click = hist_click.copy() hist_click['label'] = 1 # 高效标记负样本 exposure_set = set(zip(hist_exposure['did'], hist_exposure['vid'])) click_set = set(zip(hist_click['did'], hist_click['vid'])) # 找出未点击的曝光 negative_set = exposure_set - click_set # 创建负样本DataFrame if negative_set: negative_dids, negative_vids = zip(*negative_set) negative_samples = pd.DataFrame({ 'did': list(negative_dids), 'vid': list(negative_vids), 'label': 0 }) # 采样负样本 if sample_ratio < 1.0: negative_samples = negative_samples.sample(frac=sample_ratio, random_state=42) else: negative_samples = pd.DataFrame(columns=['did', 'vid', 'label']) # 合并数据集 click_data = pd.concat([ hist_click[['did', 'vid', 'label']], negative_samples ], ignore_index=True) # 释放内存 del exposure_set, click_set, negative_set, negative_samples gc.collect() return click_data # 特征工程函数 def add_click_features(df, did_features, vid_info, hist_click, hist_play): """添加关键特征，避免内存溢出""" if df.empty: return df # 基础特征 if not did_features.empty and 'did' in did_features.columns: # 只取需要的列 did_cols = [col for col in did_features.columns if col not in ['did'] or col == 'did'] df = df.merge(did_features[did_cols], on='did', how='left') if not vid_info.empty and 'vid' in vid_info.columns: vid_cols = [col for col in vid_info.columns if col not in ['vid'] or col == 'vid'] df = df.merge(vid_info[vid_cols], on='vid', how='left') # 用户行为统计 if not hist_click.empty and 'did' in hist_click.columns: user_click_count = hist_click.groupby('did').size().rename('user_click_count') df = df.merge(user_click_count, on='did', how='left') else: df['user_click_count'] = 0 if not hist_play.empty and 'did' in hist_play.columns and 'play_time' in hist_play.columns: user_total_play = hist_play.groupby('did')['play_time'].sum().rename('user_total_play') df = df.merge(user_total_play, on='did', how='left') else: df['user_total_play'] = 0 if not hist_click.empty and 'vid' in hist_click.columns: video_click_count = hist_click.groupby('vid').size().rename('video_click_count') df = df.merge(video_click_count, on='vid', how='left') else: df['video_click_count'] = 0 if not hist_play.empty and 'vid' in hist_play.columns and 'play_time' in hist_play.columns: avg_play_time = hist_play.groupby('vid')['play_time'].mean().rename('avg_play_time') df = df.merge(avg_play_time, on='vid', how='left') else: df['avg_play_time'] = 0 # 填充缺失值 fill_values = { 'user_click_count': 0, 'user_total_play': 0, 'video_click_count': df['video_click_count'].median() if 'video_click_count' in df else 0, 'avg_play_time': df['avg_play_time'].median() if 'avg_play_time' in df else 0 } for col, value in fill_values.items(): if col in df: df[col] = df[col].fillna(value) # 添加时间相关特征 if 'date' in df: df['day_of_week'] = pd.to_datetime(df['date']).dt.dayofweek.astype('int8') df['hour'] = pd.to_datetime(df['date']).dt.hour.astype('int8') return df # 预测函数 def predict_for_test_data(test_users, test_exposure, did_features, vid_info): """为测试数据生成预测结果""" if test_users.empty or test_exposure.empty: print("⚠️ 测试数据为空，无法进行预测") return pd.DataFrame() # 合并测试数据 test_data = test_exposure.merge(test_users, on='did', how='left') # 添加特征 test_data = add_click_features( test_data, did_features, vid_info, pd.DataFrame(), # 无历史点击 pd.DataFrame() # 无历史播放 ) # 预测点击率 X_test = test_data.drop(columns=['did', 'vid', 'date'], errors='ignore') click_probs = [] if model_click and not X_test.empty: # 分块预测避免内存问题 click_probs = [] chunk_size = 100000 for i in range(0, len(X_test), chunk_size): chunk = X_test.iloc[i:i+chunk_size] click_probs.extend(model_click.predict(chunk)) else: click_probs = [0.5] * len(test_data) # 默认值 # 预测完播率 completion_rates = [] if model_play and not X_test.empty: # 添加视频时长信息 if not vid_info.empty and 'vid' in vid_info.columns and 'item_duration' in vid_info.columns: test_data = test_data.merge(vid_info[['vid', 'item_duration']], on='vid', how='left') else: test_data['item_duration'] = 1.0 # 分块预测 completion_rates = [] for i in range(0, len(X_test), chunk_size): chunk = X_test.iloc[i:i+chunk_size] completion_rates.extend(model_play.predict(chunk)) else: completion_rates = [0.7] * len(test_data) # 默认值 # 计算综合得分 test_data['click_prob'] = click_probs test_data['completion_rate'] = completion_rates test_data['score'] = test_data['click_prob'] * test_data['completion_rate'] # 为每个用户选择得分最高的视频 submission = test_data.sort_values('score', ascending=False).groupby('did').head(1) # 选择需要的列 submission = submission[['did', 'vid', 'completion_rate']].copy() # 重命名列 submission.columns = ['did', 'vid', 'completion_rate'] # 确保数据格式正确 submission['did'] = submission['did'].astype(str) submission['vid'] = submission['vid'].astype(str) submission['completion_rate'] = submission['completion_rate'].round(4) return submission # 主程序入口 if __name__ == "__main__": main()

desc = f"加载 {os.path.basename(file_path)} ({file_size:.1f}MB)" # 分批读取并优化内存 chunks = [] reader = pd.read_csv( file_path, encoding=encoding, usecols=usecols, dtype=dtype, chunk...
rar

讯图GD460电脑DSP调音软件下载

讯图GD460电脑DSP调音软件下载
zip

港股历史逐笔十档订单簿分钟日数据下载

csv格式港股历史高频数据集（GB2312编码） ─────────────────────────────────── 【数据种类】逐笔成交｜订单簿快照｜分钟K线｜多周期聚合数据 【时间跨度】2005年至今完整历史数据 【数据精度】 - Level2逐笔数据：包含十档订单簿及逐笔成交明细（≥1TB） - 多频段K线：1/5/15/30/60分钟+日/周/月线（≥100GB） 【技术特性】 ● 存储方式：网盘加密压缩包 ● 数据规范：经时间戳对齐及异常值清洗 ● 格式兼容：原生csv适配Python(pandas.read_csv)及量化平台 【应用场景】 ◆ 高频策略验证：ARIMA/LSTM时序预测、做市商策略模拟、冲击成本测算 ◆ 风险建模：市场操纵模式识别、流动性风险压力测试 ◆ AI训练：深度强化学习(DRL)策略生成、OrderBook特征工程 ◆ 学术研究：市场微观结构分析、波动率聚类效应验证 【质量保障】 √ 订单簿重构误差＜0.1% √ Tick数据时延校准至交易所时钟 √ 提供完整的symbol-mapping表及除权处理说明 本数据集通过PCAOB审计标准校验，适用于《金融研究》等核心期刊论文的实证分析，满足资管机构合规性回测要求。 【版权说明】 数据源：银禾金融数据库，解释权归该数据库所有。

大家在看

recommend-type

松下kxp1121打印机驱动 官方最新版_支持win7

松下kxp1121是一款经典针式打印机，这里给广大网友提供这款机型的官方驱动，支持win7系统，推荐使用此款打印机的用户下载安装。松下kxp1121打印机：松下针式打印机KX-P1121拥有比较简单的操作，并且可以进行双向打印，其打印速度为240字/秒，最高分辨率为360dpi，可,欢迎下载体验
recommend-type

ENVI遥感图像几何校正 包含练习数据

ENVI遥感图像几何校正 包含练习数据
recommend-type

《OpenGL ES 3.x游戏开发 上卷》源码

《OpenGL ES 3.x游戏开发 上卷》的源码， Eclipse工程
recommend-type

RD_FMCW.zip

FMCW实现SAR成像，近距离SAR成像，range-doppler算法，matlab仿真。
recommend-type

pb9_pb_

pb9调WEBSERVICE转http，部分WEBSERVICE接口PB无法直接调用，这种方式可实现

最新推荐

recommend-type

讯图GD460电脑DSP调音软件下载

讯图GD460电脑DSP调音软件下载
recommend-type

港股历史逐笔十档订单簿分钟日数据下载

csv格式港股历史高频数据集（GB2312编码） ─────────────────────────────────── 【数据种类】逐笔成交｜订单簿快照｜分钟K线｜多周期聚合数据 【时间跨度】2005年至今完整历史数据 【数据精度】 - Level2逐笔数据：包含十档订单簿及逐笔成交明细（≥1TB） - 多频段K线：1/5/15/30/60分钟+日/周/月线（≥100GB） 【技术特性】 ● 存储方式：网盘加密压缩包 ● 数据规范：经时间戳对齐及异常值清洗 ● 格式兼容：原生csv适配Python(pandas.read_csv)及量化平台 【应用场景】 ◆ 高频策略验证：ARIMA/LSTM时序预测、做市商策略模拟、冲击成本测算 ◆ 风险建模：市场操纵模式识别、流动性风险压力测试 ◆ AI训练：深度强化学习(DRL)策略生成、OrderBook特征工程 ◆ 学术研究：市场微观结构分析、波动率聚类效应验证 【质量保障】 √ 订单簿重构误差＜0.1% √ Tick数据时延校准至交易所时钟 √ 提供完整的symbol-mapping表及除权处理说明 本数据集通过PCAOB审计标准校验，适用于《金融研究》等核心期刊论文的实证分析，满足资管机构合规性回测要求。 【版权说明】 数据源：银禾金融数据库，解释权归该数据库所有。
recommend-type

虚拟同步机离网模型与30KW PCS储能逆变技术研究：前端BUCK-BOOST电路与多功能的并网控制

内容概要：本文详细介绍了30KW PCS储能逆变器的虚拟同步机离网模型及其核心技术。首先阐述了离网与并网功能的融合，强调了逆变器在不同状态下的稳定性和可靠性。接着深入探讨了前端BUCK-BOOST电路的作用，解释了其对电压升降调节的关键意义。随后重点讲解了后端三电平逆变器的工作原理，特别是下垂控制加虚拟同步机控制策略的应用，实现了多台PCS的并联运行。此外，还讨论了C语言编程和S-function在DSP28XX系列芯片上的实现，提供了详细的代码和理论计算支持。最后，总结了该逆变器的速度与效率优势，展示了其在电力系统中的广泛应用前景。 适合人群：从事电力电子领域的工程师、研究人员及高校相关专业师生。 使用场景及目标：①理解和掌握30KW PCS储能逆变器的离网并网功能；②学习前端BUCK-BOOST电路和后端三电平逆变器的设计原理；③熟悉虚拟同步机控制技术和C语言编程在DSP芯片上的应用。 其他说明：本文基于大厂内部资料，提供了详尽的理论计算和实际问题解决方案，有助于提高产品研发和应用能力。
recommend-type

永磁同步电机直接转矩控制仿真的MATLAB 2010a版

内容概要：本文详细介绍了如何使用MATLAB 2010a进行永磁同步电机(PMSM)的直接转矩控制(DTC)仿真。首先，文章提供了PMSM的关键参数配置，强调了电感参数单位的选择。接着，逐步讲解了磁链观测器、滞环比较器以及电压矢量选择表的设计方法，并给出了具体的MATLAB代码实现。此外，还分享了一些实用的调参技巧，如调整磁链观测器、滞环宽度等，以优化仿真效果。最后展示了仿真结果图，包括电磁转矩跟踪、转速曲线和磁链轨迹，帮助读者更好地理解和验证DTC的工作原理。 适合人群：具有一定MATLAB基础并希望深入了解电机控制领域的工程师和技术爱好者。 使用场景及目标：适用于需要研究或应用永磁同步电机直接转矩控制技术的研究人员、学生或工程师。主要目标是掌握DTC的基本原理及其在MATLAB环境下的具体实现方法，同时学会如何根据实际情况调整参数以获得更好的性能。 阅读建议：由于文中涉及较多的技术细节和代码片段，在阅读过程中建议读者跟随作者提供的步骤亲自尝试编写代码，并结合理论知识深入理解每个模块的功能。对于遇到的问题可以通过查阅相关文献资料或者在线社区寻求解决方案。
recommend-type

langchain4j-embeddings-bge-small-en-1.1.0-beta7.jar中文文档.zip

1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
recommend-type

掌握XFireSpring整合技术：HELLOworld原代码使用教程

标题：“xfirespring整合使用原代码”中提到的“xfirespring”是指将XFire和Spring框架进行整合使用。XFire是一个基于SOAP的Web服务框架，而Spring是一个轻量级的Java/Java EE全功能栈的应用程序框架。在Web服务开发中，将XFire与Spring整合能够发挥两者的优势，例如Spring的依赖注入、事务管理等特性，与XFire的简洁的Web服务开发模型相结合。 描述：“xfirespring整合使用HELLOworld原代码”说明了在这个整合过程中实现了一个非常基本的Web服务示例，即“HELLOworld”。这通常意味着创建了一个能够返回"HELLO world"字符串作为响应的Web服务方法。这个简单的例子用来展示如何设置环境、编写服务类、定义Web服务接口以及部署和测试整合后的应用程序。 标签：“xfirespring”表明文档、代码示例或者讨论集中于XFire和Spring的整合技术。 文件列表中的“index.jsp”通常是一个Web应用程序的入口点，它可能用于提供一个用户界面，通过这个界面调用Web服务或者展示Web服务的调用结果。“WEB-INF”是Java Web应用中的一个特殊目录，它存放了应用服务器加载的Servlet类文件和相关的配置文件，例如web.xml。web.xml文件中定义了Web应用程序的配置信息，如Servlet映射、初始化参数、安全约束等。“META-INF”目录包含了元数据信息，这些信息通常由部署工具使用，用于描述应用的元数据，如manifest文件，它记录了归档文件中的包信息以及相关的依赖关系。 整合XFire和Spring框架，具体知识点可以分为以下几个部分： 1. XFire框架概述 XFire是一个开源的Web服务框架，它是基于SOAP协议的，提供了一种简化的方式来创建、部署和调用Web服务。XFire支持多种数据绑定，包括XML、JSON和Java数据对象等。开发人员可以使用注解或者基于XML的配置来定义服务接口和服务实现。 2. Spring框架概述 Spring是一个全面的企业应用开发框架，它提供了丰富的功能，包括但不限于依赖注入、面向切面编程（AOP）、数据访问/集成、消息传递、事务管理等。Spring的核心特性是依赖注入，通过依赖注入能够将应用程序的组件解耦合，从而提高应用程序的灵活性和可测试性。 3. XFire和Spring整合的目的 整合这两个框架的目的是为了利用各自的优势。XFire可以用来创建Web服务，而Spring可以管理这些Web服务的生命周期，提供企业级服务，如事务管理、安全性、数据访问等。整合后，开发者可以享受Spring的依赖注入、事务管理等企业级功能，同时利用XFire的简洁的Web服务开发模型。 4. XFire与Spring整合的基本步骤 整合的基本步骤可能包括添加必要的依赖到项目中，配置Spring的applicationContext.xml，以包括XFire特定的bean配置。比如，需要配置XFire的ServiceExporter和ServicePublisher beans，使得Spring可以管理XFire的Web服务。同时，需要定义服务接口以及服务实现类，并通过注解或者XML配置将其关联起来。 5. Web服务实现示例：“HELLOworld” 实现一个Web服务通常涉及到定义服务接口和服务实现类。服务接口定义了服务的方法，而服务实现类则提供了这些方法的具体实现。在XFire和Spring整合的上下文中，“HELLOworld”示例可能包含一个接口定义，比如`HelloWorldService`，和一个实现类`HelloWorldServiceImpl`，该类有一个`sayHello`方法返回"HELLO world"字符串。 6. 部署和测试 部署Web服务时，需要将应用程序打包成WAR文件，并部署到支持Servlet 2.3及以上版本的Web应用服务器上。部署后，可以通过客户端或浏览器测试Web服务的功能，例如通过访问XFire提供的服务描述页面（WSDL）来了解如何调用服务。 7. JSP与Web服务交互 如果在应用程序中使用了JSP页面，那么JSP可以用来作为用户与Web服务交互的界面。例如，JSP可以包含JavaScript代码来发送异步的AJAX请求到Web服务，并展示返回的结果给用户。在这个过程中，JSP页面可能使用XMLHttpRequest对象或者现代的Fetch API与Web服务进行通信。 8. 项目配置文件说明 项目配置文件如web.xml和applicationContext.xml分别在Web应用和服务配置中扮演关键角色。web.xml负责定义Web组件，比如Servlet、过滤器和监听器，而applicationContext.xml则负责定义Spring容器中的bean，包括数据源、事务管理器、业务逻辑组件和服务访问器等。 总之，通过上述整合使用原代码的知识点，可以深入理解XFire与Spring框架的结合使用，以及如何开发和部署基本的Web服务。这些技术知识有助于进行更高层次的Web服务开发，以及在复杂的IT环境中灵活运用各种框架和工具。
recommend-type

【Unity2018汉化大揭秘】：一步到位优化中文用户体验

# 摘要 本论文详细介绍了Unity2018汉化项目的实施过程，从理论准备到实践步骤，再到后期的测试与优化，最终分享了汉化经验和心得。首先，强调了汉化项目对于用户体验提升和产品国际化的重要性，并分析了汉化资源的分类、识别与管理方法。接着，详细阐述了汉化工具的选择、脚本编写、资源手动调整等实践步骤，以及汉化质量测试、体验优化和项目维护更新的重要性。论文最后通过案例研究，分析了汉化中的挑战和应对策略，并预测了汉化技术未来的发展方向。整个汉化过程不仅涉及技术层面的操作，还包含了深入的理论研究和实践心得分享，对提升汉化项目的效率和质量具有指导意义。 # 关键字 Unity汉化；用户体验；国际化；资源
recommend-type

iPhone

<think>我们注意到用户意图不明确，但提到了“照片提取”和“其他功能帮助”。因此，我们需要通过搜索来获取关于iPhone照片提取的常见方法以及其他可能的功能帮助。由于用户问题比较宽泛，我们将重点放在照片提取上，因为这是明确提到的关键词。同时，我们也会考虑一些其他常用功能的帮助。首先，针对照片提取，可能涉及从iPhone导出照片、从备份中提取照片、或者从损坏的设备中恢复照片等。我们将搜索这些方面的信息。其次，关于其他功能帮助，我们可以提供一些常见问题的快速指南，如电池优化、屏幕时间管理等。根据要求，我们需要将答案组织为多个方法或步骤，并在每个步骤间换行。同时，避免使用第一人称和步骤词汇。由于
recommend-type

驾校一点通软件：提升驾驶证考试通过率

标题“驾校一点通”指向的是一款专门为学员考取驾驶证提供帮助的软件，该软件强调其辅助性质，旨在为学员提供便捷的学习方式和复习资料。从描述中可以推断出，“驾校一点通”是一个与驾驶考试相关的应用软件，这类软件一般包含驾驶理论学习、模拟考试、交通法规解释等内容。 文件标题中的“2007”这个年份标签很可能意味着软件的最初发布时间或版本更新年份，这说明了软件具有一定的历史背景和可能经过了多次更新，以适应不断变化的驾驶考试要求。 压缩包子文件的文件名称列表中，有以下几个文件类型值得关注： 1. images.dat：这个文件名表明，这是一个包含图像数据的文件，很可能包含了用于软件界面展示的图片，如各种标志、道路场景等图形。在驾照学习软件中，这类图片通常用于帮助用户认识和记忆不同交通标志、信号灯以及驾驶过程中需要注意的各种道路情况。 2. library.dat：这个文件名暗示它是一个包含了大量信息的库文件，可能包含了法规、驾驶知识、考试题库等数据。这类文件是提供给用户学习驾驶理论知识和准备科目一理论考试的重要资源。 3. 驾校一点通小型汽车专用.exe：这是一个可执行文件，是软件的主要安装程序。根据标题推测，这款软件主要是针对小型汽车驾照考试的学员设计的。通常，小型汽车（C1类驾照）需要学习包括车辆构造、基础驾驶技能、安全行车常识、交通法规等内容。 4. 使用说明.html：这个文件是软件使用说明的文档，通常以网页格式存在，用户可以通过浏览器阅读。使用说明应该会详细介绍软件的安装流程、功能介绍、如何使用软件的各种模块以及如何通过软件来帮助自己更好地准备考试。 综合以上信息，我们可以挖掘出以下几个相关知识点： - 软件类型：辅助学习软件，专门针对驾驶考试设计。 - 应用领域：主要用于帮助驾考学员准备理论和实践考试。 - 文件类型：包括图片文件（images.dat）、库文件（library.dat）、可执行文件（.exe）和网页格式的说明文件（.html）。 - 功能内容：可能包含交通法规知识学习、交通标志识别、驾驶理论学习、模拟考试、考试题库练习等功能。 - 版本信息：软件很可能最早发布于2007年，后续可能有多个版本更新。 - 用户群体：主要面向小型汽车驾照考生，即C1类驾照学员。 - 使用方式：用户需要将.exe安装文件进行安装，然后根据.html格式的使用说明来熟悉软件操作，从而利用images.dat和library.dat中的资源来辅助学习。 以上知识点为从给定文件信息中提炼出来的重点，这些内容对于了解“驾校一点通”这款软件的功能、作用、使用方法以及它的发展历史都有重要的指导意义。
recommend-type

【DFLauncher自动化教程】：简化游戏启动流程，让游戏体验更流畅

# 摘要 DFLauncher是一个功能丰富的游戏启动和管理平台，本论文将介绍其安装、基础使用、高级设置、社区互动以及插件开发等方面。通过对配置文件的解析、界面定制、自动化功能的实现、高级配置选项、安全性和性能监控的详细讨论，本文阐述了DFLauncher如何帮助用户更高效地管理和优化游戏环境。此外，本文还探讨了DFLauncher社区的资源分享、教育教程和插件开发等内容，