in <module> lgb_predict = lgb_reg.predict(testX.drop('gameId',axis=1)) AttributeError: 'numpy.ndarray' object has no attribute 'drop'

时间: 2023-08-22 11:35:42 浏览: 155
这 error 通常是因为你正在尝试在 numpy.ndarray 对象上调用 Pandas DataFrame 方法(如 .drop())。 请检查你的代码,确保 testX 是一个 Pandas DataFrame 而不是 numpy.ndarray。如果 testX 是 numpy.ndarray,你可以使用 Pandas DataFrame 的构造函数将其转换为 DataFrame。例如: ``` import pandas as pd testX = pd.DataFrame(testX) ``` 然后你可以使用 .drop() 方法。
相关问题

[LightGBM] [Warning] Unknown parameter categorical_column= Traceback (most recent call last): File "C:\Users\86188\PycharmProjects\pythonProject8\src\lgbb.py", line 106, in <module> y_pred = lgb_model.predict(X_test) File "C:\Python37\lib\site-packages\lightgbm\sklearn.py", line 545, in predict return self._le.inverse_transform(class_index) File "C:\Python37\lib\site-packages\sklearn\preprocessing\_label.py", line 161, in inverse_transform raise ValueError("y contains previously unseen labels: %s" % str(diff)) ValueError: y contains previously unseen labels: [83394] 进程已结束,退出代码1

这个错误提示是因为你在 LightGBM 模型中使用了一个未知的参数 `categorical_column=`。这个参数在最新的 LightGBM 版本中已经被移除了。如果你想要使用分类特征,可以使用 `categorical_feature` 参数来指定它们的列索引或名称。另外,错误信息中的 `ValueError` 提示说明你的测试数据集中包含了未出现在训练数据集中的标签。你需要检查一下你的训练集和测试集的标签分布是否一致,如果不一致的话就需要进行处理。

翻译这段代码:print("start:") start = time.time() K = 9 skf = StratifiedKFold(n_splits=K,shuffle=True,random_state=2018) auc_cv = [] pred_cv = [] for k,(train_in,test_in) in enumerate(skf.split(X,y)): X_train,X_test,y_train,y_test = X[train_in],X[test_in],\ y[train_in],y[test_in] # The data structure 数据结构 lgb_train = lgb.Dataset(X_train, y_train) lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train) # Set the parameters 设置参数 params = { 'boosting': 'gbdt', 'objective':'binary', 'verbosity': -1, 'learning_rate': 0.01, 'metric': 'auc', 'num_leaves':17 , 'min_data_in_leaf': 26, 'min_child_weight': 1.12, 'max_depth': 9, "feature_fraction": 0.91, "bagging_fraction": 0.82, "bagging_freq": 2, } print('................Start training..........................') # train gbm = lgb.train(params, lgb_train, num_boost_round=2000, valid_sets=lgb_eval, early_stopping_rounds=100, verbose_eval=100) print('................Start predict .........................') # Predict y_pred = gbm.predict(X_test,num_iteration=gbm.best_iteration) # Evaluate tmp_auc = roc_auc_score(y_test,y_pred) auc_cv.append(tmp_auc) print("valid auc:",tmp_auc) # Test pred = gbm.predict(X, num_iteration = gbm.best_iteration) pred_cv.append(pred) # the mean auc score of StratifiedKFold StratifiedKFold的平均auc分数 print('the cv information:') print(auc_cv) lgb_mean_auc = np.mean(auc_cv) print('cv mean score',lgb_mean_auc) end = time.time() lgb_practice_time=end-start print("......................run with time: {} s".format(lgb_practice_time) ) print("over:*") # turn into array 变为阵列 res = np.array(pred_cv) print("rusult:",res.shape) # mean the result 平均结果 r = res.mean(axis = 0) print('result shape:',r.shape) result = pd.DataFrame() result['company_id'] = range(1,df.shape[0]+1) result['pred_prob'] = r

打印 "start:",并记录开始时间。然后进行 K 折交叉验证,其中 K=9。对于每个交叉验证的训练集和测试集,使用 LightGBM 模型进行训练和预测,并计算每个测试集的 AUC 分数。将每个测试集的预测结果和相应的 AUC 分数存储在数组中。计算 StratifiedKFold 的平均 AUC 分数,并打印出来。将所有测试集的预测结果取平均值作为最终预测结果,并将其存储在 DataFrame 中。最后打印出总运行时间。
阅读全文

相关推荐

x_train = train.drop(['id','label'], axis=1) y_train = train['label'] x_test=test.drop(['id'], axis=1) def abs_sum(y_pre,y_tru): y_pre=np.array(y_pre) y_tru=np.array(y_tru) loss=sum(sum(abs(y_pre-y_tru))) return loss def cv_model(clf, train_x, train_y, test_x, clf_name): folds = 5 seed = 2021 kf = KFold(n_splits=folds, shuffle=True, random_state=seed) test = np.zeros((test_x.shape[0],4)) cv_scores = [] onehot_encoder = OneHotEncoder(sparse=False) for i, (train_index, valid_index) in enumerate(kf.split(train_x, train_y)): print('************************************ {} ************************************'.format(str(i+1))) trn_x, trn_y, val_x, val_y = train_x.iloc[train_index], train_y[train_index], train_x.iloc[valid_index], train_y[valid_index] if clf_name == "lgb": train_matrix = clf.Dataset(trn_x, label=trn_y) valid_matrix = clf.Dataset(val_x, label=val_y) params = { 'boosting_type': 'gbdt', 'objective': 'multiclass', 'num_class': 4, 'num_leaves': 2 ** 5, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 4, 'learning_rate': 0.1, 'seed': seed, 'nthread': 28, 'n_jobs':24, 'verbose': -1, } model = clf.train(params, train_set=train_matrix, valid_sets=valid_matrix, num_boost_round=2000, verbose_eval=100, early_stopping_rounds=200) val_pred = model.predict(val_x, num_iteration=model.best_iteration) test_pred = model.predict(test_x, num_iteration=model.best_iteration) val_y=np.array(val_y).reshape(-1, 1) val_y = onehot_encoder.fit_transform(val_y) print('预测的概率矩阵为:') print(test_pred) test += test_pred score=abs_sum(val_y, val_pred) cv_scores.append(score) print(cv_scores) print("%s_scotrainre_list:" % clf_name, cv_scores) print("%s_score_mean:" % clf_name, np.mean(cv_scores)) print("%s_score_std:" % clf_name, np.std(cv_scores)) test=test/kf.n_splits return test def lgb_model(x_train, y_train, x_test): lgb_test = cv_model(lgb, x_train, y_train, x_test, "lgb") return lgb_test lgb_test = lgb_model(x_train, y_train, x_test) 这段代码运用了什么学习模型

final_valid_predictions = {} final_test_predictions = [] scores = [] log_losses = [] balanced_log_losses = [] weights = [] for fold in range(5): train_df = df[df['fold'] != fold] valid_df = df[df['fold'] == fold] valid_ids = valid_df.Id.values.tolist() X_train, y_train = train_df.drop(['Id', 'Class', 'fold'], axis=1), train_df['Class'] X_valid, y_valid = valid_df.drop(['Id', 'Class', 'fold'], axis=1), valid_df['Class'] lgb = LGBMClassifier(boosting_type='goss', learning_rate=0.06733232950390658, n_estimators = 50000, early_stopping_round = 300, random_state=42, subsample=0.6970532011679706, colsample_bytree=0.6055755840633003, class_weight='balanced', metric='none', is_unbalance=True, max_depth=8) lgb.fit(X_train, y_train, eval_set=(X_valid, y_valid), verbose=1000, eval_metric=lgb_metric) y_pred = lgb.predict_proba(X_valid) preds_test = lgb.predict_proba(test_df.drop(['Id'], axis=1).values) final_test_predictions.append(preds_test) final_valid_predictions.update(dict(zip(valid_ids, y_pred))) logloss = log_loss(y_valid, y_pred) balanced_logloss = balanced_log_loss(y_valid, y_pred[:, 1]) log_losses.append(logloss) balanced_log_losses.append(balanced_logloss) weights.append(1/balanced_logloss) print(f"Fold: {fold}, log loss: {round(logloss, 3)}, balanced los loss: {round(balanced_logloss, 3)}") print() print("Log Loss") print(log_losses) print(np.mean(log_losses), np.std(log_losses)) print() print("Balanced Log Loss") print(balanced_log_losses) print(np.mean(balanced_log_losses), np.std(balanced_log_losses)) print() print("Weights") print(weights)

import pandas as pd import numpy as np from sklearn.preprocessing import OrdinalEncoder, StandardScaler from sklearn.impute import SimpleImputer from sklearn.model_selection import train_test_split from factor_analyzer import FactorAnalyzer from factor_analyzer.factor_analyzer import calculate_kmo from xgboost import XGBClassifier import lightgbm as lgb from sklearn.metrics import classification_report # ====================== # 1. 数据读取与清洗 # ====================== def load_and_clean(data_path): # 读取数据 df = pd.read_csv(data_path) # 缺失值处理 num_imputer = SimpleImputer(strategy='median') cat_imputer = SimpleImputer(strategy='most_frequent') # 数值型字段 numeric_cols = ['付费金额', '活跃时长', '广告收入', '留存'] df[numeric_cols] = num_imputer.fit_transform(df[numeric_cols]) # 分类型字段 categorical_cols = ['设备价值档位', '用户初始广告档位'] df[categorical_cols] = cat_imputer.fit_transform(df[categorical_cols]) # 异常值处理 df['活跃时长'] = np.where(df['活跃时长'] > 24, 24, df['活跃时长']) df['付费金额'] = np.where( df['付费金额'] > df['付费金额'].quantile(0.99), df['付费金额'].quantile(0.95), df['付费金额'] ) return df # ====================== # 2. 特征工程 # ====================== def feature_engineering(df): # 构造复合特征 df['ARPU密度'] = df['付费金额'] / (df['活跃天数'] + 1) df['广告展示率'] = df['广告曝光次数'] / df['短剧观看次数'] df['内容互动指数'] = np.log1p(df['收藏数']*1 + df['分享数']*2 + df['评论数']*3) # 分类变量编码 encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1) cat_cols = ['设备价值档位', '用户初始广告档位'] df[cat_cols] = encoder.fit_transform(df[cat_cols]) return df # ====================== # 3. 特征筛选与降维 # ====================== def feature_selection(df, target_col='付费意愿档位'): # 划分特征和目标 X = df.drop(columns=[target_col]) y = df[target_col] # 计算IV值筛选 from sklearn.feature_selection import mutual_info_classif iv_values = mutual_info_classif(X, y) iv_df = pd.DataFrame({'feature': X.columns, 'iv': iv_values}) selected_features = iv_df[iv_df['iv'] > 0.02]['feature'].tolist() X_selected = X[selected_features] # 因子分析降维 kmo_all, kmo_model = calculate_kmo(X_selected) if kmo_model > 0.6: fa = FactorAnalyzer(n_factors=5, rotation='varimax') fa.fit(X_selected) factor_scores = fa.transform(X_selected) factor_cols = [f'Factor_{i}' for i in range(1,6)] X_factors = pd.DataFrame(factor_scores, columns=factor_cols) else: X_factors = X_selected.copy() return X_factors, y # ====================== # 4. XGBoost特征筛选 # ====================== def xgb_feature_importance(X, y): # 训练XGBoost模型 model = XGBClassifier( objective='multi:softmax', eval_metric='mlogloss', use_label_encoder=False ) model.fit(X, y) # 获取特征重要性 importance = pd.DataFrame({ 'feature': X.columns, 'importance': model.feature_importances_ }).sort_values('importance', ascending=False) top10_features = importance.head(10)['feature'].tolist() return X[top10_features] # ====================== # 5. LightGBM建模预测 # ====================== def lgb_modeling(X, y): # 数据划分 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) # 模型训练 model = lgb.LGBMClassifier( num_leaves=31, max_depth=5, learning_rate=0.1, n_estimators=300, class_weight='balanced' ) model.fit(X_train, y_train) # 模型评估 y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) return model # ====================== # 主流程执行 # ====================== if __name__ == "__main__": # 数据路径 DATA_PATH = "user_data.csv" # 执行流程 df = load_and_clean(DATA_PATH) df = feature_engineering(df) X, y = feature_selection(df) X_top10 = xgb_feature_importance(X, y) final_model = lgb_modeling(X_top10, y) # 模型保存 final_model.booster_.save_model('user_value_model.txt')

param = {'num_leaves': 31, 'min_data_in_leaf': 20, 'objective': 'binary', 'learning_rate': 0.06, "boosting": "gbdt", "metric": 'None', "verbosity": -1} trn_data = lgb.Dataset(trn, trn_label) val_data = lgb.Dataset(val, val_label) num_round = 666 # clf = lgb.train(param, trn_data, num_round, valid_sets=[trn_data, val_data], verbose_eval=100, # early_stopping_rounds=300, feval=win_score_eval) clf = lgb.train(param, trn_data, num_round) # oof_lgb = clf.predict(val, num_iteration=clf.best_iteration) test_lgb = clf.predict(test, num_iteration=clf.best_iteration)thresh_hold = 0.5 oof_test_final = test_lgb >= thresh_hold print(metrics.accuracy_score(test_label, oof_test_final)) print(metrics.confusion_matrix(test_label, oof_test_final)) tp = np.sum(((oof_test_final == 1) & (test_label == 1))) pp = np.sum(oof_test_final == 1) print('accuracy1:%.3f'% (tp/(pp)))test_postive_idx = np.argwhere(oof_test_final == True).reshape(-1) # test_postive_idx = list(range(len(oof_test_final))) test_all_idx = np.argwhere(np.array(test_data_idx)).reshape(-1) stock_info['trade_date_id'] = stock_info['trade_date'].map(date_map) stock_info['trade_date_id'] = stock_info['trade_date_id'] + 1tmp_col = ['ts_code', 'trade_date', 'trade_date_id', 'open', 'high', 'low', 'close', 'ma5', 'ma13', 'ma21', 'label_final', 'name'] stock_info.iloc[test_all_idx[test_postive_idx]] tmp_df = stock_info[tmp_col].iloc[test_all_idx[test_postive_idx]].reset_index() tmp_df['label_prob'] = test_lgb[test_postive_idx] tmp_df['is_limit_up'] = tmp_df['close'] == tmp_df['high'] buy_df = tmp_df[(tmp_df['is_limit_up']==False)].reset_index() buy_df.drop(['index', 'level_0'], axis=1, inplace=True)buy_df['buy_flag'] = 1 stock_info_copy['sell_flag'] = 0tmp_idx = (index_df['trade_date'] == test_date_min+1) close1 = index_df[tmp_idx]['close'].values[0] test_date_max = 20220829 tmp_idx = (index_df['trade_date'] == test_date_max) close2 = index_df[tmp_idx]['close'].values[0]tmp_idx = (stock_info_copy['trade_date'] >= test_date_min) & (stock_info_copy['trade_date'] <= test_date_max) tmp_df = stock_info_copy[tmp_idx].reset_index(drop=True)from imp import reload import Account reload(Account) money_init = 200000 account = Account.Account(money_init, max_hold_period=20, stop_loss_rate=-0.07, stop_profit_rate=0.12) account.BackTest(buy_df, tmp_df, index_df, buy_price='open')tmp_df2 = buy_df[['ts_code', 'trade_date', 'label_prob', 'label_final']] tmp_df2 = tmp_df2.rename(columns={'trade_date':'buy_date'}) tmp_df = account.info tmp_df['buy_date'] = tmp_df['buy_date'].apply(lambda x: int(x)) tmp_df = tmp_df.merge(tmp_df2, on=['ts_code', 'buy_date'], how='left')最终的tmp_df是什么?tmp_df[tmp_df['label_final']==1]又选取了什么股票?

# -*- coding: utf-8 -*- import lightgbm as lgb import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split, StratifiedKFold from sklearn.metrics import roc_auc_score, roc_curve, auc import numpy as np import pandas as pd # --------------------------- # 中文字体配置(重要!根据系统调整) # --------------------------- plt.rcParams['font.sans-serif'] = ['SimHei'] # Windows系统用黑体 # plt.rcParams['font.sans-serif'] = ['WenQuanYi Zen Hei'] # Linux系统 # plt.rcParams['font.sans-serif'] = ['Arial Unicode MS'] # Mac系统 plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题 plt.rcParams.update({ 'font.size': 10, # 全局字号 'axes.titlesize': 10, # 标题字号 'axes.labelsize': 10, # 坐标轴标签字号 'xtick.labelsize': 8, # x轴刻度字号 'ytick.labelsize': 8, # y轴刻度字号 'legend.fontsize': 8 # 图例字号 }) # --------------------------- # 数据准备(需替换为实际数据) data = pd.read_csv(r'E:\wechat file\WeChat Files\wxid_xeb7xqgapznx22\FileStorage\File\2025-04\GuilinBankCup-main\GuilinBankCup-main\data\data_train.csv') data.head() data_test = pd.read_csv(r'E:\wechat file\WeChat Files\wxid_xeb7xqgapznx22\FileStorage\File\2025-04\GuilinBankCup-main\GuilinBankCup-main\data\data_test.csv') # --------------------------- # 假设 data 是包含特征的DataFrame X = data.iloc[:, 0:27] # 前27列作为特征 Y = data.iloc[:, 27] # 第28列作为标签 data_test = data.sample(frac=0.1) # 示例测试集(需替换实际数据) # ============================================================================= # 图表1:数据统计分析 # ============================================================================= plt.figure(figsize=(12, 5)) # 子图1:目标变量分布 plt.subplot(1, 2, 1) sns.countplot(x=Y, palette='Set2') plt.title('目标变量分布', fontsize=10) plt.xlabel('违约标记 (0: 未违约, 1: 违约)') plt.ylabel('样本数量') plt.grid(True, alpha=0.3) # 子图2:特征分布示例 plt.subplot(1, 2, 2) sns.histplot(data=X.iloc[:, 0], kde=True, color='skyblue') plt.title(f'特征分布 - {X.columns[0]}', fontsize=10) plt.xlabel(X.columns[0]) plt.ylabel('频数') plt.grid(True, alpha=0.3) plt.tight_layout() plt.savefig('数据分布.png', dpi=300, bbox_inches='tight') plt.show() # ============================================================================= # 模型参数设置 # ============================================================================= params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': ['auc', 'binary_logloss'], 'num_leaves': 80, 'learning_rate': 0.005, 'feature_fraction': 0.9, 'bagging_fraction': 0.8, 'bagging_freq': 5, 'verbose': -1 } # ============================================================================= # 图表2:十折交叉验证结果 # ============================================================================= cv = StratifiedKFold(n_splits=10, shuffle=True, random_state=42) auc_scores = [] for fold, (train_idx, val_idx) in enumerate(cv.split(X, Y)): X_train, X_val = X.iloc[train_idx], X.iloc[val_idx] Y_train, Y_val = Y.iloc[train_idx], Y.iloc[val_idx] # 创建数据集 lgb_train = lgb.Dataset(X_train, Y_train) lgb_eval = lgb.Dataset(X_val, Y_val, reference=lgb_train) # 模型训练 gbm = lgb.train( params, lgb_train, num_boost_round=200, valid_sets=[lgb_eval], callbacks=[lgb.early_stopping(stopping_rounds=20)], verbose_eval=False ) # 模型预测 y_pred = gbm.predict(X_val) auc_scores.append(roc_auc_score(Y_val, y_pred)) # 绘制交叉验证结果 plt.figure(figsize=(8, 5)) plt.plot(range(1, 11), auc_scores, marker='o', linestyle='--', color='#1f77b4') plt.axhline(np.mean(auc_scores), color='#ff7f0e', linestyle='--', label=f'平均AUC = {np.mean(auc_scores):.3f}') plt.xticks(range(1, 11)) plt.xlabel('交叉验证折数') plt.ylabel('AUC值') plt.title('十折交叉验证性能表现') plt.legend() plt.grid(True, alpha=0.3) plt.savefig('交叉验证.png', dpi=300, bbox_inches='tight') plt.show() # ============================================================================= # 模型训练与验证 # ============================================================================= X_train, X_test, Y_train, Y_test = train_test_split( X, Y, test_size=0.1, stratify=Y, random_state=42 ) # 训练过程记录 evals_result = {} lgb_train = lgb.Dataset(X_train, Y_train) lgb_eval = lgb.Dataset(X_test, Y_test, reference=lgb_train) gbm = lgb.train( params, lgb_train, num_boost_round=200, valid_sets=[lgb_eval], callbacks=[lgb.early_stopping(stopping_rounds=20)], evals_result=evals_result, verbose_eval=False ) # ============================================================================= # 图表3:训练过程AUC变化 # ============================================================================= plt.figure(figsize=(8, 5)) plt.plot(evals_result['valid_0']['auc'], color='#2ca02c', linewidth=1.5, label='验证集AUC') plt.xlabel('迭代轮次') plt.ylabel('AUC值') plt.title('模型训练过程AUC变化曲线') plt.legend() plt.grid(True, alpha=0.3) plt.savefig('训练过程.png', dpi=300, bbox_inches='tight') plt.show() # ============================================================================= # 图表4:ROC曲线 # ============================================================================= y_pred = gbm.predict(X_test) fpr, tpr, _ = roc_curve(Y_test, y_pred) roc_auc = auc(fpr, tpr) plt.figure(figsize=(6, 6)) plt.plot(fpr, tpr, color='#d62728', lw=2, label=f'ROC曲线 (AUC = {roc_auc:.3f})') plt.plot([0, 1], [0, 1], color='#7f7f7f', lw=1, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('假正率(FPR)') plt.ylabel('真正率(TPR)') plt.title('ROC曲线') plt.legend(loc="lower right") plt.grid(True, alpha=0.3) plt.savefig('ROC曲线.png', dpi=300, bbox_inches='tight') plt.show() 依次生成四个图标并进行解释

def cv_model(clf, train_x, train_y, test_x, clf_name='lgb'): folds = 5 seed = 2021 kf = KFold(n_splits=folds, shuffle=True, random_state=seed) train = np.zeros(train_x.shape[0]) test = np.zeros(test_x.shape[0]) cv_scores = [] for i, (train_index, valid_index) in enumerate(kf.split(train_x, train_y)): print('************ {} *************'.format(str(i+1))) trn_x, trn_y, val_x, val_y = train_x.iloc[train_index], train_y[train_index], train_x.iloc[valid_index], train_y[valid_index] train_matrix = clf.Dataset(trn_x, label=trn_y) valid_matrix = clf.Dataset(val_x, label=val_y) params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'auc', 'min_child_weight': 5, 'num_leaves': 2**6, 'lambda_l2': 10, 'feature_fraction': 0.9, 'bagging_fraction': 0.9, 'bagging_freq': 4, 'learning_rate': 0.01, 'seed': 2021, 'nthread': 28, 'n_jobs':-1, 'silent': True, 'verbose': -1, } model = clf.train(params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], #categorical_feature = categorical_feature, verbose_eval=500,early_stopping_rounds=200) val_pred = model.predict(val_x, num_iteration=model.best_iteration) test_pred = model.predict(test_x, num_iteration=model.best_iteration) train[valid_index] = val_pred test += test_pred / kf.n_splits cv_scores.append(roc_auc_score(val_y, val_pred)) print(cv_scores) print("%s_scotrainre_list:" % clf_name, cv_scores) print("%s_score_mean:" % clf_name, np.mean(cv_scores)) print("%s_score_std:" % clf_name, np.std(cv_scores)) return train, test lgb_train, lgb_test = cv_model(lgb, x_train, y_train, x_test)这段代码什么意思,分类标签为0和1,属于二分类,预测结果点击率的数值是怎么来的

import pandas as pd import numpy as np import lightgbm as lgb from sklearn.metrics import mean_squared_error # 1. 读取合并好的数据 df = pd.read_csv('P001-2.csv', parse_dates=['time'], dtype={'annotation': str}) # 2. 特征工程(生成时间特征) def create_time_features(df): df['hour'] = df['time'].dt.hour df['weekday'] = df['time'].dt.weekday df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24) df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24) df['weekday_sin'] = np.sin(2 * np.pi * df['weekday'] / 7) df['weekday_cos'] = np.cos(2 * np.pi * df['weekday'] / 7) return df df = create_time_features(df) # 3. 处理 annotation 列 df['annotation'] = pd.to_numeric(df['annotation'], errors='coerce') # 4. 拆分有标签的训练集 & 缺失的测试集 train_df = df.dropna(subset=['annotation']) test_df = df[df['annotation'].isnull()] # 特征选择 features = ['x', 'y', 'z', 'hour_sin', 'hour_cos', 'weekday_sin', 'weekday_cos'] # 5. 时间排序 + 划分训练/验证 train_df = train_df.sort_values('time') split_index = int(len(train_df) * 0.8) X_train = train_df[features].iloc[:split_index] y_train = train_df['annotation'].iloc[:split_index] X_valid = train_df[features].iloc[split_index:] y_valid = train_df['annotation'].iloc[split_index:] # 6. 训练 LightGBM 回归模型 params = { 'objective': 'regression', 'metric': 'l2', 'boosting_type': 'gbdt', 'num_leaves': 63, 'learning_rate': 0.02, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'num_threads': -1, 'verbosity': -1 } train_data = lgb.Dataset(X_train, label=y_train) valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data) model = lgb.train( params, train_data, valid_sets=[valid_data], num_boost_round=1000, early_stopping_rounds=50 ) # 7. 填补 annotation 缺失值 X_test = create_time_features(test_df)[features] test_df['annotation'] = model.predict(X_test, num_iteration=model.best_iteration) # 8. 合并训练集 & 填补的测试集 final_df = pd.concat([train_df, test_df], ignore_index=True).sort_values('time') # 9. 评估 y_pred = model.predict(X_valid, num_iteration=model.best_iteration) mse = mean_squared_error(y_valid, y_pred) print(f"最终模型 MSE: {mse:.4f}") # 10. 保存完整填补后的数据 final_df.to_csv('P001-2_filled.csv', index=False) print(final_df[['time', 'annotation']].head()) -------------------------------------------------------------------------- TypeError Traceback (most recent call last) Cell In[55], line 55 52 train_data = lgb.Dataset(X_train, label=y_train) 53 valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data) ---> 55 model = lgb.train( 56 params, 57 train_data, 58 valid_sets=[valid_data], 59 num_boost_round=1000, 60 early_stopping_rounds=50 61 ) 63 # 7. 填补 annotation 缺失值 64 X_test = create_time_features(test_df)[features] TypeError: train() got an unexpected keyword argument 'early_stopping_rounds'、

# 设置 LightGBM 参数(正则化和复杂度控制) > param <- list( + objective = "regression", + metric = "rmse", + learning_rate = 0.01, + num_leaves = 31, + feature_fraction = 0.8, + bagging_fraction = 0.8, + lambda_l1 = 0.1, + lambda_l2 = 0.2 + ) > > # 使用早停机制训练 LightGBM > lgb_model <- lgb.train( + params = params, + data = lgb_train, + nrounds = params$nrounds, + valids = list(validation = lgb.Dataset(test_matrix, label = test_labels)), + early_stopping_rounds = 10, + verbose = 1 + ) [LightGBM] [Info] Number of positive: 231, number of negative: 154 [LightGBM] [Info] Auto-choosing row-wise multi-threading, the overhead of testing was 0.000443 seconds. You can set force_row_wise=true to remove the overhead. And if memory is not enough, you can set force_col_wise=true. [LightGBM] [Info] Total Bins 792 [LightGBM] [Info] Number of data points in the train set: 385, number of used features: 13 [LightGBM] [Info] [binary:BoostFromScore]: pavg=0.600000 -> initscore=0.405465 [LightGBM] [Info] Start training from score 0.405465 [LightGBM] [Warning] No further splits with positive gain, best gain: -inf [LightGBM] [Warning] Stopped training because there are no more leaves that meet the split requirements [1]: validation's binary_error:0.395833 Will train until there is no improvement in 10 rounds. [LightGBM] [Warning] No further splits with positive gain, best gain: -inf [LightGBM] [Warning] Stopped training because there are no more leaves that meet the split requirements [2]: validation's binary_error:0.395833 [LightGBM] [Warning] No further splits with positive gain, best gain: -inf [LightGBM] [Warning] Stopped training because there are no more leaves that meet the split requirements [3]: validation's binary_error:0.395833 [LightGBM] [Warning] No further splits with positive gain, best gain: -inf [LightGBM] [Warning] Stopped training because there are no more leaves that meet the split requirements [4]: validation's binary_

大家在看

recommend-type

FloodRouting:使用python进行洪水常规调度

洪水调洪常规调度计算方法 使用python语言进行洪水常规调度计算。 数据来自汉江某水库的计算值。
recommend-type

Industrial Society and Its Future.pdf

作者:Theodore Kaczyns 卡辛斯基 题名:Industrial Society and Its Future 《论工业社会及其未来》
recommend-type

C语言流程图生成工具

AutoFlowChart 自动生成流程图 AutoFlowchart 是一个极佳的根据源码生成流程图的工具 它生成的流程图支持展开 合拢 并且可以预定义流程图块的大小和间隔 移动和缩放流程图也很方便 你还可以把它导出到WORD文档或BMP文件 它可以帮助程序员更好地理解程序 制作文档和可视化代码 支持C C++ VC++ Visual C++ NET Delphi Object Pascal 主要功能 根据源程序生成流程图 导出流程图到WORD文档中 展开 合拢流程图 自动生成一个 TreeView显示所有函数 过程 同步显示对应块的源程序和流程图 自定义流程图的配色方案 自定义流程图的大小和间距 根据格式自动排列程序 自由缩小 放大 移动流程图 显示程序行号 支持清除当前流程图 导出流程图到 bmp文件 发展前瞻 ① 支持各种语言 已经完成Pascal C 待完成:Java FoxPro Basic Fortan等; ② 支持反向操作 可以动态修改流程图 并可根据流程图生成相应的语言代码; ③ 结合Delphi专家 嵌入IDE直接运行 已经完成详见主页 操作说明 ① 打开一个或多个文件; ② 双击一个If For While Case Repeat Try begin的起始行 你就可以看到流程图; ③ 双击流程图中相应的框 可以同步显示程序块位置;">AutoFlowChart 自动生成流程图 AutoFlowchart 是一个极佳的根据源码生成流程图的工具 它生成的流程图支持展开 合拢 并且可以预定义流程图块的大小和间隔 移动和缩放流程图也很方便 你还可以把它导出到WORD文档或BMP文件 [更多]
recommend-type

dhtmlxGantt_v4.0.0

甘特图(dhtmlxgantt)的资源文件,具体代码请访问https://blog.csdn.net/qq_27339781/article/details/79869584
recommend-type

数字图像处理 冈萨雷斯 第三版 课后答案绝对完整

数字图像处理 冈萨雷斯 第三版 课后答案绝对完整

最新推荐

recommend-type

(完整版)基因工程药物干扰素的制备.ppt

(完整版)基因工程药物干扰素的制备.ppt
recommend-type

建施-拓力泰-施工图.dwg

建施-拓力泰-施工图.dwg
recommend-type

(完整word版)基于STC89C52单片机的数字时钟设计.doc

(完整word版)基于STC89C52单片机的数字时钟设计.doc
recommend-type

no-client子项目的资源文件

包含 element-plus-2.4.2.css 文件,element-plus-2.4.2.js 文件和 vue-3.3.7.js 文件
recommend-type

Web2.0新特征图解解析

Web2.0是互联网发展的一个阶段,相对于早期的Web1.0时代,Web2.0具有以下显著特征和知识点: ### Web2.0的定义与特点 1. **用户参与内容生产**: - Web2.0的一个核心特征是用户不再是被动接收信息的消费者,而是成为了内容的生产者。这标志着“读写网络”的开始,用户可以在网络上发布信息、评论、博客、视频等内容。 2. **信息个性化定制**: - Web2.0时代,用户可以根据自己的喜好对信息进行个性化定制,例如通过RSS阅读器订阅感兴趣的新闻源,或者通过社交网络筛选自己感兴趣的话题和内容。 3. **网页技术的革新**: - 随着技术的发展,如Ajax、XML、JSON等技术的出现和应用,使得网页可以更加动态地与用户交互,无需重新加载整个页面即可更新数据,提高了用户体验。 4. **长尾效应**: - 在Web2.0时代,即使是小型或专业化的内容提供者也有机会通过互联网获得关注,这体现了长尾理论,即在网络环境下,非主流的小众产品也有机会与主流产品并存。 5. **社交网络的兴起**: - Web2.0推动了社交网络的发展,如Facebook、Twitter、微博等平台兴起,促进了信息的快速传播和人际交流方式的变革。 6. **开放性和互操作性**: - Web2.0时代倡导开放API(应用程序编程接口),允许不同的网络服务和应用间能够相互通信和共享数据,提高了网络的互操作性。 ### Web2.0的关键技术和应用 1. **博客(Blog)**: - 博客是Web2.0的代表之一,它支持用户以日记形式定期更新内容,并允许其他用户进行评论。 2. **维基(Wiki)**: - 维基是另一种形式的集体协作项目,如维基百科,任何用户都可以编辑网页内容,共同构建一个百科全书。 3. **社交网络服务(Social Networking Services)**: - 社交网络服务如Facebook、Twitter、LinkedIn等,促进了个人和组织之间的社交关系构建和信息分享。 4. **内容聚合器(RSS feeds)**: - RSS技术让用户可以通过阅读器软件快速浏览多个网站更新的内容摘要。 5. **标签(Tags)**: - 用户可以为自己的内容添加标签,便于其他用户搜索和组织信息。 6. **视频分享(Video Sharing)**: - 视频分享网站如YouTube,用户可以上传、分享和评论视频内容。 ### Web2.0与网络营销 1. **内容营销**: - Web2.0为内容营销提供了良好的平台,企业可以通过撰写博客文章、发布视频等内容吸引和维护用户。 2. **社交媒体营销**: - 社交网络的广泛使用,使得企业可以通过社交媒体进行品牌传播、产品推广和客户服务。 3. **口碑营销**: - 用户生成内容、评论和分享在Web2.0时代更易扩散,为口碑营销提供了土壤。 4. **搜索引擎优化(SEO)**: - 随着内容的多样化和个性化,SEO策略也必须适应Web2.0特点,注重社交信号和用户体验。 ### 总结 Web2.0是对互联网发展的一次深刻变革,它不仅仅是一个技术变革,更是人们使用互联网的习惯和方式的变革。Web2.0的时代特征与Web1.0相比,更加注重用户体验、社交互动和信息的个性化定制。这些变化为网络营销提供了新的思路和平台,也对企业的市场策略提出了新的要求。通过理解Web2.0的特点和应用,企业可以更好地适应互联网的发展趋势,实现与用户的深度互动和品牌的有效传播。
recommend-type

【C++编程新手必看】:一步步带你制作出风靡全球的“别踩白块儿”游戏

# 摘要 本文全面介绍C++编程在游戏开发中的应用,涵盖了从基础概念到具体实现的多个方面。首先,文章提供了游戏开发环境的搭建指南,包括编译器配置和开发工具的选择。随后,重点介绍了游戏主循环和基本框架的构建,强调了事件处理和渲染技术。在游戏逻辑和交互设计方面,本文阐述了界面布局、事件响应和游戏状态管理的核心实现。为了提升游戏体验,本文还探讨了添加音效和背景音乐以及开发高级游戏特性的方法。最后,文章介绍了性能优化和跨平台发布的过程,包括游戏的打包和针对不同平台的发布策略。本文旨在为C++游戏开发者提供一个实用的开发指南,帮助他们从零开始构建出性能优化、跨平台兼容的游戏。 # 关键字 C++编程;
recommend-type

使用scikit-learn训练模型来预测鸢尾花种类

<think>我们使用scikit-learn库来训练一个分类模型预测鸢尾花种类。鸢尾花数据集是scikit-learn内置的经典数据集,包含三种鸢尾花的四个特征(花萼长度、花萼宽度、花瓣长度、花瓣宽度)和对应的类别标签。步骤:1.导入必要的库和数据集2.数据探索(可选,但建议了解数据)3.数据预处理(如划分训练集和测试集、标准化等)4.选择模型(例如KNN、随机森林等)5.训练模型6.模型评估7.使用模型进行预测下面以KNN(K近邻)算法为例,展示完整流程。</think>### 使用 scikit-learn 训练鸢尾花分类模型 以下是基于 scikit-learn 训练鸢尾花分类模型的
recommend-type

WWF工作流设计器C#源码解析及演示

### WWF工作流设计器控件C#源码知识点 #### 1. WWF(Windows Workflow Foundation)概述 WWF是微软公司推出的一个工作流框架,作为.NET Framework的一部分。它提供了一套丰富的API,用于设计、执行和管理工作流。工作流可以用于各种应用程序,包括Web应用、服务和桌面应用,使得开发者能够将复杂的业务逻辑以工作流的形式表现出来,简化业务流程自动化和管理。 #### 2. 工作流设计器控件(Workflow Designer Control) 工作流设计器控件是WWF中的一个组件,主要用于提供可视化设计工作流的能力。它允许用户通过拖放的方式在界面上添加、配置和连接工作流活动,从而构建出复杂的工作流应用。控件的使用大大降低了工作流设计的难度,并使得设计工作流变得直观和用户友好。 #### 3. C#源码分析 在提供的文件描述中提到了两个工程项目,它们均使用C#编写。下面分别对这两个工程进行介绍: - **WorkflowDesignerControl** - 该工程是工作流设计器控件的核心实现。它封装了设计工作流所需的用户界面和逻辑代码。开发者可以在自己的应用程序中嵌入这个控件,为最终用户提供一个设计工作流的界面。 - 重点分析:控件如何加载和显示不同的工作流活动、控件如何响应用户的交互、控件状态的保存和加载机制等。 - **WorkflowDesignerExample** - 这个工程是演示如何使用WorkflowDesignerControl的示例项目。它不仅展示了如何在用户界面中嵌入工作流设计器控件,还展示了如何处理用户的交互事件,比如如何在设计完工作流后进行保存、加载或执行等。 - 重点分析:实例程序如何响应工作流设计师的用户操作、示例程序中可能包含的事件处理逻辑、以及工作流的实例化和运行等。 #### 4. 使用Visual Studio 2008编译 文件描述中提到使用Visual Studio 2008进行编译通过。Visual Studio 2008是微软在2008年发布的集成开发环境,它支持.NET Framework 3.5,而WWF正是作为.NET 3.5的一部分。开发者需要使用Visual Studio 2008(或更新版本)来加载和编译这些代码,确保所有必要的项目引用、依赖和.NET 3.5的特性均得到支持。 #### 5. 关键技术点 - **工作流活动(Workflow Activities)**:WWF中的工作流由一系列的活动组成,每个活动代表了一个可以执行的工作单元。在工作流设计器控件中,需要能够显示和操作这些活动。 - **活动编辑(Activity Editing)**:能够编辑活动的属性是工作流设计器控件的重要功能,这对于构建复杂的工作流逻辑至关重要。 - **状态管理(State Management)**:工作流设计过程中可能涉及保存和加载状态,例如保存当前的工作流设计、加载已保存的工作流设计等。 - **事件处理(Event Handling)**:处理用户交互事件,例如拖放活动到设计面板、双击活动编辑属性等。 #### 6. 文件名称列表解释 - **WorkflowDesignerControl.sln**:解决方案文件,包含了WorkflowDesignerControl和WorkflowDesignerExample两个项目。 - **WorkflowDesignerControl.suo**:Visual Studio解决方案用户选项文件,该文件包含了开发者特有的个性化设置,比如窗口布局、断点位置等。 - **Thumbs.db**:缩略图缓存文件,由Windows自动生成,用于存储文件夹中的图片缩略图,与WWF工作流设计器控件功能无关。 - **WorkflowDesignerExample**:可能是一个文件夹,包含了示例工程相关的所有文件,或者是示例工程的可执行文件。 - **EULA.txt**:最终用户许可协议文本文件,通常说明了软件的版权和使用许可条件。 综上所述,该文件集包含了WWF工作流设计器控件的完整C#源码以及相应的Visual Studio项目文件,开发者可以利用这些资源深入理解WWF工作流设计器控件的工作机制,并将其应用于实际的项目开发中,实现工作流的设计和管理功能。
recommend-type

CAD数据在ANSA中:完美修复几何数据的策略与方法

# 摘要 CAD数据的准确性和几何完整性对于产品设计和工程分析至关重要。本文首先强调了CAD数据和几何修复的重要性,随后介绍了ANSA软件在处理CAD数据中的角色。通过详细的分析,本文探讨了几何数据的常见问题,以及有效的手动和自动修复技术。文中还提供了几何修复在实际应用中的案例分析,并讨论了行业未来对几何修复技术的需求和新兴技术趋势。文章旨在为CAD数据几何修复提供全面的理论知识、诊断方法和修复策略,并
recommend-type

编写verilog代码实现以上的规格化功能

<think>我们有一个16位的二进制数,其格式如下:-a15:尾数符号位(1位)-a14-a5:尾数数值位(10位)-a4:指数符号位(1位)-a3-a0:指数数值位(4位)规格化的目标:确保尾数数值位的最高位a14为1(即尾数的绝对值在[0.5,1)范围内)。步骤:1.提取输入信号的各个部分:尾数符号位、尾数数值位、指数符号位、指数数值位。2.将尾数数值位(10位)视为无符号整数M(范围0到1023),我们需要通过左移操作使得M的最高位为1(即M>=512)。同时记录左移的位数(shift_count)。3.调整指数:新的指数=原指数-shift_count(因为尾数左移相当于乘以2^sh