【V11.0 - 调优篇】AI的“闭关修炼”：用Optuna寻找模型的“武学巅峰”

本文链接：https://blog.csdn.net/qq_35899016/article/details/149091866

在上一篇《从“随机森林”到“梯度提升”：为我的AI换上F1赛车引擎》中，我们为AI换上了一颗强大的LightGBM心脏。测试结果显示，它的性能被全方位碾压式提升。

但是，我心里清楚，我们只是把这台F1引擎，用**‘自动挡’模式开上了赛道。它的转速限制、燃油配比、涡轮压力……所有这些能榨干性能的‘手动挡’参数，我们都还用的是出厂默认设置。

默认参数，意味着‘对大多数情况都还行’，但也意味着‘对任何特定情况都不是最优’。

要让这台引擎真正为我的专属数据发挥出120%的性能，就必须为它量身定做一套最佳的参数组合。我的AI，需要一次彻底的、深入灵魂的‘闭关修炼’**，去领悟属于它自己的‘武学巅峰’。
不断修炼

一、什么是“超参数”？为什么它是AI模型的“任督二脉”？
在机器学习的世界里，参数分为两种：

模型参数 (Parameters): 这一类参数是模型通过学习数据自动获得的。比如，在线性回归中，它是直线的斜率和截距；在深度学习中，它是神经网络中亿万个权重。这些是AI自己“悟”出来的。

超参数 (Hyperparameters): 这一类参数，是我们在训练开始之前，需要手动设定的“训练法则”或“模型蓝图”。它们控制着整个学习过程的宏观行为。

对于我们使用的LightGBM，这些超参数就是那些如同“武功心法”口诀一般的设置：

learning_rate (学习率): AI徒弟每次学习的“步子”迈多大。步子太大容易“一步踏错，走火入魔”，错过
真正精妙的解；步子太小，学得太慢，等到天荒地老也无法大成。

num_leaves (叶子数量): AI大脑中“神经元”的数量，决定了它思考问题的“深度”和“复杂度”。太多了容易胡思乱想，把训练数据里的噪声都当成规律，导致“过拟合”（在教材上是学霸，一考试就懵圈）；太少了又不够聪明，无法理解复杂的模式，导致“欠拟合”（天资愚钝）。

n_estimators (树的数量): AI智囊团里“专家”的数量。专家太少，智慧不够；专家太多，训练太慢，而且到一定程度后提升效果也会饱和。

以及feature_fraction, bagging_fraction, lambda_l1, lambda_l2等等，它们分别控制着“每次看多少特征”、“每次看多少数据”、“要不要加点惩罚防止想太多”…

一套好的超参数，就像一位绝世高手打通了‘任督二-脉’，内力（模型性能）能瞬间提升数倍。而一套糟糕的参数，则如同用错误的内功心法修炼，轻则事倍功半，重则走火入魔，模型甚至可能完全学不到东西。

手动‘炼丹’？凭感觉猜？那太低效了，充满了运气成分，是上古时代的刀耕火种。作为一名追求极致的‘AI教练’，我需要一个更科学、更智能的系统来辅助我的徒弟进行‘闭关修炼’。
二、告别盲猜：超参数优化的“进化史”
寻找超参方法

在AI的世界里，寻找最佳超参数的方法，本身也经历了一场进化。

石器时代：网格搜索 (Grid Search)

原理: 简单粗暴。你为每个想优化的超参数都设定几个候选值（例如 learning_rate_设为 [0.01, 0.05, 0.1]，num_leaves 设为 [15, 31, 50]）。然后，程序会像“地毯式轰炸”一样，把所有可能的参数组合全部都试一遍（3 x 3 = 9次试验）。

缺点: 极其消耗计算资源。如果参数一多，组合的数量会呈指数级爆炸式增长，可能要跑上几天几夜。而且，它很可能会在一些明显没有希望的参数区域浪费大量时间。

青铜时代：随机搜索 (Random Search)

原理: 它不再尝试所有组合，而是在你设定的参数范围内，随机挑选指定次数的组合进行试验（比如，随机试100次）。

优点: 比网格搜索高效得多。研究表明，在很多情况下，只要试验次数足够，随机搜索找到最优解的概率非常高，因为它更有可能“撞大运”碰到好的组合。

缺点: 依然是“盲目”的，前一次试验的结果，对后一次试验的选点没有任何指导意义。
信息时代：贝叶斯优化 (Bayesian Optimization)

原理: 这就是我们今天的主角Optuna所采用的核心思想。它让每一次试验都变得“有智慧”。
(深度解析贝叶斯优化): 你可以把它想象成一个聪明的医生给病人试药。

建立先验信念 (Prior): 在开始之前，医生对各种药的疗效有一个大致的、不确定的猜测。在Optuna中，这对应于一个概率代理模型（通常是高斯过程），它试图对“参数-性能”这个未知的函数关系进行建模。

进行试验并更新信念 (Posterior): 医生先随机给病人尝试几种不同的药（几组不同的参数），观察疗效（模型的性能MAE）。每次得到一个新的“疗效”数据点，医生就会更新他脑海中的那个认知模型，让

它对“什么药可能更有效”的猜测变得更准确。
需要寻找黄金参数

采集函数 (Acquisition Function) - 智能推荐: 这是最关键的一步。医生下一次该试什么药呢？他会考虑两个因素：

利用 (Exploitation): 我应该在我目前已知的、效果最好的药（比如A药）附近，再多试几个剂量，看看能不能找到更好的。

探索 (Exploration): 但是，万一有一种我还没试过的C药，它其实是神药呢？虽然它现在看起来希望不大，但万一有惊喜呢？这个“不确定性”本身也很有价值。

采集函数（如UCB, EI, PI）就是一种数学公式，它能完美地平衡“利用”和“探索”。它会推荐一个“综合得分”最高的点作为下一次的试验对象——这个点，要么是当前已知最优解附近的点，要么是一个充满未知、潜力巨大的新区域的点。

结论: Optuna就是这样，在“深挖已知的好矿”和“勘探未知的新矿”之间，取得了一个绝妙的平衡，从而能用更少的尝试次数，高效地找到全局最优的参数组合。
三、AI的“专属私教”：Optuna实战
Optuna内部修炼

安装它依然简单： pip install optuna

要使用Optuna，我们只需要做两件事：

定义一个“修炼目标” (Objective Function): 告诉Optuna，我们要优化的目标是什么（比如，最小化模型的MAE）。

启动“修炼过程” (Study): 创建一个study对象，然后让它开始上百次的“试炼”。
这是我们最终的step3脚本，它将为我们三个价值网络模型，都分别进行独立的、专业的Optuna调优。

通用的“修炼功法”tune_and_train_task
我们把整个“调优-训练-保存”的流程，封装成一个可复用的函数。

文件名: step3_final_training.py

import pandas as pd
import pickle
import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.multioutput import MultiOutputRegressor
import numpy as np
import optuna

— 定义所有文件名 —

def tune_and_train_task(data_path, target_cols, model_path, task_name, n_trials=50):
    """一个通用的、包含Optuna调优的模型训练函数。"""
    print("\n" + "="*60)
    print(f"--- 任务开始: 为 <{task_name}> 指标进行调优与训练 ---")
    print("="*60)
    
    df = pd.read_pickle(data_path)
    y = df[target_cols]
    X = df.drop(columns=target_cols)
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    # --- 定义Objective函数 ---
    def objective(trial):
        # a. 定义超参数的搜索空间
        params = {
            'objective': 'regression_l1', 'metric': 'mae', 'seed': 42, 'verbose': -1, 'n_jobs': -1,
            'n_estimators': trial.suggest_int('n_estimators', 200, 2000, step=100),
            'learning_rate': trial.suggest_float('learning_rate', 1e-3, 0.1, log=True),
            'num_leaves': trial.suggest_int('num_leaves', 10, 50),
            'feature_fraction': trial.suggest_float('feature_fraction', 0.6, 1.0),
            'bagging_fraction': trial.suggest_float('bagging_fraction', 0.6, 1.0),
            'bagging_freq': trial.suggest_int('bagging_freq', 1, 7),
            'lambda_l1': trial.suggest_float('lambda_l1', 1e-8, 10.0, log=True),
            'lambda_l2': trial.suggest_float('lambda_l2', 1e-8, 10.0, log=True),
            'min_child_samples': trial.suggest_int('min_child_samples', 5, 100),
        }
        
        # b. 训练模型
        base_model = lgb.LGBMRegressor(**params)
        model = MultiOutputRegressor(base_model, n_jobs=-1) if len(target_cols) > 1 else base_model
        model.fit(X_train, y_train)
        
        # c. 评估并返回结果
        preds = model.predict(X_test)
        y_true = y_test.values if isinstance(y_test, pd.DataFrame) else y_test
        mae = np.mean(np.abs(preds - y_true))
        return mae

    # --- 启动Optuna的“闭关修炼” ---
    study = optuna.create_study(direction='minimize')
    study.optimize(objective, n_trials=n_trials, show_progress_bar=True)
    
    print(f"\n--- <{task_name}> 调优完成！---")
    print(f"总共进行了 {len(study.trials)} 次试验。")
    print(f"找到的最佳MAE: {study.best_value:.4f}")
    print("找到的最佳参数组合:")
    print(study.best_params)
    
    # --- 使用“神功”参数训练最终模型并保存 ---
    final_base_model = lgb.LGBMRegressor(**study.best_params)
    final_model = MultiOutputRegressor(final_base_model, n_jobs=-1) if len(target_cols) > 1 else final_base_model
    final_model.fit(X_train, y_train)
    
    with open(model_path, 'wb') as f:
        pickle.dump(final_model, f)
    print(f"\n成功：<{task_name}> 模型已保存为 '{model_path}'")

主执行逻辑，为每个任务开启一次“闭关”

— 主执行逻辑 —

if __name__ == '__main__':
    # 定义每个任务的目标列
    WATCH_TARGETS = ['avg_watch_ratio', 'playratio', 'retention_5s', 'avgplaytime']
    INTERACT_TARGETS = ['likes_per_1k_views', 'comments_per_1k_views', 'saves_per_1k_views', 'shares_per_1k_views']
    GROWTH_TARGETS = ['followers_per_1k_views']
    
    # 依次为三个任务进行独立的调优和训练
    tune_and_train_task('training_data_watch.pkl', WATCH_TARGETS, 'model_watch_tuned.pkl', "观看(Watch)", n_trials=50)
    tune_and_train_task('training_data_interact.pkl', INTERACT_TARGETS, 'model_interact_tuned.pkl', "互动(Interact)", n_trials=50)
    tune_and_train_task('training_data_growth.pkl', GROWTH_TARGETS, 'model_growth_tuned.pkl', "增长(Growth)", n_trials=50)
    
    print("\n" + "="*60)
    print("✅ 所有价值网络模型均已独立调优并训练完毕！")
    print("="*60)