StackingClassifier参数详解与示例

StackingClassifier参数详解与示例

StackingClassifier是一种集成学习方法，通过组合多个基分类器的预测结果作为元分类器的输入特征，从而提高整体模型性能。以下是关键参数的详细说明和示例：

1. classifiers（基分类器）

• 作用：定义Stacking的底层分类器集合
• 格式：列表形式 [clf1, clf2, ..., clfn]
• 要求：基分类器必须实现 fit 和 predict/predict_proba 方法
• 存储位置：训练后存储在 self.clfs_ 属性中

2. meta_classifier（元分类器）

• 作用：组合基分类器输出的最终分类器
• 典型选择：逻辑回归、SVM等简单强分类器
• 输入特征：由基分类器的输出（标签或概率）构成

3. use_probas参数

• 默认值：False
• True时的行为：
  • 基分类器输出概率向量而非类别标签
  • 元分类器使用概率值作为输入特征
  • 需配合 predict_proba 方法使用
• False时的行为：直接使用基分类器的预测类别标签

4. average_probas参数

• 生效条件：仅当 use_probas=True 时有效
• True：对基分类器的概率输出取平均值
• False：拼接所有基分类器的概率向量
• 示例（二分类问题）：
  • 基分类器1输出概率：$[0.2,0.8]$
  • 基分类器2输出概率：$[0.3,0.7]$
  • average_probas=True → 元特征：$[0.25,0.75]$
  • average_probas=False → 元特征：$[0.2,0.8,0.3,0.7]$

代码示例

from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from mlxtend.classifier import StackingClassifier

# 1. 定义基分类器
clf1 = RandomForestClassifier(n_estimators=100)
clf2 = GaussianNB()

# 2. 定义元分类器
meta_clf = LogisticRegression()

# 3. 创建Stacking模型（使用概率输出）
stacking_clf = StackingClassifier(
    classifiers=[clf1, clf2],
    meta_classifier=meta_clf,
    use_probas=True,          # 使用概率作为元特征
    average_probas=False,     # 拼接概率向量
    verbose=1
)

# 4. 训练与预测
stacking_clf.fit(X_train, y_train)
probas = stacking_clf.predict_proba(X_test)

参数选择建议

1. use_probas=True 适用场景：

   • 基分类器输出概率置信度差异较大时
   • 需要保留概率分布信息（如医疗诊断）
   • 元分类器能有效处理高维特征

2. use_probas=False 适用场景：

   • 基分类器预测质量相近
   • 数据集维度需要控制
   • 元分类器对类别标签敏感（如决策树）

3. classifiers选择原则：

   • 多样性优于单个模型精度
   • 典型组合：树模型（RF/XGBoost）+ 线性模型（LR）+ 概率模型（Naive Bayes）

注意：当 use_features_in_secondary=True 时，元分类器会同时使用原始特征和基分类器的输出，可能增加过拟合风险。