Decision-Driven Regularization A Blended Model for Predict-then-Optimize

摘要

在上下文优化中，决策者寻求最佳决策以最小化成本，该成本基于观察到的特征而变化。这种上下文在许多业务应用程序中很常见，从按需交付和零售运营到投资组合优化和库存管理。在本文中，我们研究了预测然后优化的方法，该方法首先了解结果如何从特征中产生，然后根据这些结果选择最佳决策。由于无法获得真实结果，我们在文献中发现成本函数的定义存在歧义。为了解决这个问题，我们提出了一个混合的预测然后优化框架，该框架可能会导致对结果的预测有偏差，但可以轻松地将优化问题纳入预测阶段。这是通过决策驱动的正则化实现的。

我们批判性地表明，可以从三个角度来解决预测然后优化问题，即正则化、鲁棒优化和后悔最小化方法；并证明这些观点等效于或可以自然地近似以得出我们提出的模型。因此，我们的框架概括了 Elmachtoub 和 Grigas（2020）中的 SPO+ 和 Zhu 等人中的 JERO 等模型。(2020)。基于我们的框架，我们提出了混合模型，我们在数值上展示了在低错误规格下优于 SPO+

１引言

在不确定性设置下的许多决策中，优化目标和约束是通过使用数据来估计的。名义上，这可以写成以下成本最小化问题

公式

对于一些决策变量 y ∈ Y 和一些未观察到的参数 z。一个例子是自适应路由的上下文，例如按需交付服务所面临的上下文（也在 Elmachtoub 和 Grigas 2020 中讨论过）。 假设决策者要选择 d 条路线来运送包裹。
然后，z 可能代表在这些路线中的每条路线上花费的未观察到的时间，而 y 可以代表选择哪条路线的决定。 总共花费的时间为 c(y; z) = y >z。
这个问题是历史背景。 最近，重点是如何使用可能描述未观察到的结果 z 的数据来做出正确的决策 y，同时认识到这些数据并不能完全代表生成它们的 z 的真实分布。 这导致了数据驱动的稳健优化模型（例如 Van Parys 等人 2020、Sutter 等人 2020）的工作流，其中分布以模糊集为特征，通常在某种发散度量下（Ben -Tal 等人 2013，Lam 2016 年），或构建为围绕每个数据点的球，例如在 Wasserstein 歧义集中（Gao 等人 2017，Mohajerin Esfahani 和 Kuhn 2018）。

1.1 上下文随机优化

研究的重点越来越多地转移到存在可能有助于估计未观察到的 z 的附加信息的设置。我们将表示为 x 的这些信息有时称为特征（或辅助信息或协变量）。决策者希望根据此附加信息 y(x)（den Hertog 和 Postek 2016）做出不同的决定。回到自适应路由的例子，这里，如果决策者有 n 个包裹要交付，那么可以想象，这些包裹中的每一个的最佳路线选择应该不同。但当然，每个包裹在这些路线上实际花费的时间是未知的，可能会因目的地、一天中的时间、当前的拥堵情况、当前的天气等因素而有所不同。这些因素在做出决定的点，它们形成了特征。特别是，决策者拥有一个历史数据集，有助于推断旅行时间与此类特征之间的关系。

此设置通常称为上下文随机优化（或有时称为决策感知学习或联合预测和优化）。它越来越普遍，可以在从按需交付（Liu 等人，2020 年）到零售运营（Ferreira 等人，2016 年，Perakis 等人，2018 年）以及投资组合优化（Ban 等人，2018 年）等各种环境中看到。 2018）到库存管理（Craig 和 Raman 2016、Qi 等人 2020、Siegel 和 Wagner 2020）等等。

通常的提法是一个可能在这种情况下写的是以下优化问题：

公式1

其中 y( · ) 是决策者希望解决的决策规则，在一些被考虑为 Y 的函数类别中，结果 z 和特征 x 之间存在一些固有的但目前未知的关系 z|x .

这样的表述构成了 Deng 和 Sen（2018 年）、Bertsimas 和 McCord（2019 年）、Bertsimas 和 Kallus（2020 年）、Kallus 和毛泽东（2020 年）、Kannan 等人的最佳特征作品的起点。

(2020)。在这种情况下，函数类 Y 的选择对于确保易处理性很重要。

最简单的是线性决策规则（例如，在 Beutel 和 Minner 2012、Ban 和 Rudin 2019 中提出的）。在某些情况下，如果利用结构（即 z 和 x 之间关系的性质），可以考虑更复杂的类，例如 Bertsimas 等人。(2019)，作者考虑了决策的树结构，在这种情况下是治疗组的分配。

使用 (1) 中第二种形式的替代方法需要估计期望 Ez|x。通过将决策构建为加权样本平均近似 (SAA) 的解决方案，提出了一种解决此类公式的方法。在这里，权重将被最优确定，例如，在 Bertsimas 和 Kallus (2020) 中，作者通过回归方法选择权重，例如 k-最近邻 (kNN)、核、分类和回归树 (CART)，或随机森林（RF）。Ban 和 Rudin (2019) 也提出了这种方法来解决报童问题。

1.2 先预测后优化

该文献的一个子流特别研究了以下解决确定性问题的方法，

公式2

其中࿰