因果推断-双重稳健估计

双重稳健估计的原理

双重稳健估计(Double Robust Estimator, DR Estimator)是结合倾向得分模型(Propensity Score Model)和回归模型(Outcome Model)的一种因果效应估计方法。其核心思想是通过同时依赖这两个模型,在其中一个模型正确时,估计仍然能够保持一致性,从而在面对模型误设时提高稳健性。

估计过程的构成:

双重稳健估计量的构成可以分为以下几个主要步骤:

  1. 倾向得分模型(Propensity Score Model):
  • 倾向性得分e(Xi)e(X_i)e(Xi)反映了在给定协变量XiX_iXi的情况下,样本XiX_iXi接受处理的概率,即P(Di=1∣Xi)P(D_i=1|X_i)P(Di=1Xi)
  • 通过倾向得分模型估计每个个体接受处理的概率 e(Xi)e(X_i)e(Xi)
  1. 回归模型(Outcome Model)
  • 回归模型分别估计处理组和对照组在协变量 XiX_iXi下的潜在结果:

    • μ1(Xi)\mu_1(X_i)μ1(Xi):回归模型对处理组(Di=1)(D_i=1)(Di=1)的预测结果
    • μ0(Xi)\mu_0(X_i)μ0(Xi):回归模型对对照组(Di=0)(D_i=0)(Di=0)的预测结果
  1. 加权残差和回归调整:
  • 在处理组(Di=1)(D_i=1)(Di=1)中,观测值YiY_iYi与回归预测值μ1(Xi)\mu_1(X_i)μ1(Xi)之间的差异(即残差)需要通过倾向得分进行加权调整,得到Die(Xi)(Yi−μ1(Xi))\frac{D_i}{e(X_i)}(Y_i-\mu_1(X_i))e(Xi)Di(Yiμ1(Xi))
  • 在对照组(Di=0)(D_i=0)(Di=0)中,观测值YiY_iYi与回归预测值μ0(Xi)\mu_0(X_i)μ0(Xi)之间的差异(即残差)需要通过倾向得分进行加权调整,得到1−Di1−e(Xi)(Yi−μ0(Xi))\frac{1-D_i}{1-e(X_i)}(Y_i-\mu_0(X_i))1e(Xi)1Di(Yiμ0(Xi))
  • 这两部分合并起来,考虑每个观测点的加权残差,形成一个加权的误差项。
  1. 最终的双重稳健估计:
  • 最终的因果效应估计值通过回归预测差μ1(Xi)−μ0(Xi)\mu_1(X_i)-\mu_0(X_i)μ1(Xi)μ0(Xi)处理和对照组的期望结果差)和加权残差项的组合来计算。双重稳健估计的公式为:
    θ^DR=1n∑i=1n[(μ1(Xi)+Die(Xi)(Yi−μ1(Xi)))−(μ0(Xi)+1−Di1−e(Xi)(Yi−μ0(Xi)))] \hat{\theta}_{DR}=\frac{1}{n}\sum_{i=1}^{n}\bigg[\bigg(\mu_1(X_i)+\frac{D_i}{e(X_i)}(Y_i-\mu_1(X_i))\bigg)-\bigg(\mu_0(X_i)+\frac{1-D_i}{1-e(X_i)}(Y_i-\mu_0(X_i))\bigg)\bigg] θ^DR=n1i=1n[(μ1(Xi)+e(Xi)Di(Yiμ1(Xi)))(μ0(Xi)+1e(Xi)1Di(Yiμ0(Xi)))]
  1. 为什么是双重稳健的
  • μ1(Xi)\mu_1(X_i)μ1(Xi)是准确的,如果倾向性得分的模型是错的,我们也无需担心。因为当μ1(Xi)\mu_1(X_i)μ1(Xi)是准确的时候E[Yi−μ1(Xi)]=0E[Y_i-\mu_1(X_i)]=0E[Yiμ1(Xi)]=0,因此剩余μ1(Xi)−μ0(Xi)\mu_1(X_i)-\mu_0(X_i)μ1(Xi)μ0(Xi),转化为回归调整公式。
  • 当倾向性得分e(Xi)e(X_i)e(Xi)是准确的,则
    E(Y1)^=1n∑i=1n(μ1(Xi)+Die(Xi)(Yi−μ1(Xi)))=1n∑i=1n(μ1(Xi)+DiYie(Xi)−Diμ1(Xi)e(Xi))=1n∑i=1n(DiYie(Xi)−Di−e(Xi)e(Xi)μ1(Xi)) \begin{aligned} \hat{E(Y_1)}&=\frac{1}{n}\sum_{i=1}^{n}\bigg(\mu_1(X_i)+\frac{D_i}{e(X_i)}(Y_i-\mu_1(X_i))\bigg) \\ &= \frac{1}{n}\sum_{i=1}^{n}\bigg(\mu_1(X_i) +\frac{D_iY_i}{e(X_i)} - \frac{D_i\mu_1(X_i)}{e(X_i)}\bigg) \\ &=\frac{1}{n}\sum_{i=1}^{n}\bigg(\frac{D_iY_i}{e(X_i)}-\frac{D_i-e(X_i)}{e(X_i)}\mu_1(X_i)\bigg) \end{aligned} E(Y1)^=n1i=1n(μ1(Xi)+e(Xi)Di(Yiμ1(Xi)))=n1i=1n(μ1(Xi)+e(Xi)DiYie(Xi)Diμ1(Xi))=n1i=1n(e(Xi)DiYie(Xi)Die(Xi)μ1(Xi))
    此时E[Di−e(Xi)]=0E[D_i-e(X_i)]=0E[Die(Xi)]=0,剩余项为DiYie(Xi)−(1−Di)Yi1−e(Xi)\frac{D_iY_i}{e(X_i)}-\frac{(1-D_i)Y_i}{1-e(X_i)}e(Xi)DiYi1e(Xi)(1Di)Yi,转化为逆概率加权IPW公式。

双重稳健估计的关键优势:

稳健性
双重稳健估计的最重要优势之一是其“稳健性”。即使其中一个模型(倾向得分模型或回归模型)是正确的,估计仍然能够保持一致。这意味着,即使其中一个模型不完全准确,双重稳健估计仍然能提供有效的估计。
消除选择偏误
通过倾向得分模型,双重稳健估计能够对个体的处理选择进行加权调整,从而减少选择偏误(Selection Bias)。即使样本选择有偏,双重稳健估计仍然能够有效控制这些偏差,提供可靠的因果效应估计。
控制协变量的作用
回归模型通过控制协变量XiX_iXi的影响,能够为处理组和对照组提供期望结果差异的估计。回归模型确保我们能够在控制协变量影响后,正确评估处理效应。

总结

双重稳健估计通过结合倾向得分模型和回归模型,充分利用这两个模型的优势,使得估计在其中一个模型正确时依然能够保持一致性。它的最大优点在于稳健性:只要倾向得分模型或回归模型中任一个正确,估计都会是无偏且一致的,从而有效地解决了因果推断中的选择偏误问题。

这种方法能够更加准确地估计因果效应,并能处理复杂的观测数据和偏倚,使得因果推断在实际应用中更加可靠。

### 双重稳健估计的概念 双重稳健估计是一种结合了两种不同估计方法优点的技术,在统计学和机器学习领域得到了广泛应用。这种方法通常融合了基于模型的方法(如回归调整)和基于加权的方法(如逆概率加权)。当任意一种方法正确指定时,该估计量仍然是一致的。 具体来说,如果协变量的选择偏差或者缺失数据机制被错误建模,则传统的单一估计策略可能会失效;而双重稳健估计只要求两个模型之一正确即可获得无偏估计[^1]。 ### 应用场景 #### 统计学中的应用 在处理观测研究的数据时,由于存在混杂因素的影响,直接比较暴露组与未暴露组的结果可能导致有偏倚结论。此时可以采用双重稳健估计来减少这种偏差影响。例如,在评估某种药物疗效的研究中,利用倾向得分匹配或加权技术配合结局模型来进行因果推断。 #### 机器学习中的应用 对于强化学习而言,离线策略评估是一个重要课题——即如何仅依靠历史交互日志评价新策略的好坏而不需在线实验。这里同样面临样本分布差异带来的挑战,因此引入了DR (Doubly Robust) estimator 来改进IPS(Importance Sampling Policy Estimator),从而提高了估计精度并降低了方差。 ```python def doubly_robust_estimator(rewards, actions_taken, action_probabilities, estimated_q_values): n = len(actions_taken) ips_component = sum([ rewards[i] * (actions_taken[i] / action_probabilities[i]) for i in range(n)]) regression_component = sum([estimated_q_values[i][int(actions_taken[i])] for i in range(n)]) dr_estimate = ips_component - regression_component return dr_estimate ``` 此代码片段展示了简单形式下的双重稳健估计计算方式,其中`rewards`, `actions_taken`, 和`action_probabilities`分别代表奖励序列、采取的动作以及对应动作的概率;`estimated_q_values`表示由某个价值函数近似得到的状态-行动对的价值期望向量。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贝塔西塔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值