网络安全用户研究十年统计可靠性分析

### 网络安全用户研究十年统计可靠性分析 在网络安全用户研究领域，统计方法的可靠性对于研究结果的准确性和可信度至关重要。本文将深入探讨网络安全用户研究中的统计可靠性问题，包括多重比较校正、效应量、统计功效、研究偏差等方面，并通过具体的研究方法和结果进行分析。 #### 1. 统计基础概念 - **多重比较校正（MCC）**：在一个测试族中进行多个统计测试会增加族系误差率。为了减轻这种影响，通常采用多重比较校正方法。本文使用的Bonferroni校正方法是最保守的一种，它通过将显著性水平α除以测试族中计算的测试数量来调整显著性水平。 - **效应量和置信区间** - **效应量（ES）**：是对观察到的效应大小的点估计。 - **置信区间（CI）**：是相应的区间估计。例如，95%置信区间表示如果实验无限次重复，我们期望总体效应的点估计在相应置信区间内的情况占95%。 - **注意事项**：置信区间常被误用或误解，正确使用效应量及其置信区间有助于确定效应的实际相关性和可信度。 - **统计功效** - **定义**：统计功效（1 - β）是指当原假设实际上为假时，测试正确拒绝原假设的概率，即不犯假阴性或II型错误的可能性。 - **影响**：统计功效还会影响阳性报告结果在现实中实际为真的概率，即阳性预测值（PPV）。统计功效越低，阳性报告结果为真的可能性越小。 - **计算方法**：先验统计功效通过对样本大小和预期效应大小进行功效分析来估计，而后验统计功效由于存在高估问题，建议不予考虑。本文采用功率模拟的方法来计算统计功效。 - **研究偏差** - **发表偏倚**：指研究的发表可能取决于其阳性结果，导致零结果和不利结果被埋没。 - **赢家诅咒**：低功效研究往往只能在大效应上达到统计显著性结果，从而倾向于高估观察到的效应大小，使领域中效应估计值虚高。 #### 2. 相关研究 - **领域评估**：网络安全用户研究相关领域尚年轻，之前的系统文献综述（SLR）发现该领域存在明显弱点，尽管也有一些严谨的研究案例。 - **指南建议**：许多作者在不同方面为可靠、严谨的实验提供了建议，如科学设计、实验方法、多重比较校正等。 #### 3. 研究目标 - **效应量** - **RQ 1**：观察效应量及其95%置信区间的分布情况，以及多重比较校正对置信区间的影响。 - **假设**：Hmcc,0表示无论是否进行每研究族系多重比较校正，测试的统计显著性边际比例相等；Hmcc,1表示每研究族系多重比较校正会影响测试的统计显著性边际比例。 - **统计功效** - **RQ 2**：了解相对于参数化效应量阈值的统计功效分布，包括给定样本大小可达到的上限以及实际测试的功效。 - **方法**：将研究和单个测试使用的样本大小与Cohen提出的小、中、大效应量阈值进行比较。 - **发表偏倚** - **RQ 3**：通过漏斗图检查效应量和标准误差之间的关系，以确定该领域在多大程度上表现出发表偏倚的迹象。 - **假设**：Hbias,0表示效应量和其标准误差之间的秩相关不存在不对称性；Hbias,1表示存在不对称性。 - **赢家诅咒** - **RQ 4**：研究模拟统计功效（仅取决于组大小）与观察到的效应量之间的关系。 - **假设**：Hwc,0表示模拟功效和观察到的效应量相互独立；Hwc,1表示模拟功效和观察到的效应量之间存在负相关。 #### 4. 研究方法 - **样本**：基于2016/17年的系统文献综述（SLR），最终确定了54项适合提取效应量的研究。 - **研究流程** ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(自动化测试统计提取):::process --> B(手动编码):::process B --> C(测试排除):::process C --> D(功率模拟):::process D --> E(效应量估计) ```