54、设计科学研究评估的综合框架

设计科学研究评估的综合框架

1. 引言

在设计科学研究（DSR）中，评估是一个至关重要的环节，但目前关于如何选择和设计合适的评估策略的指导却相对较少。为了解决这一问题，我们开发了一个综合框架，旨在帮助DSR研究人员更有效地进行评估。

2. 框架的扩展

2.1 第一个扩展：DSR评估策略选择框架

该框架将DSR评估背景的各个方面与Pries - Heje等人提出的框架相关联。DSR评估背景的相关方面包括评估目的、被评估对象的特征和类型，以及评估部分设计中需要平衡的特定目标。这些方面被组合成评估设计的标准，具体如下：
- 成本和时间资源限制对评估或整个研究项目的约束程度。
- 早期形成性评估是否可取和可行。
- 设计的人工制品需要满足不同利益相关者群体的程度，以及是否可能存在冲突。
- 系统是纯技术性质还是社会技术性质。
- 在实际工作环境中对有效性严格评估的重要性。
- 确定收益是否特定于设计的人工制品而非其他潜在原因的严格评估的重要性。
- 是否可以获得进行自然主义评估的场地。
- 评估参与者的风险水平是否可接受或需要降低。

使用该框架时，研究人员首先要理解DSR评估的背景，将其映射到框架中的标准，然后根据框架中最相关的行、列和单元格选择评估策略或策略组合。在制定评估策略时，需要对这些标准进行优先级排序，因为它们可能会相互冲突。例如，自然主义评估的严谨性可能与降低评估参与者的风险和成本相冲突。此时，可能需要选择人工评估策略。此外，选择单一策略可能不是最佳选择，混合策略（多个象限）可以解决冲突的目标。

2.2 第二个扩展：DSR评估方