20、基于深度学习的移动应用图形用户界面（GUI）图形元素检测与分割

基于深度学习的移动应用图形用户界面（GUI）图形元素检测与分割

1 引言

如今，移动应用在日常生活和工作中变得不可或缺。在应用商店中，有大量应用供用户选择，因此，一款有竞争力的应用能够按照用户期望平稳运行至关重要。那些经常崩溃或容易出现漏洞的应用很可能会被用户迅速抛弃并给予负面评价。自动化测试是确保应用质量的高效可靠解决方案，它能避免手动测试成本高、准确性低的问题。而 GUI 作为大多数移动应用与用户交互的媒介，使得 GUI 测试成为自动化测试中至关重要的一部分。

传统的 GUI 测试方法通常需要测试人员手动编写大量测试脚本，这些工作机械重复、耗时费力。而且，即使 GUI 有微小变化，也可能使整个测试套件失效。由于当前 GUI 交互众多，移动应用日益复杂，要实现具有足够覆盖率的自动化测试几乎不可能。目前，GUI 测试面临着上下文事件和响应多、设备和屏幕分辨率多样、操作系统更新快等挑战。

随着计算性能的提升，深度学习在图像检测领域取得了巨大进展。基于区域卷积神经网络（R - CNN）的 GUI 图形元素检测技术是一种端到端的方法，其输入为 GUI 图像中的图形元素及其对应标签，输出为分类和定位结果。本文将基于深度学习的检测和分割技术应用于 GUI 页面，计算机可以像人类一样智能识别 GUI 页面上图形元素的分类和定位，无需测试脚本即可操作图形元素。

本文的主要贡献如下：
- 创建了一个用于 GUI 页面图形元素检测和分割的数据集。该数据集包含 2100 个 GUI 截图，来自 Rico 数据集、Google Play 和 HUAWEI AppGallery，其中 42156 个图形元素被手动标注并分为 8 类。
- 采用 Mask R - C