Mobile-Agent 入门学习系列笔记 Task1：Mobile-Agent demo #AI夏令营 #Mobile Agent #Datawhale 夏令营 第五期

写在最前

本系列笔记用于记录mobile-agent学习内容，会逐步进行更新。

Mobile-Agent：通过截图分析实现移动应用操作自动化

• 自主多模态代理 "Mobile-Agent " ：提议的多模态代理将视觉和语言整合在一起，实现移动应用操作自动化
• 视觉识别技术的应用： 可根据屏幕截图直接进行操作定位，减少对用户界面的依赖、
• 使用 "Mobile-Eval "基准进行性能评估：使用 新提出的基准证明了较高的任务完成率和操作准确性。

关于 Mobile-Agent

Mobile-Agent 将文本检测模块和图标检测模块与最新的大规模语言模型 (MLLM) GPT-4V 结合在一起，从而大大提高了移动设备上基于指令的操作的准确性。Mobile-Agent 的整体工作流程如下图所示。

针对核心 GPT-4V 缺乏在移动设备实际运行时精确定位操作发生位置的能力，Mobile-Agent 引入了外部工具来精确定位文本和图标的位置。

当需要确定文本的确切位置时，如需要点击屏幕上的特定文本时，就需要使用 OCR（光学字符识别）工具来查找文本的位置。这一过程因检测到无文本、检测到一个文本或检测到多个文本而有所不同。

当需要准确定位图标时，例如点击图标时，图标检测工具和 CLIP 可用于识别图标的准确位置。首先要求代理指定要点击的图标的属性，然后使用接地 DINO 和 "图标 "提示来识别所有图标。最后，使用 CLIP 计算所有检测到的图标与点击区域描述之间的相似度，并选择相似度最高的区域进行点击。

为了更好地解释移动代理在屏幕上执行的操作，还定义了以下八种操作。

• 打开应用程序（A