【论文通读】UFO：A UI-Focused Agent for Windows OS Interaction

本文链接：https://blog.csdn.net/HERODING23/article/details/137151422

UFO：A UI-Focused Agent for Windows OS Interaction

前言
Abstract
Motivation
Methods
Experiment
Conclusion

前言

Windows客户端第一个JARVIS，利用GPT4 Vision识别截图信息辅助智能体自动化执行操作，作为微软大肆宣传的一篇工作，其前瞻性还是值得学习的，只不过在实现上博主认为还有很大的改进空间，不过也算是Windows端AI助手的基石工作了。

Paper	https://arxiv.org/pdf/2402.07939.pdf
Code	https://github.com/microsoft/UFO
From	arXiv 1 Mar 2024

Abstract

本文提出UFO，一种新颖的以UI为中心的智能体，它利用GPT-Vision的功能满足针对Windows操作系统上的应用程序定制用户的请求。UFO采用双智能体框架来观察和分析Windows下应用的图像化界面和控制信息。这使得智能体能够在各种应用程序内或者跨应用进行操作满足用户的请求。框架集成了一个控制模块，无需人工干预就可以实现自动化操作。UFO将艰巨且耗时的过程转变为仅通过自然语言命令就可以完成的任务。作者在9个流行的windows应用上测试UFO，涵盖了用户日常使用的各种场景。从定性和定量结果表明UFO在满足用户的请求方面的有效性。UFO是目前第一个为Windows操作系统制定的UI智能体。