Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration
移动设备操作助手Mobile-Agent-v2：通过多智能体协作实现有效导航

引言

随着人工智能技术的飞速发展，多模态大型语言模型（MLLMs）在各个领域展现出惊人的能力。然而，在移动设备操作任务中，MLLMs 由于训练数据的限制，缺乏作为操作助手的有效能力。为了解决这一问题，基于 MLLM 的智能体逐渐应用于该场景，通过工具调用增强其能力。然而，现有的单智能体架构难以有效解决移动设备操作任务中的两大导航挑战：任务进度导航和焦点内容导航。本文将详细介绍一篇论文，提出了一种名为 Mobile-Agent-v2 的多智能体架构，旨在解决这些导航挑战，并提升移动设备操作任务的完成效率。

研究问题

移动设备操作任务通常涉及多步骤的顺序处理，操作员需要从初始屏幕开始，执行一系列连续操作，直到指令完全执行。在这个过程中，存在两个主要挑战：

1. 任务进度导航：操作员需要从历史操作中导航当前任务进度，以便规划操作意图。
2. 焦点内容导航：某些操作可能需要历史屏幕中与任务相关的信息，例如，撰写体育新闻需要使用之前查询的比赛结果。这种重要信息被称为焦点内容，也需要从历史屏幕中导航出来。

随着任务进展，冗长的历史操作和屏幕信息作为输入，会显著降低单智能体架构的导航效率。

方法

为了有效解决上述导航挑战，论文提出了 Mobile-Agent-v2，一个基于多智能体协作的移动设备操作助手。Mobile-Agent-v2 包含三个专门的智能体角色：

• 规划智能体：负责根据历史操作生成任务进度，并将其传递给决策智能体，以便其更容易地导航任务进度。
• 决策智能体：根据当前任务进度、当前屏幕状态和反思结果（如果上次操作错误）生成操作，并负责更新内存单元中的焦点内容。
• 反思智能体：观察决策智能体操作前后的屏幕状态，以确定当前操作是否符合预期。如果发现操作不符合预期，它会采取适当的措施重新执行操作。

此外，Mobile-Agent-v2 还包含视觉感知模块和内存单元，以增强智能体的屏幕识别能力和从历史中导航焦点内容的能力。

实验与结果

论文进行了动态评估，以评估 Mobile-Agent-v2 在不同操作系统、语言环境和应用程序中的性能。实验结果表明，与单智能体架构 Mobile-Agent 相比，Mobile-Agent-v2 在任务完成方面取得了超过 30% 的提升。此外，论文还通过手动操作知识注入，进一步验证了 Mobile-Agent-v2 的性能提升。

结论

Mobile-Agent-v2 通过多智能体协作，有效地解决了移动设备操作任务中的导航挑战，并显著提升了任务完成效率。未来研究可以探索自动生成高质量操作知识的可能性，以进一步提高 Mobile-Agent-v2 的性能，并拓展其在移动应用测试等领域的应用。

讨论

Mobile-Agent-v2 的提出为移动设备操作助手的研究提供了新的思路。然而，该架构仍存在一些局限性，例如，对视觉感知模块的依赖，以及手动操作知识注入的效率问题。未来研究可以探索更强大的视觉感知模型，以及自动生成操作知识的算法，以进一步提升 Mobile-Agent-v2 的性能和实用性。

代码链接

Mobile-Agent-v2 的代码已开源，可访问 https://github.com/X-PLUG/MobileAgent 获取。

总结

Mobile-Agent-v2 是一个具有创新性的多智能体架构，为移动设备操作助手的研究开辟了新的方向。相信随着技术的不断发展，Mobile-Agent-v2 将在未来发挥更大的作用，为用户带来更便捷的移动设备操作体验。