关于智能体（AI Agent），不得不看的一篇总结

图片

（《钢铁侠》电影中的科幻场景正在慢慢成为现实）
当托尼·斯塔克在《钢铁侠》中与J.A.R.V.I.S进行自然交流，让AI助手控制各种系统并完成复杂任务时，这一幕曾被视为遥不可及的科幻场景。然而，随着大型语言模型(LLM)和多模态大模型(MLLM)的快速发展，这样的智能助手——现在我们称之为"智能体"(Agent)——正从科幻走向现实。
近年来，从OpenAI的ComputerUse到移动端的SpiritSight和MobileFlow，从学术研究到产业应用，智能体技术正经历前所未有的发展浪潮。本文将综合当前最前沿的研究成果，例如：
  • AppAgentX：Evolving GUI Agents as Proficient Smartphone Users
  • MobileFlow：A Multimodal LLM for Mobile GUI Agent
  • OS Agents：A Survey on MLLM-based Agents  for General Computing Devices Use
  • SpiritSight Agent：Advanced GUI Agent with One Look.
为读者提供一份关于智能体技术的全面总结，特别关注其中发展最为迅速的GUI智能体领域。


1. 智能体的定义与分类
1.1 什么是智能体
智能体（Agent）是一种能够感知环境、制定决策并采取行动以实现特定目标的AI系统，一般具有记忆、规划、采取行为、使用工具等基本能力，如下图所示，其中规划中有思维链、能进行反思、目标分解。与传统AI系统不同，智能体具有自主性、持续性和适应性，能够在复杂环境中持续学习和优化自身行为。

图片


1.2 OS Agent：操作系统智能体
OS Agent（操作系统智能体）是一类特殊的智能体，它们通过操作计算设备（如计算机和移动手机）的图形用户界面(GUI)来完成各种任务。根据最新的OS Agent综述，这类智能体有三个关键组成部分：
  • 环境：OS Agent所处的操作系统环境，如Windows、macOS、Android等
  • 观察空间：智能体获取信息的方式，如界面截图、DOM结构等
  • 行动空间：智能体可执行的操作集合，如点击、输入、滑动等

图片

（来源于论文：OS Agents：A Survey on MLLM-based Agents for General Computing Devices Use）

1.3 智能体的主要分类
根据输入模态和技术实现，GUI智能体可分为三类：
  • 基于语言的智能体：仅使用HTML/XML等文本描述作为输入
  • 基于视觉的智能体：仅使用屏幕截图作为输入
  • 视觉-语言混合智能体：同时使用屏幕截图和文本描述作为输入
其中，基于视觉的智能体（如SpiritSight）和视觉-语言混合智能体（如MobileFlow）因其跨平台兼容性和丰富的感知能力，正成为研究热点。

图片

（来源于论文：OS Agents：A Survey on MLLM-based Agents for General Computing Devices Use）

2. 智能体的核心能力
现代智能体，特别是OS/GUI智能体，需要具备以下核心能力：
2.1 理解能力
理解能力是指智能体解读用户指令、理解任务目标的能力。最新研究如MobileFlow引入了GUI Chain-of-Thought（CoT）技术，使模型能够像人类一样进行推理，从而更好地理解复杂任务。
2.2 感知与定位能力
感知能力是智能体理解环境的基础。对GUI智能体而言，关键的感知挑战是元素定位（Element Grounding）：
  • SpiritSight提出的Universal Block Parsing（UBP）方法解决了动态高分辨率输入中的歧义问题
  • MobileFlow的混合视觉编码器支持可变分辨率输入，提高了对细节的感知能力
  • OpenAI的ComputerUse则通过闭环视觉-操作系统直接分析整个屏幕并执行精确操作

2.3 规划能力
规划能力是智能体将复杂任务分解为步骤序列的能力。根据OS Agent综述，规划方法分为两类：
  • 全局规划：在任务开始前规划完整的操作序列
  • 迭代规划：根据环境反馈动态调整操作计划
如MobileFlow采用的四步法（观察、推理、行动、总结）就是一种有效的迭代规划框架。
3.4 操作能力
操作能力是智能体执行具体行动的能力，典型的GUI操作包括：
  • 鼠标/触摸操作：点击、长按、拖拽
  • 键盘操作：文本输入、快捷键
  • 导航操作：滚动、翻页、切换标签等。

3. 当前智能体技术前沿
3.1 OpenAI的ComputerUse
OpenAI的ComputerUse是一项革命性技术，它使AI代理能够直接操作计算机界面：
  • 技术原理：基于Computer-Using Agent (CUA)模型，结合GPT-4o的视觉能力和推理能力
  • 工作流程：指令理解→动作生成→执行与反馈→状态理解→迭代改进
  • 支持环境：浏览器、macOS、Windows、Ubuntu（暂不支持移动平台）
  • 应用场景：自动化测试、探索式测试、回归测试、跨平台一致性测试等。

图片

（有视觉能力的智能体）

3.2 SpiritSight：视觉导向的GUI智能体
SpiritSight代表了基于视觉的GUI智能体的最新进展：
  • 核心创新：提出GUI-Lasagne多级大规模GUI数据集和Universal Block Parsing方法
  • 技术特点：端到端、纯视觉感知，无需HTML/XML辅助
  • 性能表现：在Multimodal-Mind2Web等多个基准测试中超越现有方法
  • 跨语言能力：通过小规模目标语言数据微调，可实现跨语言（如中文）GUI操作

图片

（来源论文：SpiritSight Agent：Advanced GUI Agent with One Look。SpiritSight智能体概述：借助一个大规模、多层次、高质量的预训练数据集，使 SpiritSight具备三个层次的全面GUI知识。此外引入了一种通用模块解析方法，以增强 SpiritSight的基础能力）

3.3 MobileFlow：移动设备专用智能体
MobileFlow专注于移动设备场景的智能体设计：
  • 模型架构：基于Qwen-VL-Chat，采用混合视觉编码器，支持21B参数规模
  • 技术特点：支持可变分辨率输入、良好的多语言支持、采用MoE结构
  • 训练策略：GUI对齐（定位、引用、问答、描述）和GUI Chain-of-Thought
  • 实际应用：已在软件测试和广告预览审核等场景成功部署

图片

（来源论文：MobileFlow- A Multimodal LLM for Mobile GUI Agent）

关于AppAgentX，请参考文章：手工测试没有未来：进化型GUI智能体的革命


4. 智能体的应用场景
4.1 GUI自动化测试
GUI自动化测试是智能体最成熟的应用场景之一：
  • 探索式测试：智能体可以自主探索应用的各个功能和界面，发现异常UI状态
  • 回归测试：智能体记忆历史交互路径，即使界面变化也能适应并成功执行测试
  • 跨平台测试：同时在不同设备、浏览器或操作系统上验证功能
  • 可视化报告：提供清晰的文本描述和截图，便于开发者理解问题
与传统自动化测试相比，智能体测试无需元素定位代码，适应界面变化，具有多模态理解能力和智能交互决策能力。
4.2 移动应用操作自动化
移动应用操作自动化是当前研究热点：
  • 电商购物：自动完成商品搜索、比较、下单、支付流程
  • 表单填写：自动填写各类注册表单、申请表单
  • 内容聚合：从多个应用收集信息并整合
  • 智能助手：执行复杂的多步骤任务，如预订旅行、安排会议等

4.3 桌面系统任务自动化
桌面系统是智能体另一重要应用领域：
  • 文档处理：自动创建、编辑、格式化文档
  • 数据分析：执行数据收集、清理、分析和可视化流程
  • 系统管理：管理文件、安装/卸载软件、系统配置等
  • 创意工具：辅助图像编辑、视频剪辑等创意工作

5. 智能体面临的挑战
5.1 技术挑战
当前智能体技术仍面临多项挑战：
  • 可靠性问题：正如OpenAI指出，CUA模型在自动化操作系统任务方面的表现（38.1%）远低于浏览器任务
  • 元素定位精度：尽管有UBP等新方法，元素定位仍是视觉智能体的核心挑战
  • 长序列任务：完成需要多步骤、长时间操作的复杂任务时可靠性下降
  • 复杂推理：涉及多页面、多条件判断的任务推理能力有限
  • 多语言支持：非英语界面的理解和操作能力通常较弱

5.2 安全与隐私挑战
智能体技术也带来新的安全与隐私问题：
  • 提示注入攻击：恶意网站或应用可能尝试通过界面元素实施提示注入攻击
  • 隐私泄露风险：智能体在操作过程中可能接触敏感信息
  • 操作权限管控：如何限制智能体只执行安全、授权的操作
  • 潜在滥用：恶意使用智能体自动执行未授权操作

5.3 部署与集成挑战
将智能体技术应用到实际环境中也面临诸多挑战：
  • 计算资源需求：高质量GUI智能体通常需要大型模型支持，计算开销较大
  • 延迟问题：实时操作要求低延迟，但视觉分析和推理需要较高计算资源
  • 系统集成：与现有工作流和系统的无缝集成需要额外开发
  • 版本兼容性：应用界面不断更新，智能体需要持续适应新变化

6. 智能体的未来发展方向
6.1 技术演进方向
  • 自我改进能力：智能体将能从测试结果中学习，持续优化测试策略
  • 多模态融合增强：更深入地融合视觉、文本、音频等多模态信息
  • 领域专业化：针对特定行业应用的专业化智能体，如金融、医疗等
  • 集成增强工具：无缝集成OCR、计算机视觉、搜索等专用工具以增强能力

6.2 跨平台与通用化
未来的智能体将更加通用和跨平台：
  • 统一接口：开发统一的智能体接口，适用于不同平台和设备
  • 移动-桌面协同：实现移动设备和桌面系统间的智能协作
  • Web-原生应用融合：同时支持Web应用和原生应用操作
  • IoT设备控制：扩展到智能家居、工业控制等IoT设备界面

6.3 个性化与自我进化
智能体将变得更加个性化：
  • 用户偏好学习：学习用户操作习惯和偏好
  • 持续适应：随着用户使用方式的变化而自我调整
  • 主动建议：基于历史数据主动提出任务优化建议
  • 自我评估与优化：智能体自我评估性能并改进策略

结语：智能体技术的影响与展望
GUI智能体技术正处于快速发展阶段，从OpenAI的ComputerUse到SpiritSight和MobileFlow，我们看到了技术从概念走向实用的显著进步。这些智能体不仅改变了软件测试和人机交互方式，也正在重塑人们与数字设备的互动体验。
未来，随着视觉理解、推理规划和操作能力的提升，智能体将承担越来越多复杂任务，成为人类在数字世界中的得力助手。虽然仍面临技术、安全和伦理等多方面挑战，但智能体技术的潜力是巨大的。
正如"J.A.R.V.I.S"曾经只存在于科幻电影中，而今天的ComputerUse已经能够操作真实计算机一样，我们有理由相信，真正能够理解用户意图并自主完成复杂任务的智能助手将在不远的将来成为现实。未来已来，只是尚未普及。
今年是智能体年，本公众号完成了智能体周，前4篇文章：