咨询服务热线:400-099-8848
MAI-Gym:给手机和电脑装一个会自己操练的AI管家 |
| 发布时间:2026-11-21 文章来源:本站 浏览次数:22 |
“MAI-Gym”是阿里巴巴通义团队推出的一个开源平台,它的核心目标,正是给手机和电脑上的GUI智能体(可以理解为AI管家)打造一个能安全、高效“自己练习”的“健身房”。你有没有想过一件事:为什么让AI下棋、做数学题、写代码都现已能靠自学进步了,但让AI帮你订张火车票、收拾一份文件,却仍是常常手忙脚乱? 这背面有个挺反直觉的实践。2025年前后,强化学习现已在数学、编程这些范畴跑通了一套成熟打法:给模型出题,让它重复测验,答对了给奖赏,答错了不给,模型就这样一点点学会推理。这套办法作用惊人,DeepSeek-R1便是靠这个思路训出来的。但相同的办法拿到"操作手机和电脑屏幕"这件事上,却迟迟没有跑通。阿里的研讨团队在他们新发布的论文里把这件事的难点讲得很清楚,也拿出了一套叫做**MAI-Gym**的解决计划。读完之后我觉得,这篇论文实在有意思的当地,不是又训出了一个多强的模型,而是它把"为什么GUI智能体练习这么难"这件事拆解得十分透彻。 一道题做一万次,和一台手机只能用一次 先说说这件事究竟难在哪。 你去做一道数学题,无论你做对做错,这道题自身是不会被"用坏"的。一千个人能够一起在草稿纸上演算同一道方程,互不搅扰。代码题也相似,一个沙箱环境能够被无数次复制,每次运转完清空重来,本钱极低。 但手机和电脑不是这样。 当一个AI智能体在操作一台虚拟手机时,它点击的每一个按钮、输入的每一段文字,都会实在地改动这台"手机"的状况:文件被创建了、设置被改掉了、App里的数据被修改了。这意味着,假如你想让100个AI一起操练"用12306订一张火车票"这个使命,你不能让它们共用一台虚拟手机,由于A智能体点开的购票页面,B智能体底子看不到,它们会彼此踩脚。 **每一次测验都需求一台独立的、处于已知初始状况的手机或电脑,用完还要能精准重置回原样,供下一次测验使用。** 这就好比,数学题是能够无限复印的试卷,而GUI使命更像是一次性的实验耗材。你做数学题能够让一千个学生一起在课桌上演算同一道题,但你无法让一千个人一起去操作同一台实体手机的同一个App,由于手一碰屏幕,状况就变了,后边的人面对的就不是同一个起点了。假如不独自给每次测验配一台"洁净"的设备,练习数据从一开端便是脏的,模型学到的或许是环境残留状况带来的偶然成功,而不是实在的操作才能。 GUI*:Graphical User Interface,图形用户界面,也便是咱们日常看到的手机App界面、电脑桌面这些能够用鼠标点击、手指触摸操作的界面,和需求敲代码的命令行界面相对。 论文里给了个详细数字:大规划练习时需求一起坚持不计其数台这样的"一次性设备"在运转,并且还要确保每台设备真的康复到了洁净状况,不能有残留文件、残留登录状况搅扰下一次练习。这是第一个底子性的矛盾。 第二个难点更隐蔽一些,叫做**评价和练习用的是两套不同的"手"**。 研讨团队发现一个现象:同一个模型,假如评测时用的代码和练习时用的代码不是同一套,跑出来的分数会不一样。原因很简单,模型看到的截图怎样处理、前史记载保存几步、动作指令怎样解析,这些细节一旦呈现版别漂移,你测出来的其实现已不是你练习出的那个模型了。论文里说到一篇参考文献(StructAgent)专门指出过这个问题:"改动履行框架自身,就能改动一个固定模型的测验分数"。这就像你用两把不同精度的尺子量同一个物体,得出的数字再准确也无法彼此比较。 把"评价-采集-练习"三条路合并成一条 MAI-Gym解决这个问题的中心规划思路,用一句话概括便是:**评价、数据收集、在线练习这三件事,有必要同享同一套履行代码**。 论文里管这个叫agent harness,直译是"智能体挽具",其实便是夹在模型和实在环境之间的那层代码,担任把屏幕截图收拾成模型能看懂的输入、把模型吐出来的文字解析成详细的点击坐标。 harness*:智能体的履行框架,担任构造输入给模型的上下文、解析模型输出的动作指令、并把动作实在发送到环境中履行。这是衔接"大脑"(模型)和"身体"(环境)的那层代码。 假如评价用一套harness、练习用另一套,就好比你教一个人开车时用的是教练车的离合器手感,但考试时换了辆彻底不同脚感的车,此人尽管学会了开车,但考试成绩和实在才能之间就呈现了体系性误差,并且这个误差你底子看不出来是哪里出了问题。MAI-Gym的做法是,不论是跑评测、收集练习数据,仍是实在做强化学习更新参数,悉数走同一条"rollout途径"(能够了解成同一条流水线),一处代码改动,三边一起生效。 论文给的架构图里有个细节我觉得挺巧妙,叫**环境办理器**,它对外只暴露五个标准操作:恳求实例、调查当前状况、重置到某个使命、履行一步动作、评价成果。不论底层是安卓手机、Mac电脑仍是浏览器网页,智能体看到的接口都是统一的。这意味着研讨者要给MAI-Gym新增一种设备类型(比方iPad),不需求改动练习代码,只需求写一个适配器,把这台新设备的"开机、截图、点击、验证"这几个动作翻译成环境办理器知道的言语就行。 rollout*:强化学习里的术语,指智能体从使命开端到完毕(成功或失利)完好走一遍的进程,产生一条轨道和一个毕竟的奖赏分数。 这套体系跑起来有多大规划?论文里给的数字是**2万个并行环境实例一起运转**。为了撑住这个规划,团队在底层做了不少硬功夫。比方手机端,标准的安卓模拟器需求"嵌套虚拟化"技术,而大多数云端容器集群底子不支持这个,所以他们改用了一个叫ReDroid的计划,让每台虚拟手机变成一个普通容器直接跑在宿主机内核上,重置时只需求康复一份"黄金快照"就行。实测下来,1000台新手机实例从零启动到可用,只需求328.4秒,比传统计划快了至少6倍。 不止是跑得快,还得省得下 光是环境能跑起来还不行,GUI使命还有个隐藏的本钱黑洞:每走一步都要让大模型"看一眼截图再决定下一步",并且一个使命常常要走几十步才干完结。假如每一步都要把一切前史截图从头喂给模型核算一遍,算力耗费会指数级增长。 这儿论文提出了一个我觉得特别值得细说的规划,叫**窗口式前史办理**。 常见的做法是"只保存近k张截图",但这个做法有个致命问题:模型的输入prompt每走一步都会变。比方保存近5张截图,走到第6步时,老的第1张截图被扔掉了,整个输入序列的开头就变了。 这儿要插一句背景知识。大模型推理引擎有个加速技巧叫**KV缓存复用**,简单说便是,假如两次恳求的输入前缀彻底一样,那前缀部分的核算成果能够直接复用,不用从头算一遍。但假如前缀哪怕变了一个字,缓存就作废了,有必要整段从头核算。 KV缓存*:Key-Value Cache,大模型推理时为了防止重复核算,把之前算过的中心成果存下来,下次遇到相同的前缀内容直接复用,省去重复核算的开销。 "近k张"的战略相当于每走一步就把前缀改了一遍,等于每一步都要把几乎悉数前史从头算一次。MAI-Gym的解法是把进程分成"窗口",比方每10步一个窗口,相邻窗口之间堆叠2步。在一个窗口内,新内容只做"追加",不做"删除",这样前缀就能一向复用。等到了窗口边界,才把旧的截图"折叠"成占位符(文字描述还保存,但图片自身不再占用核算资源),开启下一个窗口。 这就像你在写一本连载小说,假如每写一章就把前面一切章节从头抄一遍再续写,那随着故事变长,誊写的作业量会越来越夸大。但假如你用活页夹的办法,旧的几页先收进档案盒(保存摘要,不留原文),新内容直接往簿本后边续写,续写的那一刻你不需求动前面的内容。论文给出的实测数据很直观:窗口式计划让"前缀缓存命中率"从42.5%提高到85.9%,练习时每条轨道需求处理的输入token数量从56万多直接降到8万多,降幅84.7%,练习一次更新的耗时从2166秒压到810秒,减少了62.6%。 当然这不是没有价值的,论文也坦诚地说到,rollout阶段每秒处理的步数从2.3降到了1.9,下降了18.9%。这是个典型的工程权衡:用rollout阶段略微的速度丢失,换来练习阶段巨大的功率提高,全体上是合算的。 没有实在国际能够"练手",那就自己造一个 接下来是我觉得这篇论文有巧思的部分:**怎样给AI造操练题**。 这儿面有个实践窘境。你想让AI学会用12306订票、用银行App转账、在外卖App下单,但这些App操作的是真金白银和实在订单。你总不能让AI在练习进程中重复给生疏账户转账几万次来"练手",这事不仅危险,并且底子无法重置。 论文把解决计划分成了两条线:一条叫**实在使用克隆**,一条叫**全新虚构使用**。 先说克隆。研讨团队用编程智能体(便是Claude Code这类能写代码的AI)照着7款实在App(12306订票、建设银行、滴滴打车、美团外卖、大众点评、抖音、小红书)从零搭建了功用相近的"仿真版",内部有自己的后端数据库,能够随时重置。论文配了一张比照图,仿真版App和实在App放在一起,连界面布局都做到了高度还原。测验人员会在实在App和仿真版里做同一套使命,一步步对照截图,承认两头行为共同。 这就好比飞行员在实在飞上天之前,先在飞行模拟器里练上几百个小时。模拟器的仪表盘、操作逻辑都和真飞机如出一辙,撞了也不要紧,重启一下接着来。假如没有这个模拟器,飞行员的第一次实在操作就得在真飞机上进行,容错率几乎为零。GUI智能体同理,没有这些"沙盒克隆",AI想在高风险的支付、交易类App上堆集经验,几乎无从下手。 另一条线是全新虚构使用,论文里管这个叫Novel Apps,专门用来测验AI"从没见过的界面,能不能靠自己摸索学会"。这些App彻底是编出来的,界面和交互逻辑都是研讨团队随意规划的,确保任何预练习模型都不或许提前"背过"它的操作办法。每个App被规划成一个**确定性状况机**:相同的初始状况加相同的操作序列,必定产生相同的成果,这样重置和打分才干做到分毫不差。 论文后总共开源了49个这样的仿真App,7个实在克隆加42个全新使用,附带840个使命。 光有App还不行,使命也得有"国际观" 这是论文里让我形象很深的一点。市面上许多使命合成办法有个通病:生成的使命彼此孤立,一个使命对应一个独自的输入文件,这些使命之间没有任何相关。 但实在国际里,人处理作业历来不是孤立的。比方论文举的一个比方:回复一封邮件时要填上附件发票里的总金额,这要求邮件内容、附件、发票金额在这个虚拟国际里是实在彼此对应、自洽的,而不是随意拼凑出来的几份互不相关的文件。 为了实现这种"自洽性",MAI-Gym引入了**跨使用国际构建**的流程。先设定一个人物人物(比方一个项目经理)和一个详细场景(比方一场产品发布会的预备),然后围绕这个场景批量生成彼此相关的文件和App记载:一份项目简报、一张预算表格、一封邮件来往、一条日历组织,这些内容同享同一批人名、同一个时刻线、同一组实践。 persona*:论文中指为生成使命场景而设定的虚拟用户身份,包括这个人的职业、人物定位、目标诉求,用来让后续生成的一切文件和使命坚持逻辑共同。 有了这个"自洽的国际"之后,使命才干变得实在检测综合才能。论文给的比照比方很阐明问题:假如使命只是"创建一个叫预算复审的日程",AI只需求机械地点开日历App填个姓名就行;但假如使命是"把预算复审会议挪到修订版预算表格截止日期的第二天",AI就有必要先去读邮件、再去核对表格里的日期、后才干回到日历去操作,这才实在检测了AI整合多方信息、做出正确判别的才能。 这就像出一道前史考题,假如只问"鸦片战争产生在哪一年",学生死记硬背就能答对,没有任何辨别力;但假如问"结合某公约的详细条款,分析为什么当时的通商口岸选址会影响后续形势",学生就有必要实在了解上下文、调取相关资料、进行推理才干作答。孤立使命测的是记忆,相关使命测的才是真本事。假如不构建这种跨文件的自洽国际,生成出来的使命质量上限会十分低,模型练的始终是简单的"找图标点一下",而不是实在作业场景里常见的"多方信息汇总判别"。 奖赏信号不能骗,验证器要经得起"考试" 已然使命生成出来了,怎样判别AI做得对不对?这儿还有一个陷阱,论文专门点出来讲。 前期不少相似的研讨用大模型(VLM,视觉言语模型)当裁判,直接让另一个AI看着截图判别"这个使命完结了吗"。这个做法功率是高,但问题在于,VLM裁判自身会犯错,并且一旦战略模型发现了裁判的判别缝隙,就有或许学会"钻空子"而不是真的学会完结使命,论文管这个叫奖赏做弊风险。 VLM*:Vision-Language Model,视觉言语模型,能一起了解图片和文字的AI模型,常被用来当作自动化的"裁判"去判别一张截图是否满意某个条件。 MAI-Gym的解法是把代码验证放在第一位,VLM判别作为补充。详细流程是这样的:先写清楚使命要求的"验收标准",比方哪些数值有必要呈现在毕竟表格里;然后独立生成两段代码,一段叫golden code,直接把环境设置成使命完结后的状况(用来验证验证器自身对不对),另一段才是实在用来打分的verifier代码,这两段代码互不参考对方。 接下来是我觉得严谨的一步,论文叫execution before acceptance,也便是"先跑通再选用"。每个验证器有必要在实在环境里经过"初始状况打0分、golden code运转后打1分、重置后再打0分"这三个查验点,一个环节不过关,这个使命就被扔掉重做。此外还要让好几个实在模型经过GUI界面实践测验完结这个使命,再由人工复核这些测验记载,查看使命是否真的可履行、难度是否合理、有没有被钻空子的风险。 这套流程像什么?像一份正式考试之前的命题审阅。出题老师不能只是写完标题就直接拿去考试,有必要先自己做一遍承认有答案、再找几个不同水平的学生试做,看看标题表述是不是有歧义、有没有送分缝隙,承认无误之后才干正式使用。假如越过这道审阅直接上线,考出来的成绩底子无法反映学生的实在水平。 MAI-Gym毕竟开源了2000个经过这套流程查验的使命,手机和电脑环境各1000个。 训出来的模型,体现究竟怎样样 说了这么多基础设施,毕竟作用才是硬道理。研讨团队用MAI-Gym训出了一个90亿参数规划的模型,叫**MAI-Gym-9B**,底座是Qwen3.5-9B,经过监督微调加联合强化学习两个阶段练习而成。 练习进程有一个关键挑选:**手机使命和电脑使命放在同一次强化学习练习里一起练,而不是分隔练习两个专家模型再拼接**。常见做法是先独自训一个手机专家、独自训一个电脑专家,然后用参数加权均匀的办法把两者"交融"成一个模型。论文专门做了比照实验:MobileWorld这个测验集上,手机专家独自练习能到76.4分,电脑专家73.5分,各种交融比例的组合好也只能到76.4分;而联合练习出来的模型直接做到了78.4分,在另一个测验集OSWorld-Verified上也是同理,联合练习76.2分,比好的交融计划还高1.4分。 这个成果阐明了什么?阐明手机和电脑这两类使命之间存在某种可搬迁的共性才能,分隔练习反而把这部分共性给丢了。这就好比一个人一起学钢琴和小提琴,假如彻底分裂地学,各自练到必定程度后水平就卡住了;但假如在同一个阶段替换操练,节奏感、乐理了解这些底层才能是互通的,反而能让两种乐器都学得更快更好。 详细分数方面,MAI-Gym-9B在MobileWorld(手机端基准测验)上拿到78.4%的成功率,在OSWorld-Verified(电脑端基准测验)上拿到76.2%,论文称这是10B参数以下开源GUI智能体里的高水平。作为比照,相同9B规划的UI-Venus-2-9B分别是75.2%和70.8%,而参数量大它4倍的GUI-Owl-1.5-32B反而只要43.9%和56.5%。更值得一提的是,在MobileWorld这个测验上,MAI-Gym-9B甚至超过了Claude Opus 4.8(69.2%)、GPT-5.5(62.4%)这些体量大得多的闭源商业模型。 **模型没在练习里见过的使命和环境,体现是否能坚持,这才是实在查验泛化才能的当地。** 论文专门区分了两类测验,一类叫Task OOD(使命没见过,但练习环境见过),一类叫Env OOD(连环境自身都是全新的)。成果是:五个彻底没练习过环境的基准测验(AndroidWorld、MobileGym、OSWorld 2.0、MacAgentBench、MyPCBench)上,强化学习阶段比较监督微调阶段都有明显提高,提高起伏从3.7到20.6个百分点不等,这阐明模型学到的不是死记硬背某个App的操作流程,而是具备必定的跨场景搬迁才能。 OOD*:Out-Of-Distribution,散布外,指测验数据和练习数据的散布不一样,用来查验模型是否只是记住了练习内容,仍是真的学会了可搬迁的才能。 虚拟国际练出来的本事,在真手机上管不论用 这是整篇论文我觉得值得独自拎出来说的实验,由于它直接答复了一个一切人都会问的问题:在仿真App里练出来的才能,究竟能不能用到实在App上? 研讨团队挑了12306这个仿真克隆App,用52道配对使命(仿真版和实在版各预备一套对应使命)做了对照实验。成果是这样:在仿真克隆环境里,强化学习练习前成功率36.5%,练习后飙升到73.1%,提高了36.5个百分点。而这个在虚拟国际里练出来的模型,直接拿到一台实在手机上跑实在的12306 App,成功率从28.8%提高到了48.1%,提高了19.2个百分点。 **虚拟国际里练出来的操作才能,真的能搬迁到物理国际的真手机上。** 论文里举了一个很详细的比方,叫"相对日期推理"。使命要求AI了解"三周后的周一"这种相对时刻表达,练习前模型常常选错日期(比方选成了周日),练习后它能在仿真版和实在版12306里都准确选中正确的周一并设置提醒。这阐明模型学到的不是某个App界面的死记硬背操作,而是一种更底层的、关于"如何从自然言语指令推导出正确日期"的通用才能。 不过论文也很诚实地指出了约束:仿真版和实在版之间的成功率差距,练习前是7.7个百分点,练习后反而扩展到了25个百分点。**仿真环境里的进步,不能彻底预测实在环境里的体现。** 这个发现其实挺值得玩味的。你能够把这了解成,驾校里的模拟器练得再娴熟,真上路仍是会遇到模拟器里没有的突发状况,比方实在App的网络推迟、弹窗广告、偶发的UI渲染错误,这些仿真环境很难彻底复刻。虚拟练习能大幅缩小差距,但无法彻底消灭这个差距,这提醒咱们在看任何"仿真练习作用"的陈述时,都得留一个心眼,问一句"这个提高在实在场景里能保存多少"。 面对彻底没见过的App,AI是靠什么学会的 另一个很有意思的小实验是关于那42个全新虚构App的。这些App此前没有任何模型见过,用来单纯测验"奖赏驱动的学习"能不能让AI学会操作一个彻底生疏的界面。 研讨团队用252个使命练习,拿62个没练习过的使命来测验。强化学习前成功率25.8%,练习后提高到45.2%;由于超过步数约束而失利的次数从27次降到5次;均匀完结一个使命所需的步数从33.3步压缩到16.4步。 论文配了一张事例图,使命是"把Music文件夹移动到Download文件夹,然后告诉我剩下空间产生了什么改变"。练习前的模型重复做一些无效的手势操作,60步的预算悉数耗尽也没完结;练习后的模型只用5步就完结了移动操作并准确答复了空间改变,四项查看悉数经过。 **这组实验的含义在于证明了一件事:只靠验证器给出的0/1奖赏信号,不需求任何人类示范操作,AI也能摸索出一个全新界面的操作逻辑。** 这个定论挺重要的,由于它意味着未来给AI接入一个全新的、市面上从未呈现过的软件时,不必定需求先录制大量人类操作视频去做监督学习,纯靠"试错加奖赏"这条途径自身便是可行的,这大大降低了适配新软件的本钱。 聊聊这篇论文留下的思考 读完好篇论文,我大的感受是,这不是一篇单纯"刷榜"的论文,它更像是一份"把一个工程难题拆解清楚"的教科书式事例。 MAI-Gym实在的价值,或许不在于MAI-Gym-9B这个模型自身跑出了多高的分数,模型分数会被后来者很快逾越,而在于它体系性地答复了"GUI强化学习的基础设施应该长什么样"这个问题。论文里说到的那几个规划,比方窗口式前史管了解决KV缓存复用问题、战略自适应使命采样防止糟蹋算力在现已学会或彻底学不会的使命上、golden code加verifier双向独立生成防止奖赏做弊,这些细节独自拿出来看都不算特别炫技,但拼在一起,便是一套实在能撑起大规划练习的完好体系。 论文中有一个细节我重复回味:克隆环境和实在环境之间的差距,强化学习练习后不但没有缩小反而扩展了。这个成果假如换个角度看待,其实提醒了一个更遍及的现象:当一个体系在某个受控条件下被优化到足够好的时候,它反而或许对那些受控条件之外的、实践国际特有的"噪声"更加敏感,由于它现已把练习环境里的规律学得太准确了,一旦环境自身有细微误差,这种准确反而成了脆弱性的来历。这让我想起许多做仿真练习的范畴,比方自动驾驶,都会面对相似的"仿真到实在的距离"问题,MAI-Gym这个发现算是给GUI智能体这个相对年青的子范畴提前敲了个警钟。 别的值得一提的是,论文说到一个有意思的工程比照:他们还实验了另一种强化学习算法SAO(一种异步单条轨道更新的办法,用学习出来的价值模型做优势估量),成果发现尽管SAO能减少等候采样的时刻,但额外增加的价值模型核算(每次战略更新要配两次价值模型更新)把这部分省下来的时刻又吃回去了,综合下来并没有明显优于GRPO。这个细节提醒咱们,许多听起来"更先进"的算法改进,拿到实在的工程约束下未必合算,工程落地毕竟要看全体账本,而不是单一目标。它通过解决环境状态隔离和训练评估一致性这两个根本难题,为AI管家能够可靠地“自己练习”并持续进化,铺平了道路。 |