这项由微信AI团队主导的研究揭晓于2026年2月的arXiv预印本平台，，， ，，，，论文编号为arXiv:2602.06391v1，，， ，，，，有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。 。
想象一下，，， ，，，，若是你的电脑能够像真人助手一样，，， ，，，，不但能"看懂"屏幕上的种种按钮、菜单和文本框，，， ，，，，还能准确无误地帮你点击、输入和操作，，， ，，，，那会是怎样的体验？？？ ？？？微信AI团队的最新研究效果POINTS-GUI-G就像是给盘算机装上了一双"慧眼"和一双"巧手"，，， ，，，，让它能够在重大的软件界面中游刃有余。。。。。。 。
这项研究的焦点问题着实很简朴：怎样让盘算机准确明确屏幕上显示的内容，，， ，，，，并且能够准确定位到需要操作的位置。。。。。。 。就像人类看到一个网页时，，， ，，，，能够瞬间识别出"登录按钮在右上角，，， ，，，，搜索框在页面中央"一样，，， ，，，，POINTS-GUI-G要做的就是让盘算机也拥有这种能力。。。。。。 。
研究团队选择了一个特别的起点——他们没有使用那些已经具备强盛视觉定位能力的现成模子，，， ，，，，而是从一个险些没有定位能力的基础模子POINTS-1.5最先。。。。。。 。这就像是选择从零最先作育一个新手，，， ，，，，而不是在已经成熟的专家基础上举行刷新。。。。。。 。这种做法的利益是能够完全掌握手艺生长的每一个环节，，， ，，，，真正明确什么要领最有用。。。。。。 。
整个研究历程就像是全心设计的三步训练计划。。。。。。 。第一步是"数据工程"，，， ，，，，研究团队网络了大宗差别泉源的界面截图和操作指令，，， ，，，，但这些原始数据就像是来自差别方言区的人语言——名堂不统一，，， ，，，，质量狼籍不齐。。。。。。 。他们需要把这些"方言"统一成标准的"通俗话"，，， ，，，，去掉那些过失的标注，，， ，，，，还要专门挑选出那些特殊有挑战性的重大界面来训练模子。。。。。。 。
第二步是"训练战略优化"。。。。。。 。研究团队发明了一个经常被忽视但极其主要的问题：训练时使用的图片区分率和现实使用时的区分率不匹配。。。。。。 。这就像是一小我私家一直在小屏幕手机上训练打字，，， ，，，，突然换到大屏幕电脑上就找不到键盘位置了。。。。。。 。为相识决这个问题，，， ，，，，他们既提高了训练时的图片区分率，，， ，，，，也在现实使用时对图片巨细举行了限制。。。。。。 。
第三步是"强化学习"。。。。。。 。这一步特殊有意思，，， ，，，，就像是给盘算机安排了一个"实习期"，，， ，，，，让它在种种界面上重复训练，，， ，，，，每次操作乐成绩给奖励，，， ，，，，操作过失就要反思刷新。。。。。。 。与其他需要盘算机"边想边做"的使命差别，，， ，，，，界面操作的对错很是明确——点对了就是对，，， ，，，，点错了就是错，，， ，，，，这种明确的反响让盘算性能够快速学习刷新。。。。。。 。
在数据处置惩罚方面，，， ，，，，研究团队遇到的第一个挑战是如那里置州差别名堂的训练数据。。。。。。 。现有的界面操作数据就像是从天下各地网络来的菜谱——有的用克做单位，，， ，，，，有的用磅，，， ，，，，有的详细到每一个办法，，， ，，，，有的只给或许的形貌。。。。。。 。研究团队需要把这些"菜谱"统一成一种标准名堂，，， ，，，，让盘算性能够明确。。。。。。 。他们将所有的坐标位置都转换成0到1之间的数值，，， ，，，，就像是把所有地点都转换成统一的GPS坐标系统。。。。。。 。
更主要的是，，， ，，，，研究团队还开发了一套自动筛选系统来整理过失数据。。。。。。 。他们使用另一个专门识别界面元素的工具来检查每个标注是否准确。。。。。。 。若是一个训练样本说"登录按钮在坐标(0.8, 0.2)"，，， ，，，，但现实检测发明谁人位置什么都没有，，， ，，，，这个样本就会被筛掉。。。。。。 。这就像是有一个质检员在检查每份菜谱是否准确。。。。。。 。
为了让训练更有挑战性，，， ，，，，研究团队还专门筛选出那些重大的界面场景。。。。。。 。他们开发了一个"界面重漂后"评估系统，，， ，，，，能够判断哪些界面结构更重大，，， ，，，，元素更麋集。。。。。。 。那些过于简朴的界面——好比只有一个大按钮的页面——会被过滤掉，，， ，，，，由于这些对训练没有太大资助。。。。。。 。这就像是一个武术教练专门挑选有挑战性的敌手来训练学生，，， ，，，，而不是让学生一直和初学者过招。。。。。。 。
研究团队还创立了两种全新的训练数据。。。。。。 。第一种是模拟专业软件界面，，， ，，，，好比代码编辑器、设计软件等，，， ，，，，这些界面通常有许多小按钮和麋集的功效区域。。。。。。 。第二种是模拟真实的桌面情形，，， ，，，，把多个软件窗口叠加在一起，，， ，，，，制造视觉滋扰。。。。。。 。这就像是在驾驶训练中不但要训练空旷蹊径，，， ，，，，还要训练忙碌路段和重亨衢口。。。。。。 。
在训练战略方面，，， ，，，，研究团队做出了一个主要决议：解冻视觉编码器。。。。。。 。在之前的研究中，，， ，，，，认真"看图"的部分通常是牢靠稳固的，，， ，，，，只训练认真"明确和决议"的部分。。。。。。 。但研究团队发明，，， ，，，，关于界面操作这种高度依赖视觉精度的使命，，， ，，，，需要让"眼睛"部分也能够针对性地提升。。。。。。 。这就像是不但要训练射箭手的瞄准技巧，，， ，，，，还要帮他配一副更合适的眼镜。。。。。。 。
图像区分率的处置惩罚是另一个要害突破。。。。。。 。研究团队发明，，， ，，，，许多界面操作的失败都源于训练和现实使用时的图像巨细纷歧致。。。。。。 。他们的解决计划很是适用：一方面提高训练时的最大图像区分率到3072×3072像素，，， ，，，，另一方面在现实使用时将图像限制在2000×2000像素以内。。。。。。 。这种要领在ScreenSpot-Pro测试中带来了凌驾10分的性能提升，，， ，，，，效果显著。。。。。。 。
强化学习阶段是整个训练历程的英华部分。。。。。。 。差别于数学推理或文本天生等使命需要重大的头脑链，，， ，，，，界面操作使命有一个重大优势：效果的对错很是明确。。。。。。 。点击位置是否准确，，， ，，，，输入是否到位，，， ，，，，这些都能获得即时且准确的反响。。。。。。 。研究团队使用这个优势，，， ，，，，设计了一个很是直接的奖励机制：操作乐成得1分，，， ，，，，失败得0分。。。。。。 。
在强化学习的详细实验中，，， ，，，，研究团队接纳了群体相对战略优化算法。。。。。。 。简朴来说，，， ，，，，就是让模子同时实验多种差别的操作战略，，， ，，，，然后较量哪些战略效果更好。。。。。。 。每个使命让模子实验8种差别的操作要领，，， ，，，，然后凭证乐成率来调解学习偏向。。。。。。 。这就像是一个学生同时实验多种解题要领，，， ，，，，先生凭证准确率来指导哪种要领值得继续使用。。。。。。 。
为了稳固训练历程，，， ，，，，研究团队还引入了课程学习战略。。。。。。 。他们不是一最先就让模子面临最难题的界面，，， ，，，，而是从相对简朴的场景最先，，， ，，，，逐步增添难度。。。。。。 。详细来说，，， ，，，，他们只选择那些模子乐成率在0%到75%之间的使命举行训练，，， ，，，，过于简朴或过于难题的使命都会被暂时跳过。。。。。。 。这种渐进式的学习要领让模子能够稳步提升，，， ，，，，阻止了训练历程中的大起大落。。。。。。 。
研究团队构建了一个包括13个差别泉源数据集的重大训练库。。。。。。 。这些数据涵盖了手机、网页、桌面软件等州差别的界面类型，，， ，，，，总共包括数十万个界面操作样本。。。。。。 。为了增添数据多样性，，， ，，，，他们还专门从DataComp数据集中筛选出包括文字的图像，，， ，，，，使用OCR手艺提取文字位置信息，，， ，，，，创立出新的文本定位训练样本。。。。。。 。
整个训练历程分为两个阶段。。。。。。 。第一阶段是监视学习，，， ，，，，就像古板的课堂教学一样，，， ，，，，给模子展示准确的操作示例，，， ，，，，让它学习模拟。。。。。。 。在这个阶段，，， ，，，，研究团队对视觉编码器使用较小的学习率（1×10^-4），，， ，，，，对其他部分使用稍大的学习率（5×10^-5），，， ，，，，确保各个组件能够协调生长。。。。。。 。
第二阶段是强化学习，，， ，，，，模子最先自力实验操作，，， ，，，，凭证乐成失败的反响来刷新战略。。。。。。 。在这个阶段，，， ，，，，学习率降低到1×10^-5，，， ，，，，训练历程越发审慎，，， ，，，，阻止破损已有的优异体现。。。。。。 。每个样本举行8轮实验，，， ，，，，总批次巨细为64，，， ，，，，这样的设置在训练效果和盘算资源之间找到了最佳平衡点。。。。。。 。
研究团队在五个权威测试基准上验证了POINTS-GUI-G的性能。。。。。。 。在ScreenSpot-v2测试中，，， ，，，，该模子抵达了95.7分的优异效果，，， ，，，，这个测试主要评估模子在移动端、桌面端和网页端的基础操作能力。。。。。。 。在更具挑战性的ScreenSpot-Pro测试中，，， ，，，，POINTS-GUI-G获得了59.9分，，， ，，，，逾越了许多参数规模更大的竞争模子。。。。。。 。
特殊值得关注的是在OSWorld-G测试中的体现，，， ，，，，该测试模拟真实的桌面操作情形，，， ，，，，要求模子处置惩罚重大的多窗口、多使命场景。。。。。。 。POINTS-GUI-G在这项测试中获得了66.0分，，， ，，，，展现出在重大桌面情形中的优异顺应能力。。。。。。 。在UI-Vision测试中，，， ，，，，该模子获得49.9分，，， ，，，，证实晰其在处置惩罚种种界面指令时的稳健性。。。。。。 。
通过详细的性能剖析，，， ，，，，研究团队发明了几个要害的手艺突破点。。。。。。 。数据工程孝顺了最基础但也最主要的性能提升，，， ，，，，将平均得分从基线的17分提升到43分。。。。。。 。解冻视觉编码器的战略将性能进一步推升到53分，，， ，，，，而图像区分率优化又带来了8分的提升。。。。。。 。最终，，， ，，，，强化学习将整体性能推到了67分的新高度。。。。。。 。
在强化学习的训练动态剖析中，，， ，，，，研究团队视察到了很是康健的学习曲线。。。。。。 。奖励分数在训练历程中稳步上升并最终趋于稳固，，， ，，，，而熵损失则泛起下降趋势，，， ，，，，说明模子的决议越来越确定和精准。。。。。。 。这种训练动态批注强化学习历程既有用又稳固，，， ，，，，没有泛起太过训练或性能回退的问题。。。。。。 。
与同类模子的比照剖析显示，，， ，，，，POINTS-GUI-G在多个维度上都体现精彩。。。。。。 。在ScreenSpot-v2的移动端测试中，，， ，，，，该模子在文本定位使命上抵达99.0%的准确率，，， ，，，，在图标定位使命上抵达91.0%的准确率。。。。。。 。在桌面端测试中，，， ，，，，文本定位准确率抵达100%，，， ，，，，图标定位准确率为94.3%。。。。。。 。这些数据批注模子在差别类型的界面元素识别上都有很强的能力。。。。。。 。
更主要的是，，， ，，，，POINTS-GUI-G作为一个8B参数的模子，，， ，，，，在性能上不但逾越了许多一律规模的模子，，， ，，，，甚至在某些测试中体现优于参数目更大的模子。。。。。。 。好比在ScreenSpot-Pro测试中，，， ，，，，POINTS-GUI-G的体现凌驾了OpenCUA-32B这样的大型模子，，， ，，，，充分证实晰手艺蹊径和训练要领的优越性。。。。。。 。
在现实应用场景中，，， ，，，，POINTS-GUI-G展现出了普遍的适用性。。。。。。 。无论是简朴的网页浏览操作，，， ，，，，照旧重大的专业软件使用，，， ，，，，该模子都能准确明确用户意图并执行响应操作。。。。。。 。在处置惩罚CAD软件、开发工具、创意软件等专业应用时，，， ，，，，模子能够准确识别麋集的工具栏和菜单项。。。。。。 。在处置惩罚移动应用界面时，，， ，，，，模子对种种手势操作区域的定位也很是精准。。。。。。 。
这项研究的意义不但仅在于手艺性能的提升，，， ，，，，更在于为GUI智能署理的生长提供了一套完整的手艺计划。。。。。。 。从数据处置惩罚到训练战略，，， ，，，，从性能优化到现实安排，，， ，，，，每个环节都有详细的要领论和实践履历。。。。。。 。这为其他研究团队和开发者提供了名贵的参考。。。。。。 。
研究团队已经将POINTS-GUI-G模子开源，，， ，，，，并提供了完整的评估工具套件。。。。。。 。这种开放的研究态度不但推动了学术界的前进，，， ，，，，也为工业界的应用落地提供了可能。。。。。。 。未来，，， ，，，，我们可能会看到更多基于这项手艺的智能助手产品，，， ，，，，资助用户更高效地使用种种软件工具。。。。。。 。
展望未来，，， ，，，，GUI智能署理手艺尚有很大的生长空间。。。。。。 。目今的研究主要专注于单次操作的准确性，，， ，，，，而现实应用中往往需要执行一系列一连的重大操作。。。。。。 。怎样让署理具备更强的妄想能力和过失恢复能力，，， ，，，，将是下一步研究的重点偏向。。。。。。 。别的，，， ，，，，怎样让署理更好地明确用户的高层意图，，， ，，，，而不但仅是执行详细的操作指令，，， ，，，，也是一个值得探索的问题。。。。。。 。
这项研究为我们展示了人工智能在人机交互领域的重大潜力。。。。。。 。随着手艺的一直成熟，，， ，，，，我们或许很快就能拥有真正智能的数字助手，，， ，，，，它们不但能听懂PT视讯(中国区)官网话，，， ，，，，还能像人类一样熟练地操作种种软件界面，，， ，，，，为PT视讯(中国区)官网事情和生涯带来亘古未有的便当。。。。。。 。
Q&A
Q1：POINTS-GUI-G是什么？？？ ？？？
A：POINTS-GUI-G是微信AI团队开发的一个GUI智能控制模子，，， ，，，，它能够像人类一样"看懂"盘算机界面并准确定位需要操作的位置。。。。。。 。该模子可以准确识别屏幕上的按钮、文本框、菜单等种种界面元素，，， ，，，，并执行点击、输入等操作。。。。。。 。通过立异的三步训练计划和强化学习手艺，，， ，，，，POINTS-GUI-G在多个权威测试中取得了优异效果。。。。。。 。
Q2：POINTS-GUI-G如那里置差别区分率的界面图像？？？ ？？？
A：研究团队发明训练和使用时的图像区分率不匹配是影响性能的主要因素，，， ，，，，就像一小我私家在小屏幕上训练却要在大屏幕上操作一样。。。。。。 。他们的解决计划是双向优化：一方面将训练时的最大图像区分率提升到3072×3072像素，，， ，，，，另一方面在现实使用时将图像限制在2000×2000像素以内，，， ，，，，这种要领在测试中带来了凌驾10分的性能提升。。。。。。 。
Q3：POINTS-GUI-G的强化学习训练有什么特点？？？ ？？？
A：POINTS-GUI-G腾海塑胶制品有限公司的强化学习具有两个突出特点。。。。。。 。首先是奖励机制很是明确，，， ，，，，操作乐成得1分失败得0分，，， ，，，，不像其他AI使命需要重大的评估标准。。。。。。 。其次是接纳了课程学习战略，，， ，，，，只选择模子乐成率在0%-75%之间的使命举行训练，，， ，，，，既阻止过于简朴的使命铺张时间，，， ，，，，也阻止过于难题的使命挫败学习起劲性，，， ，，，，让模子能够稳步提升能力。。。。。。 。