这项由蚂蚁集团和浙江大学团结完成的研究揭晓于2025年，，，，，，论文编号为arXiv:2602.14492v1，，，，，，有兴趣深入相识的读者可以通过该编号盘问完整论文。 。。 。。。。
当你翻开支付宝时，，，，，，系统是怎样瞬间知道该向你推荐什么效劳的？？？？？？？当银行需要评估你的信用危害时，，，，，，它又是怎样从海量数据中准确判断你的还款能力的？？？？？？？这些看似神奇的能力背后，，，，，，都依赖于一项要害手艺——用户画像。 。。 。。。。
古板的用户画像就像是给每小我私家制作一张牢靠的身份证，，，，，，无论在什么场景下都是统一个样子。 。。 。。。。但现实生涯中，，，，，，你在购物时体贴的是价钱和品质，，，，，，在理财时关注的是收益和危害，，，，，，在社交时重视的是兴趣和话题。 。。 。。。。统一小我私家在差别场景下会展现出完全差别的特征和需求。 。。 。。。。
蚂蚁集团的研究团队注重到了这个问题。 。。 。。。。他们发明，，，，，，现有的用户画像系统就像是用一把万能钥匙去开所有的锁——虽然能用，，，，，，但效果并不睬想。 。。 。。。。在支付宝这样的超等应用中，，，，，，用户的行为数据极其富厚多样，，，，，，包括支付纪录、小程序使用、搜索历史、应用列表等等，，，，，，但这些数据在差别营业场景下的主要性截然差别。 。。 。。。。
更棘手的是，，，，，，这些数据往往是希罕的、符号化的，，，，，，与大语言模子习惯处置惩罚的一连文本数据保存重大差别。 。。 。。。。就像让一个只会念书的人突然去解读密码本一样难题。 。。 。。。。同时，，，，，，工业级的用户画像系统还面临着实时性要求高、盘算本钱限制严酷等现实挑战。 。。 。。。。
为相识决这些问题，，，，，，研究团队提出了一个立异的解决计划——Query-as-Anchor（盘问作为锚点）框架。 。。 。。。。这个名字听起来很手艺化，，，，，，但其焦点头脑着实很简朴：与其为每个用户制作一张牢靠的身份证，，，，，，不如凭证详细的使用场景，，，，，，为统一个用户天生差别版本的画像。 。。 。。。。
这就像是一个智能化的变色龙系统。 。。 。。。。当系统需要举行危害评估时，，，，，，它会重点关注用户的支付行为、信用纪录等相关信息，，，，，，而淡化购物偏好等无关数据。 。。 。。。。当举行商品推荐时，，，，，，它又会突出用户的消耗习惯、兴趣喜欢，，，，，，而镌汰对金融数据的依赖。 。。 。。。。
一、构建工业级用户明确数据集
要让AI真正明确用户，，，，，，首先需要教会它什么是"明确"。 。。 。。。。研究团队面临的第一个挑战是，，，，，，市面上缺乏专门针对用户画像训练的大规模数据集。 。。 。。。。现有的大语言模子虽然在文本明确方面体现优异，，，，，，但关于用户行为数据的明确能力相对薄弱。 。。 。。。。
为了填补这个空缺，，，，，，团队构建了一个名为UserU的工业级预训练数据集。 。。 。。。。这个数据集的构建历程可以比作教孩子学习的历程——既要教给他事实知识，，，，，，也要作育他的推理能力。 。。 。。。。
详细来说，，，，，，UserU数据集包括两个焦点组成部分。 。。 。。。。第一部分是基于行为的交互数据集，，，，，，它通太过析用户的历史行为来展望未来行为。 。。 。。。。这就像是通过视察一小我私家已往三个月的消耗纪录，，，，，，来推测他下个月最可能购置什么。 。。 。。。。系统会将用户的多模态行为纪录整理成时间序列，，，，，，然后通过特定的模板问题，，，，，，如"这个用户在下一个时期最可能的行为是什么？？？？？？？"，，，，，，来训练模子明确行为模式和时间纪律。 。。 。。。。
第二部分越发有趣，，，，，，它是一个合成的问答数据集。 。。 。。。。由于现实中很难获得大宗高质量的用户明确问答对，，，，，，研究团队接纳了一种自我反思的合成数据天生要领。 。。 。。。。他们首先让大语言模子剖析72个与生涯相关的用户明确主题，，，，，，好比财务妄想、康健治理、购物偏好等。 。。 。。。。然后，，，，，，关于每个详细用户，，，，，，系统会从这些主题中选择最相关的10个，，，，，，并基于用户的现实验为数据天生响应的问题和谜底。 。。 。。。。
更主要的是，，，，，，为了确保谜底的准确性和一致性，，，，，，系统还加入了一个"自我反思"机制。 。。 。。。。天生谜底后，，，，，，模子会重新检查这个谜底是否与用户的现实验为数据一致，，，，，，若是发明不匹配或不对理的地方，，，，，，就会举行修正。 。。 。。。。这个历程就像是让AI当自己的先生，，，，，，一直检查和刷新自己的明确能力。 。。 。。。。
通过这种方法，，，，，，UserU数据集乐成地将用户行为数据与语义明确能力团结起来，，，，，，为后续的模子训练提供了坚实的基础。 。。 。。。。
二、分条理的用户行为编码系统
面临支付宝用户爆发的海量多模态行为数据，，，，，，怎样让大语言模子有用明确和处置惩罚这些信息是一个重大挑战。 。。 。。。。古板的要领要么过于粗糙，，，，，，丧失了主要的细节信息，，，，，，要么过于重大，，，，，，导致盘算效率低下。 。。 。。。。
研究团队设计了一个巧妙的分层编码架构，，，，，，这个系统的事情原理就像是一个智能的信息筛选器。 。。 。。。。它分为三个条理，，，，，，每个条理都专注于差别粒度的信息提取和整合。 。。 。。。。
最底层是事务级编码，，，，，，它处置惩罚的是最原始、最细粒度的用户行为数据。 。。 。。。。每一笔支付纪录、每一次小程序使用、每一个搜索盘问都被单独编码成向量体现。 。。 。。。。这就像是为每个详细行为贴上一个专属标签，，，，，，保存了行为的完整细节信息。 。。 。。。。
中心层是模态级编码，，，，，，它的作用是对同类型的行为举行汇总和笼统。 。。 。。。。好比，，，，，，将一个月内所有的支付行为整合成一个支付模态的总体特征，，，，，，将所有的搜索纪录整合成搜索偏好的归纳综合形貌。 。。 。。。。这个历程通过平均池化等手艺实现，，，，，，既保存了要害信息，，，，，，又显著降低了数据重漂后。 。。 。。。。
最顶层是用户级编码，，，，，，它将所有模态的信息进一步整合，，，，，，形成用户的全局行为特征。 。。 。。。。这就像是从各个角度视察一小我私家后，，，，，，形成对这小我私家的整体印象。 。。 。。。。
这种分层设计的巧妙之处在于，，，，，，它允许大语言模子凭证详细的盘问需求，，，，，，选择性地关注差别条理的信息。 。。 。。。。当需要举行细腻剖析时，，，，，，模子可以深入到事务级别；；；；；；当需要快速判断时，，，，，，模子可以依赖用户级的笼统特征。 。。 。。。。这种无邪性大大提高了系统的效率和准确性。 。。 。。。。
更主要的是，，，，，，这个分层架构还通过专门的适配器网络，，，，，，将希罕的行为数据转换成与大语言模子兼容的麋集向量体现，，，，，，有用解决了模态差别问题。 。。 。。。。
三、盘问锚定的双塔训练架构
Query-as-Anchor的焦点立异在于它的双塔训练架构。 。。 。。。。这个设计可以比作一个智能的翻译系统，，，，，，一边处置惩罚用户的行为"语言"，，，，，，另一边处置惩罚营业场景的需求"语言"，，，，，，然后在中心建设起准确的对应关系。 。。 。。。。
锚点塔认真处置惩罚用户数据和盘问指令。 。。 。。。。它吸收前面提到的分层用户行为编码，，，，，，然后在序列末尾添加一个自然语言盘问作为"锚点"。 。。 。。。。这个盘问可能是"这个用户的诓骗危害怎样？？？？？？？"或者"这个用户对外卖效劳的兴趣水平是几多？？？？？？？"等详细的营业问题。 。。 。。。。通过将盘问放在序列末尾，，，，，，大语言模子就像一个专业照料一样，，，，，，会凭证详细问题来重新审阅和整适用户信息，，，，，，最终输出一个针对性的用户体现。 。。 。。。。
语义塔则专门处置惩罚谜底信息。 。。 。。。。它将标准谜底或目的效果编码成向量体现，，，，，，为锚点塔提供学习目的。 。。 。。。。这两个塔虽然自力事情，，，，，，但共享相同的大语言模子参数，，，，，，确保它们在统一个语义空间内明确和体现信息。 。。 。。。。
训练历程接纳了一个全心设计的团结优化战略。 。。 。。。。一方面，，，，，，系统使用比照学习来确保相关的用户-盘问-谜底三元组在向量空间中距离更近，，，，，，而不相关的组合距离更远。 。。 。。。。这就像是训练系统识别"物以类聚"的纪律。 。。 。。。。
另一方面，，，，，，系统还使用了下一词展望使命来增强语义明确能力。 。。 。。。。锚点塔不但要天生用户体现，，，，，，还要能够逐词天生目的谜底，，，，，，这大大提高了模子对用户行为深层寄义的明确能力。 。。 。。。。
特殊值得注重的是，，，，，，训练历程还加入了一个智能的负样本过滤机制。 。。 。。。。在比照学习中，，，，，，选择合适的负样本至关主要。 。。 。。。。系统会自动识别和扫除那些可能造成误导的"假负样本"——即看似不匹配但现实上合理的用户-谜底组合。 。。 。。。。这种机制显著提高了训练效果的稳固性和准确性。 。。 。。。。
四、场景顺应的软提醒调优
虽然Query-as-Anchor框架已经具备了很强的场景顺应能力，，，，，，但研究团队发明，，，，，，在面临详细营业场景时，，，，，，仍然保存通用预训练与专门营业逻辑之间的语义鸿沟。 。。 。。。。为相识决这个问题，，，，，，他们引入了一个巧妙的软提醒调优机制。 。。 。。。。
这个机制的事情原理就像是给通用模子配备了一副"智能眼镜"。 。。 。。。。差别的营业场景对应差别的"镜片"，，，，，，当模子需要处置惩罚特定使命时，，，，，，就戴上响应的"眼镜"，，，，，，从而能够更清晰地看到该场景下的要害信息。 。。 。。。。
详细来说，，，，，，软提醒调优通过引入少量可学习的提醒词向量来实现场景定制化。 。。 。。。。这些提醒词就像是给模子提供的"小抄"，，，，，，告诉它在目今场景下应该重点关注哪些信息。 。。 。。。。主要的是，，，，，，这个历程只需要训练这些新增的提醒词参数，，，，，，而不需要修改重大的基础模子参数，，，，，，因此既高效又经济。 。。 。。。。
训练历程接纳了基于聚类的原型比照损失函数。 。。 。。。。系统为每个营业种别维护一个可学习的原型中心，，，，，，训练历程中会将同类用户的体现向对应的原型中心拉近，，，，，，同时推开差别类别的体现。 。。 。。。。这种设计确保了模子在差别场景下能够形成清晰的决议界线。 。。 。。。。
更令人惊喜的是，，，，，，通过比照剖析软提醒调优前后的注重力权重转变，，，，，，研究团队发明模子确实学会了场景化的信息筛选。 。。 。。。。好比，，，，，，在外卖兴趣展望场景下，，，，，，模子对支付行为数据的关注度提高了26%，，，，，，由于支付数据更能反应用户的购置力。 。。 。。。。而在蚂蚁森林加入度展望中，，，，，，模子对导航路径数据的关注度提升了6.4%，，，，，，由于这类数据更能体现用户的应用内活跃度。 。。 。。。。
五、高效安排的缓存优化战略
工业级应用的一个要害要求是能够同时支持多个营业场景的实时推理，，，，，，并且要在严酷的延迟限制下完成。 。。 。。。。Query-as-Anchor框架通过一个巧妙的键值缓存优化战略完善解决了这个挑战。 。。 。。。。
这个优化战略的焦点头脑是"一次编码，，，，，，多次使用"。 。。 。。。。系统将用户行为编码历程分为两个阶段：重盘算量的用户前缀编码和轻量级的盘问后缀处置惩罚。 。。 。。。。
在用户前缀编码阶段，，，，，，系统会将用户的完整行为数据举行一次性的深度编码，，，，，，天生对应的键值缓存。 。。 。。。。这个历程虽然盘算量大，，，，，，但只需要执行一次，，，，，，天生的缓存可以在多个盘问中重复使用。 。。 。。。。
当需要针对差别场景天生用户体现时，，，，，，系统只需要处置惩罚响应的盘问指令，，，，，，并将其与已缓存的用户前缀举行拼接。 。。 。。。。由于盘问指令通常很短，，，，，，这个历程的盘算开销微乎其微。 。。 。。。。
这种设计带来了显著的效率提升。 。。 。。。。假设需要为统一用户天生N个差别场景的体现，，，，，，古板要领需要举行N次完整的编码历程，，，，，，而Query-as-Anchor只需要一次用户编码加上N次轻量级的盘问处置惩罚。 。。 。。。。当N较大时，，，，，，效率提升很是显着。 。。 。。。。
在支付宝的现实安排中，，，，，，这种优化战略使得系统能够用单个特另外L20 GPU就支持一个新的营业场景，，，，，，而古板要领可能需要重新安排整个100 GPU的集群。 。。 。。。。这大大降低了多场景效劳的本钱和重漂后。 。。 。。。。
六、周全的实验验证与效果剖析
为了验证Query-as-Anchor框架的有用性，，，，，，研究团队举行了全方位的实验评估，，，，，，包括离线实验和大规模在线A/B测试。 。。 。。。。
离线实验笼罩了支付宝生产系统中的10个真实营业场景，，，，，，分为用户加入度、危害控制和营销敏感度三大类。 。。 。。。。每个场景都包括约50万个测试样本，，，，，，确保了评估效果的可靠性。 。。 。。。。
在用户加入度场景中，，，，，，Query-as-Anchor在所有4个子使命上都取得了最佳性能。 。。 。。。。特殊是在蚂蚁森林加入度展望中，，，，，，AUC指标抵达了0.9716，，，，，，相比最强基线模子提升了约13%。 。。 。。。。这批注模子能够准确识别哪些用户更可能加入环�；；；；；Ｔ硕� 。。 。。。。
危害控制场景的效果越发令人印象深刻。 。。 。。。。在反诓骗检测中，，，，，，系统的KS值（用于权衡模子区分能力的要害指标）抵达了0.7086，，，，，，大幅逾越了古板要领。 。。 。。。。在反洗钱场景中，，，，，，AUC指标高达0.9439，，，，，，这意味着系统能够以很高的准确率识别可疑的资金流动模式。 。。 。。。。
营销敏感度场景的体现同样精彩。 。。 。。。。在品牌敏感度展望中，，，，，，Query-as-Anchor的AUC从基础版本的0.7979提升到软提醒调优版本的0.8535，，，，，，提升幅度靠近7%。 。。 。。。。这种刷新关于精准营销具有重大意义，，，，，，能够显著提高营销运动的转化率。 。。 。。。。
更主要的是，，，，，，消融实验清晰地展示了框架各个组件的孝顺。 。。 。。。。移除比照学习组件后，，，，，，平均AUC从0.8104下降到0.7667，，，，，，证实晰比照学习在建设用户-场景对应关系中的要害作用。 。。 。。。。移除分层编码结构后，，，，，，性能也有显着下降，，，，，，验证了这种设计的有用性。 。。 。。。。
大规模在线A/B测试进一步证实了系统的适用价值。 。。 。。。。在智能语音外呼的现金储备推广场景中，，，，，，使用Query-as-Anchor的战略使提取率提高了12.5%，，，，，，人均未偿余额增添了5.3%。 。。 。。。。在信贷危害识别场景中，，，，，，要害的KS指标提升了1.96%，，，，，，这在风控领域是一个相当显著的刷新。 。。 。。。。
七、手艺立异的深度剖析
Query-as-Anchor框架的手艺立异体现在多个层面，，，，，，每个立异点都针对工业级用户体现学习的特定挑战。 。。 。。。。
首先是数据层面的立异。 。。 。。。。UserU数据集的构建解决了用户明确训练数据稀缺的基础问题。 。。 。。。。通过团结规则基础的未来行为展望和大语言模子天生的问允许解使命，，，，，，系统获得了富厚的监视信号。 。。 。。。。特殊是自反思数据天生气制，，，，，，确保了合成数据与真适用户行为的一致性，，，，，，这关于提高模子的适用性至关主要。 。。 。。。。
架构层面的立异主要体现在分层编码和双塔设计上。 。。 。。。。分层编码有用解决了多模态异构数据的整合问题，，，，，，而双塔架构则实现了行为明确和场景适配的解耦。 。。 。。。。这种设计不但提高了模子的无邪性，，，，，，还为后续的优化和扩展提供了便当。 。。 。。。。
训练战略的立异体现在团结比照-天生优化目的上。 。。 。。。。比照学习确保了体现的判别性，，，，，，而天生使命增强了语义明确能力。 。。 。。。。这种团结阻止了简单目的可能导致的体现坍缩或语义缺少问题。 。。 。。。。
安排优化的立异则解决了工业级应用的效率需求。 。。 。。。。键值缓存战略实现了盘算复用，，，，，，软提醒调优提供了轻量级的场景定制化能力。 。。 。。。。这些立异使得系统能够在坚持高性能的同时，，，，，，知足大规模安排的本钱和延迟要求。 。。 。。。。
八、现实应用效果与营业价值
Query-as-Anchor框架在支付宝的现实安排展现了显著的营业价值。 。。 。。。。系统现在逐日为数亿用户天生个性化体现，，，，，，支持着危害控制、精准营销、用户运营等多个焦点营业场景。 。。 。。。。
在危害控制领域，，，，，，系统的安排大大提高了诓骗检测和反洗钱的准确性。 。。 。。。。古板的规则基础系统往往保存较高的误报率，，，，，，而Query-as-Anchor通过深度明确用户行为模式，，，，，，能够更准确地区分正常用户和危害用户。 。。 。。。。这不但降低了营业危害，，，，，，还改善了正常用户的使用体验。 。。 。。。。
精准营销方面的刷新同样令人印象深刻。 。。 。。。。通过更准确地识别用户对差别产品和效劳的兴趣水平，，，，，，系统能够实现更精准的内容推荐和营销投放。 。。 。。。。这不但提高了营销运动的转化率，，，，，，还镌汰了对用户的骚扰，，，，，，提升了整体用户知足度。 。。 。。。。
用户运营场景中，，，，，，系统能够资助营业团队更好地明确用户需求和行为模式，，，，，，从而制订更有用的用户增添和留存战略。 。。 。。。。好比，，，，，，通太过析用户对差别功效的使用模式，，，，，，可以优化产品设计和功效结构。 。。 。。。。
从手艺角度来看，，，，，，Query-as-Anchor的安排也带来了显著的运维效益。 。。 。。。。古板的多场景用户体现系统需要为每个场景维护自力的模子，，，，，，导致系统重漂后高、维护本钱大。 。。 。。。。而Query-as-Anchor通过统一的框架支持多个场景，，，，，，大大简化了系统架构和运维流程。 。。 。。。。
九、局限性剖析与未来展望
只管Query-as-Anchor框架取得了显著乐成，，，，，，但研究团队也忠实地剖析了其局限性和刷新空间。 。。 。。。。
首先是模子规模的悖论问题。 。。 。。。。实验发明，，，，，，在牢靠的训练数据和盘算预算下，，，，，，更大的模子（1.5B和3B参数）并纷歧定带来更好的性能，，，，，，有时甚至泛起性能下降。 。。 。。。。这种征象被称为"嵌入缩放悖论"，，，，，，批注嵌入质量的提升更多依赖于训练数据的质量和多样性，，，，，，而非简朴的参数增添。 。。 。。。。
其次是跨领域泛化能力的限制。 。。 。。。。虽然系统在支付宝生态内体现优异，，，，，，但在迁徙到其他平台或领域时可能面临顺应性挑战。 。。 。。。。这主要是由于差别平台的用户行为模式和营业逻辑保存差别。 。。 。。。。
另外，，，，，，软提醒调优虽然提供了场景定制化能力，，，，，，但关于快速转变的营业需求，，，，，，仍然需要一定的重训练时间。 。。 。。。。怎样实现越发无邪和快速的场景适配仍是一个待解决的问题。 。。 。。。。
针对这些局限性，，，，，，研究团队提出了几个主要的未来研究偏向。 。。 。。。。首先是探索梯度恢复和自顺应参数调优手艺，，，，，，以战胜大模子训练中的优化平台期，，，，，，从而充分验展大模子的潜力。 。。 。。。。其次是研究越发通用的跨域迁徙要领，，，，，，使系统能够更容易地顺应差别的应用场景。 。。 。。。。
别的，，，，，，团队还妄想探索越发动态的场景适配机制，，，，，，好比基于元学习的快速顺应要领，，，，，，以及实时的用户行为模式检测和适配手艺。 。。 。。。。这些立异有望进一步提升系统的无邪性和适用性。 。。 。。。。
说究竟，，，，，，Query-as-Anchor框架代表了用户体现学习领域的一个主要希望。 。。 。。。。它不但解决了工业级应用中的多个手艺挑战，，，，，，还为这一领域的未来生长指明晰偏向。 。。 。。。。随着手艺的一直成熟和完善，，，，，，我们可以期待看到更多基于这一框架的立异应用，，，，，，进一步改善PT视讯(中国区)官网数字生涯体验。 。。 。。。。
这项研究的乐成也展示了产学相助的实力。 。。 。。。。通过团结蚂蚁集团的富厚应用场景和数据资源，，，，，，以及学术机构的理论立异能力，，，，，，研究团队能够开发出既具有理论深度又有适用价值的手艺计划。 。。 。。。。这种相助模式值得在更多领域推广和借鉴。 。。 。。。。
Q&A
Q1：Query-as-Anchor框架解决了什么焦点问题？？？？？？？
A：Query-as-Anchor解决了古板用户画像"一刀切"的问题。 。。 。。。。古板要领为每个用户天生牢靠的体现，，，，，，无法凭证差别营业场景调解。 。。 。。。。而这个框架能凭证详细盘问（如危害评估或商品推荐）动态天生针对性的用户体现，，，，，，就像一个智能变色龙，，，，，，在差别场景下展现差别特征。 。。 。。。。
Q2：这个手艺在支付宝的现实应用效果怎样？？？？？？？
A：在支付宝的大规模A/B测试中，，，，，，Query-as-Anchor在多个场景都取得显著提升。 。。 。。。。智能语音外呼场景中提取率提高12.5%，，，，，，信贷危害识别的KS指标提升1.96%。 。。 。。。。同时大大降低了系统重漂后，，，，，，新增营业场景只需一个特殊GPU，，，，，，而古板要领需要整个100-GPU集群。 。。 。。。。
Q3：软提醒调优手艺是怎样事情的？？？？？？？
A：软提醒调优就像给通用模子华际收支口商业有限公司配备智能眼镜。 。。 。。。。差别营业场景对应差别镜片，，，，，，当模子处置惩罚特定使命时戴上响应眼镜，，，，，，就能更清晰看到要害信息。 。。 。。。。它只训练少量提醒词参数，，，，，，不修改基础模子，，，，，，既高效又经济。 。。 。。。。实验显示，，，，，，外卖场景下模子对支付数据关注度提高26%。 。。 。。。。