你有没有发明这样一种征象：面云南南亚跨境商业有限公司对统一个问题 ，，，，，大模子可能在每次回覆时都给出差别谜底。。。。。。。一个禁止忽视的问题是 ，，，，，这种不确定性 ，，，，，是否意味着推理仍不稳固？？？？？？？
随着手艺的生长 ，，，，，大模子在自然语言处置惩罚和多模态使命中已经体现出越来越强的性能。。。。。。。古板解码战略主要包括随机采样（random sample）和贪心解码（greedy decoding）。。。。。。。例如 ，，，，，ChatGPT、Claude、Gemini 等大模子默认的是随机采样（random sample） ，，，，，即即是回覆相同的问题 ，，，，，它们可能每次都会给出差别的谜底。。。。。。。
而贪心解码（greedy decoding）在一样平常的基准测试（benchmark）上体现会有所提升 ，，，，，特殊是在推理性使命上。。。。。。。可是 ，，，，，模子在不确定情形下的体现仍不睬想。。。。。。。
为解决上述问题 ，，，，，美国东北大学与 Adobe、美国凯斯西储大学团结团队提出了一种无需训练的新型解码战略 ，，，，，名为“审慎下一步展望（CNTP ，，，，，Cautious Next Token Prediction）”。。。。。。。
该战略旨在通过在模子不确定性高的办法采样多个候选路径 ，，，，，并选择疑心度最低的路径。。。。。。。相较于随机采样和贪心解码等古板战略 ，，，，，CNTP 显著提升了大模子在多种使命上的推理准确度 ，，，，，可应用场景包括语音助手、视觉助手、谈天机械人等。。。。。。。
图丨相关论文（泉源：arXiv）
“PT视讯(中国区)官网研究证实晰 Transformer 模子下一个词元展望（next token prediction）的范式 ，，，，，有可能实现真正的智能。。。。。。。”该论文第一作者王亦周对 DeepTech 体现。。。。。。。他现在正在东北大学攻读博士学位 ，，，，，主要研究偏向包括大模子、多模态模子和盘算机视觉 ，，，，，即将加入 Adobe 担当研究科学家/工程师。。。。。。。
图丨王亦周（泉源：王亦周）
Safe Superintelligence 公司首创人、前 OpenAI 首席科学家伊尔亚·苏茨克维（Ilya Sutskever）曾果真体现 ，，，，，若是模子足够强盛 ，，，，，对下一个 token 的展望能力可能反应对天下的某种明确 ，，，，，这可能是实现更深层智能的要害路径。。。。。。。
也就是说 ，，，，，next token prediction 是智能的焦点。。。。。。。要实现这一点 ，，，，，需要在模子内部举行强推理 ，，，，，再通过一系列盘算展望下一个 token。。。。。。。
受此启发 ，，，，，研究团队从人类认知行为中寻找灵感：人在思索时 ，，，，，往往越审慎回覆 ，，，，，效果的准确率越高 ，，，，，那么大模子会不会也和人脑有类似的机制？？？？？？？
王亦周诠释道：“这种历程类似于我们在加入考试时的解题历程 ，，，，，我们可能会先想下有哪些解法 ，，，，，然后从中挑选一种以为最有掌握的要领 ，，，，，确认无误后再举行下一步 ，，，，，直到获得完整的证实。。。。。。。”
图丨 CNTP 要领概述（泉源：arXiv）
这里的审慎指的是 ，，，，，扑面临不确定性的情形 ，，，，，需要多实验几条差别的路径 ，，，，，然后选择一条最稳妥、最可信的路径。。。。。。。
研究团队用熵作为模子不确定性的权衡标准：熵越高越不可信。。。。。。。在自然语言处置惩罚（NLP）中 ，，，，，疑心度（perplexity）越低代表对谜底越可信。。。。。。。因此在 CNTP 战略下 ，，，，，一旦熵值较高 ，，，，，模子会采样多个候选路径 ，，，，，并选择其中疑心度最低的一条 ，，，，，再一步步迭代。。。。。。。
研究职员通过消融研究证实 ，，，，，由于头脑链推理的回覆往往较长 ，，，，，每条路径长度也差别 ，，，，，若是算完整评估的疑心度无法很好地权衡谜底的可靠性。。。。。。。�；；； ；诖� ，，，，，他们接纳了每到一句话的标点符号阻止的方法来盘算疑心度。。。。。。。相当于每句话、每个小的推理单位 ，，，，，即每个局部自洽能够实现较理想的效果。。。。。。。
为控制采样次数 ，，，，，研究团队通过设置最小熵 Hmin 和最大熵 Hmax 两个阈值和最大试验次数 Nmax。。。。。。。该要领在提高解码准确性的同时 ，，，，，尚有用地限制了盘算本钱 ，，，，，阻止了在每个办法大宗采样而带来的高盘算开销。。。。。。。
（泉源：arXiv）
在实验验证方面 ，，，，，该团队在数学推理（GSM8K、MATH）、知识推理（StrategyQA）和开放问答（TruthfulQA）等使命中证实 ，，，，，与包括贪心解码、随机解码和束搜索在内的古板要领相比 ，，，，，CNTP 战略的效果更具优势。。。。。。。
例如 ，，，，，在 TruthfulQA 使命中 ，，，，，Llama-2-7B 在使用 CNTP 要领后 ，，，，，真实性准确率提升到了 84.8% ，，，，，相较于随机解码提升 6.8%。。。。。。。
值得关注的是 ，，，，，CNTP 战略无需训练 ，，，，，仅解码即可直接实现提升性能。。。。。。。王亦周诠释道：这种要领在某种水平上像“免费午餐” ，，，，，只管可能会带来更多的 token 消耗 ，，，，，但在现实应用中有许多优化的要领可解决该问题。。。。。。。
（泉源：arXiv）
别的 ，，，，，该要领搭配自一致性（self-consistency）后 ，，，，，可进一步提升性能（注：自一致性是取多个样本 ，，，，，然后选一个泛起频率最高的谜底） ，，，，，且盘算本钱远低于后者。。。。。。。缘故原由在于 ，，，，，使用多样性和随机性群策群力后 ，，，，，选取大都投票。。。。。。。
研究团队证实 ，，，，，每个样本也是越审慎越好。。。。。。。“PT视讯(中国区)官网要体会在一定水平上限制它的多样性 ，，，，，但通过调高温度可以解决这一点 ，，，，，以是它能进一步提升。。。。。。。”王亦周说。。。。。。。
别的 ，，，，，CNTP 战略具有较好的普适性 ，，，，，可用于普遍的对话使命。。。。。。。除了有牢靠谜底的数学题或代码题 ，，，，，它也可以用于开放式问题 ，，，，，研究团队未来将实验将该战略用于图像或视频天生。。。。。。。
该研究为大模子的推理优化提供了一种新思绪 ，，，，，有望成为下一代解码战略的主要候选计划。。。。。。。
参考资料：
1.相关论文：https://arxiv.org/abs/2507.03038v2
2.code link：https://github.com/wyzjack/CNTP
排版：刘雅坤
云南南亚跨境商业有限公司