18个月,中国Token消化狂飙300倍！清华系AI Infra帮你腰斩API本钱

您目今位置:首页 > 新闻中心 > 新要闻

新闻中心

NEWS CENTER

2026-03-04 05:10:20

编辑｜吴昕

中国版 OpenRouter + Artificial Analysis，，，，，，，，让每一枚 Token 都能流向它最该去的地方。。。。。。。

大模子 API 效劳的「黑盒」焦虑

这两天，，，，，，，，Clawbot 病毒式裂变，，，，，，，，似乎是一年前 Manus 的魅影重现。。。。。。。

同样一夜之间站优势口，，，，，，，，同样点燃了无数开发者对「泼天繁华」的想象，，，，，，，，也随手把 Token 烧成了新的「硬通货」。。。。。。。

最近一组数据，，，，，，，，让人更有体感。。。。。。。

中国大模子数目已凌驾 1500 个，，，，，，，，下游开发者已经最先「猖獗盖屋子」。。。。。。。数据显示，，，，，，，，2024 年头，，，，，，，，中国日均 Token 消耗量约为 1000 亿；；；；；；；到 2025 年 6 月，，，，，，，，这一数字已突破 30 万亿。。。。。。。一年半时间，，，，，，，，增添凌驾 300 倍。。。。。。。

与三年前的 Chatbot 差别，，，，，，，，「醒目活」的 Agent 正以亘古未有的强度，，，，，，，，第一次把 API 挪用推入「生产级」——

一次看似简朴的操作，，，，，，，，背后往往是十一再、甚至几十次模子挪用在同时爆发。。。。。。。任何一次效劳「抽风」，，，，，，，，都会在 Agent 链路中引发一场多米诺骨牌式瓦解。。。。。。。

问题在于，，，，，，，，中国大模子 API 效劳现状，，，，，，，，远比 benchmark 重大得多。。。。。。。

更像是开盲盒，，，，，，，，有人奚落说，，，，，，，，以为自己在用「DeepSeek V3.2」，，，，，，，，现实可能是蒸馏/量化版本。。。。。。。有人花了两周时间重复测试，，，，，，，，上线后仍遭遇性能回退。。。。。。�；；；；；；Ｉ杏型哦臃⒚鳎�，，，，，，模子会在某些破晓时段准时「抽风」，，，，，，，，延迟从 300ms 飙升至 2000ms 以上，，，，，，，，客服秒变「智障」。。。。。。。

这些并非个案，，，，，，，，而是高度碎片化的大模子API效劳的「缩影」。。。。。。。

大模子 API 效劳的「黑盒」，，，，，，，，不但是模子不可诠释，，，，，，，，而是用户基础不知道，，，，，，，，效劳背后跑的是什么模子、什么设置、什么质量。。。。。。。清华系 AI Infra 创企清程极智团结首创人兼产品副总裁师天麾告诉机械之心。。。。。。。

中国大模子和大模子 API 效劳商原来就多。。。。。。。多算力、多架构、多网络并存，，，，，，，，统一个模子，，，，，，，，在差别效劳商、差别安排方法下，，，，，，，，往往泛起出显著差别。。。。。。。

好比，，，，，，，，同样挪用 DeepSeek-V3 / R1，，，，，，，，头部效劳商可以维持毫秒级响应；；；；；；；而部分接入低质量算力或优化缺乏的效劳商，，，，，，，，其 TTFT（首 Token 时延）可能慢上 2～3 倍。。。。。。。

与此同时，，，，，，，，免费 Token、津贴、打包套餐的价钱战，，，，，，，，让「性价比」变得越发扑朔迷离。。。。。。。

经济学家罗纳德·科斯曾指出，，，，，，，，企业与制度的泛起，，，，，，，，实质上是为了替换高本钱的市场生意。。。。。。。当模子效劳因高度不透明与供应碎片化一直抬升生意本钱时，，，，，，，，市场往往会内生出新的中介形态与制度安排，，，，，，，，用以收敛不确定性，，，，，，，，降低决议与生意本钱。。。。。。。

正是在这样的配景下，，，，，，，，1 月 29 日，，，，，，，，清程极智正式宣布 AI Ping。。。。。。。这款被业内视为「中国版 OpenRouter + Artificial Analysis」产品，，，，，，，，旨在重塑大模子 API 效劳秩序，，，，，，，，将上游效劳的碎片化与「黑盒」，，，，，，，，转化为下游用户手中稳固、可预期的生产力。。。。。。。

1 月 29 日，，，，，，，，清程极智举行宣布会，，，，，，，，正式官宣 AI Ping。。。。。。。

中国版 OpenRouter + Artificial Analysis：

AI Ping 怎么玩儿？？？？？

简朴来说，，，，，，，，AI Ping 是一个通过评测与路由两大机制，，，，，，，，来消除大模子 API 效劳不确定性的基础设施型产品。。。。。。。

若是说OpenRouter 解决的是「统一接入差别模子和效劳」，，，，，，，，Artificial Analysis 解决的是「评测模子效劳质量」，，，，，，，，那么 AI Ping 试图把这两件事合成一件事

通过评测告诉你模子效劳的质量数据，，，，，，，，更基于实时评测效果，，，，，，，，「接受」模子与效劳商的选择决议。。。。。。。

换句话说，，，，，，，，有了这颗动态的「调理大脑」，，，，，，，，你只管提需求，，，，，，，，不必明确模子，，，，，，，，不必挑供应商，，，，，，，，更不必为故障兜底。。。。。。。

我们简朴体验了一把「自动驾驶」，，，，，，，，在网页「多模子对话」中，，，，，，，，让系统完成一个音乐播放器的设计。。。。。。。

模子路由，，，，，，，，选择的是「平衡模式」，，，，，，，，在效果、速率与本钱之间寻找综合最优解，，，，，，，，而不是只追求简单极端指标（好比最低延迟）。。。。。。。

很快，，，，，，，，系统判断 DeepSeek-V3.2 最适合目今使命，，，，，，，，并将请求路由到其时效劳能力最优的火山引擎节点。。。。。。。

效果，，，，，，，，响应速率快，，，，，，，，输出效果也很不错。。。。。。。

本钱仅消耗 0.04 个算力点（约 4 分钱）。。。。。。。

大规模实验数据显示，，，，，，，，无论用户选择哪种路由战略，，，，，，，，AI Ping 都能把挪用推向「能力—本钱」的最优区域。。。。。。。

好比，，，，，，，，纵然选择「效果优先」，，，，，，，，系统也会在包管模子能力处于高水平的同时，，，，，，，，阻止把本钱推向极端，，，，，，，，而是在质量与价钱之间自动找到一个更平衡的位置。。。。。。。

通过模子路由战略，，，，，，，，AI Ping 能在「能力—本钱」二维空间里，，，，，，，，迫近差别目的下的最优解。。。。。。。

恒久以来，，，，，，，，中国大模子 API 效劳市场缺乏一份公允、可比照的「体检报告」。。。。。。。差别效劳商各自披露性能指标，，，，，，，，但测试条件、指标口径与展示方法并不统一，，，，，，，，开发者很难判断，，，，，，，，AI Ping 试图填补这一空缺。。。。。。。

现在，，，，，，，，该平台已接入 30 家主流效劳商，，，，，，，，笼罩 555 个模子接口，，，，，，，，是海内少少数能够在统一标准下，，，，，，，，对大模子效劳举行一连评测与果真展示的平台之一。。。。。。。

在 AI Ping 的网站首页，，，，，，，，差别效劳商被放入统一张性能坐标图中举行比照。。。。。。。以吞吐率与延迟为坐标轴，，，，，，，，统一个模子在差别效劳商处的现实效劳能力差别，，，，，，，，一目了然。。。。。。。

用户提需求，，，，，，，，自动天生效劳路由战略的代码。。。。。。。

点开效劳商，，，，，，，，可以看到统一模子（ DeepSeek-V3.2 ）在差别效劳商处的效劳波动情形。。。。。。。

Top5效劳商最近几天效劳延迟的「心电图」。。。。。。。

这些对外展示的数据，，，，，，，，强调公正性与可比性，，，，，，，，按牢靠周期更新，，，，，，，，犹如一份面向行业的「排行榜」和「体检报告」。。。。。。。对开发者而言，，，，，，，，选型不再听厂商「吹捧」；；；；；；；对效劳商而言，，，，，，，，效劳能力第一次被放在统一把尺子下较量。。。。。。。

对标 Artificial Analysis：

7×24h 数据「开盒」大模子API

从PT视讯(中国区)官网体验来看，，，，，，，，使用 AI Ping 和直接挪用某个大模子险些没有区别，，，，，，，，只是完成了一次再通俗不过的请求。。。。。。。

但在系统内部，，，，，，，，这次挪用已经悄然完成了一次跨模子、跨效劳商的最优路径选择。。。。。。。

这种「选路」的能力，，，，，，，，源于清程极智构建的手艺三角闭环：全维度评测系统、效劳商级智能调理、以及多模子智能路由。。。。。。。

这一切的基石，，，，，，，，是套对标 Artificial Analysis 的实时评测系统。。。。。。。要像成为公认的「评判员」，，，，，，，，条件是评测系统自己具备足够的公正性与一致性。。。。。。。

在指标设计上，，，，，，，，牢牢围绕用户真正体贴的体验维度睁开，，，，，，，，包括 TTFT（首 Token 延迟）、TPS（吞吐率）、本钱、精度等焦点性能与经济指标。。。。。。。

差别应用场景，，，，，，，，对指标的敏感点完全差别。。。。。。。师天麾诠释说，，，，，，，，在通俗谈天场景中，，，，，，，，用户最在意的是「多久最先回复」。。。。。。。只要能在几百毫秒内出首字、输出速率抵达可阅读水平，，，，，，，，体验就已经趋于饱和。。。。。。。

而在 Agent 场景中，，，，，，，，一个使命往往由多程序用组成，，，，，，，，真正决议效率的，，，，，，，，不再是单次延迟，，，，，，，，而是整个流程的吞吐能力与端到端完成时间。。。。。。。

为了「开盒」国产模子效劳的真实水位，，，，，，，，AI Ping 沉淀了一套极具手艺含量的评测要领。。。。。。。

例如，，，，，，，，所有测试使用统一套「考卷」，，，，，，，，并在统一时间段举行；；；；；；；测试请求从北、上、深、蓉等多地效劳器同时发出，，，，，，，，彻底消除网络波动对简单节点的滋扰。。。。。。。

专门针对「效劳商缓存」设计特殊战略，，，，，，，，确保测出的是真实的算力响应，，，，，，，，而非「复用谜底」的表象。。。。。。。

始终以通俗用户身份，，，，，，，，匿名走真实挪用流程，，，，，，，，评测效果还会举行交织验证，，，，，，，，也获得了数十家主流效劳商的认可。。。。。。。

最极致的一点，，，，，，，，在于7×24 小时一连视察

模子自己只是个文件，，，，，，，，能力基本是牢靠的；；；；；；；但模子一旦酿成大模子 API 效劳，，，，，，，，情形就完全差别了。。。。。。。师天麾说。。。。。。。

中国大模子 API 效劳，，，，，，，，白天和晚上纷歧样，，，，，，，，北京和成都的节点纷歧样，，，，，，，，甚至统一家效劳商，，，，，，，，隔了几个小时负载也会强烈波动。。。。。。。若是拿几分钟前的评测数据做路由决议，，，，，，，，无异于一成不变。。。。。。。

这种对指标的极致苛求，，，，，，，，源于团队的硬核秘闻。。。。。。。AI Ping 背后的清程极智团队源自清华，，，，，，，，恒久深耕超算与 AI 性能评测领域。。。。。。。他们不但加入过 AIperf 等行业评测工具的研发，，，，，，，，更肩负过国家级超算集群的性能验收——这种「国家队」级别的评测履历，，，，，，，，被降维应用到了大模子 API 效劳，，，，，，，，最终转化为 AI Ping 难以被复制的壁垒。。。。。。。

对标 OpenRouter：

用「自动驾驶」接受 Token 调理权

PT视讯(中国区)官网目的不是把数据摆给用户看，，，，，，，，而是要替用户做决议。。。。。。。师天麾强调。。。。。。。

若是说 OpenRouter 的收获是实现了 API 的「大统一」，，，，，，，，那么 AI Ping 则更进一步，，，，，，，，通过一套 L4 级智能路由系统，，，，，，，，实现了模子调理的「自动驾驶」。。。。。。。这套系统由「双引擎」驱动：模子路由（解决「谁来做」）效劳商路由（解决「在那里做」）

在 AI Ping 的逻辑里，，，，，，，，模子不是「越大越好」，，，，，，，，而应该是「分工明确」，，，，，，，，有的善于写代码，，，，，，，，有的善于写作。。。。。。。

现实中的使命也是分层的：写代码需要逻辑严密，，，，，，，，一样平常闲聊只需快速响应。。。。。。。「若是所有请求都交给旗舰模子，，，，，，，，只会变得又贵又慢。。。。。。。」

AI Ping 的路由模子会通过机械学习，，，，，，，，实时对用户请求举行「画像」，，，，，，，，并在多种模子之间动态选择目今性价比最优的组合。。。。。。。

在大规模测试中，，，，，，，，这种「按问题匹配模子」的战略带来了两个效果：整体准确率凌驾简单旗舰模子的最高得分，，，，，，，，而挪用本钱下降凌驾 50%。。。。。。。

这一效果也与外部研究结论，，，，，，，，不约而同。。。。。。。

近期一项来自MIT 与佐治亚理工的研究发明，，，，，，，，开源模子已经可以用约莫 13% 的本钱，，，，，，，，抵达靠近 90% 的闭源模子性能。。。。。。。

但在现实市场中，，，，，，，，这类高性价比模子的使用比例仍缺乏 20%，，，，，，，，主要受限于认知惯性与切换本钱。。。。。。。

两种差别情形下的模子路由。。。。。。。

解决了模子选型，，，，，，，，下一步是决议请求落到哪家效劳商。。。。。。。

与古板的「失败后再重试」差别，，，，，，，，AI Ping 的效劳商路由具备预判能力。。。。。。。每一次请求返回的效果，，，，，，，，都是一个自然的丈量样本。。。。。。。这些数据会被一连汇总进内部评测池，，，，，，，，用来描绘效劳商「此时现在」的真实效劳水平。。。。。。。

一旦发明某条请求的响应时间显着偏离正常建模，，，，，，，，或与最近视察数据纷歧致，，，，，，，，路由系统就会预判该节点可能进入异常状态，，，，，，，，纵然尚未收到明确过失，，，，，，，，而不是被动期待失败。。。。。。。

在亿次挪用的实测中，，，，，，，，这套机制让整体 TPS（吞吐量）提升了约 90%，，，，，，，，本钱同步下降了 37%。。。。。。。

选择最适合的大模子API效劳商。。。。。。。

实现这种「自动驾驶」很是禁止易。。。。。。。师天麾告诉我们。。。。。。。

效劳商路由的一个难点在于动态平衡。。。。。。。「若是只把流量给目今最好的效劳商，，，，，，，，瞬间的高并发可能会直接把对方打崩。。。。。。。」师天麾分享了一个真实细节：曾有效劳商因流量集中路由而宕机，，，，，，，，CTO 三更打来电话询问爆发了什么。。。。。。。真正的路由不是简朴的排队，，，，，，，，而是「使用目今最优」与「展望分派负载」之间的精妙平衡。。。。。。。

模子路由的门槛更高，，，，，，，，它实质上是用 AI 去选 AI。。。。。。。系统需要通过海量数据学会「什么样的问题适合什么样的模子」，，，，，，，，并在现实运行中一直接纳效果举行离线纠偏。。。。。。。

归根结底，，，，，，，，这是一套依赖恒久数据积累、一连自我演化的系统，，，，，，，，也是 AI Ping 作为中国版 OpenRouter 的护城河。。。。。。。

重塑生意秩序：

开发少做「选择题」，，，，，，，，效劳不再只有「价钱战」

差别用户的实践，，，，，，，，从侧面印证了 AI Ping 作为「中国版 OpenRouter + Artificial Analysis」的现实价值。。。。。。。

对许多直接面向 C 端或 B 端用户的团队而言，，，，，，，，在接入 AI Ping 之前，，，，，，，，最大的困扰并非模子能力缺乏，，，，，，，，而是被大宗「非焦点工程」消耗精神。。。。。。。

一位从事 ToB 智能客服助手的开发者回忆，，，，，，，，已往团队恒久陷在「工程师手动选型」的循环中：先接几家跑起来，，，，，，，，再拿一批真实问题测效果、测延迟、测报错，，，，，，，，最后再算一遍账。。。。。。�；；；；；；；灰患揖鸵匦率逝洹⒅匦禄毓椋�，，，，，，周期很是长。。。。。。。

「判断哪个模子最好用，，，，，，，，基本靠线上监控和履历。。。。。。。哪家最近延迟飘了，，，，，，，，就人工降权，，，，，，，，往往是用户先感知到卡顿，，，，，，，，我们才最先调解，，，，，，，，很是被动。。。。。。。」他们也曾思量自建调理系统，，，，，，，，但很快发明，，，，，，，，这意味着还要特殊肩负监控、容灾和对账等重大工程肩负，，，，，，，，越发偏离主线使命。。。。。。。

接入 AI Ping 后，，，，，，，，这类「选型内讧」被工程化消解，，，，，，，，各人又能把主要精神投入到客服体验上，，，，，，，，好比知识库质量、流程指导，，，，，，，，转人工闭环。。。。。。。

这种调理价值，，，，，，，，在对本钱高度敏感的场景中体现得更为直接。。。。。。。

一些自力开发者将 Agent 用于自用场景，，，，，，，，对性能要求并不极致，，，，，，，，但对本钱控制极为敏感。。。。。。。通过 AI Ping 提供的筛选排序功效，，，，，，，，开发者可以在多家供应商中，，，，，，，，选出性价比最高的计划，，，，，，，，好比 TTFT＜5 秒、TPS＞20 ，，，，，，，，价钱从低至高排序。。。。。。。同时，，，，，，，，用户也可以在智能路由中使用此功效，，，，，，，，智能路由会将用户的每一条需求，，，，，，，，依据评测数据，，，，，，，，路由至目今知足用户需求的最高性价比的效劳商。。。。。。。

而在多模子协作场景中，，，，，，，，调理能力则直接转化为商业可行性。。。。。。。

面团 AI 的模拟面试产品需要多模子协作，，，，，，，，好比挪用语音模子、文本语言模子，，，，，，，，差别厂商的模子各有优势。。。。。。。已往，，，，，，，，跨模子、跨平台挪用流程重大，，，，，，，，本钱也很是高。。。。。。。

统一接入 AI Ping 之后，，，，，，，，团队再也不需要体贴「既要接火山、又要接百度」的底层适配问题，，，，，，，，模子挪用起来本钱更低，，，，，，，，效率更高，，，，，，，，效劳性能也越发稳固。。。。。。。

以往找身边的学上举行一次模拟面试，，，，，，，，往往需要支付半小时三四百元的本钱。。。。。。。现在借助 AI 手艺，，，，，，，，只需几块钱，，，，，，，，就可以实现一个高拟人度、高仿真的模拟面试。。。。。。。

类似逻辑也泛起在情绪陪同应用中。。。。。。。一支清华大学学生团队发明，，，，，，，，用户大部分提问是一样平常闲聊，，，，，，，，少数才涉及深度推理。。。。。。。通过 AI Ping 的「分层调理」，，，，，，，，简朴问题流向低价小模子以包管「秒回」，，，，，，，，要害情绪点则路由至高阶模子。。。。。。。这种精准分发，，，，，，，，既阻止了响应过慢导致的「冷暴力」，，，，，，，，又将稳固性与价钱压到了可控区间。。。。。。。

更耐人寻味的是，，，，，，，，这套评测系统也在反向重塑效劳商的行为。。。。。。。

硅基智能成为平台的恒久用户，，，，，，，，一个主要缘故原由在于测得准。。。。。。。通过横向评测，，，，，，，，他们可以清晰看到自己在数十家效劳商中的真实位置：延迟是否偏高，，，，，，，，吞吐是否保存短板，，，，，，，，稳固性怎样随时间波动。。。。。。。

已往，，，，，，，，效劳商只能监控自身数据；；；；；；；现在，，，，，，，，差别效劳能力被放在统一把尺子下较量。。。。。。。当延迟、吞吐与稳固性被一连量化泛起，，，，，，，，用户也最先以「效劳质量」而非简单价钱作为选择依据，，，，，，，，行业竞争也由此从价钱战转向工程优化与算力治理能力的比拼。。。。。。。

在师天麾看来，，，，，，，，这将形成一个正向循环：评测数据闪开发者知道什么是好效劳，，，，，，，，也让效劳商看清自身短板。。。。。。。效劳质量提升后，，，，，，，，应用体验改善，，，，，，，，AI 使用规模扩大，，，，，，，，Token 消耗随之增添，，，，，，，，收益再回流到算力与手艺优化之中。。。。。。。

我们希望用透明的数据，，，，，，，，让行业知道什么才是值得竞争的偏向，，，，，，，，他说，，，，，，，，「不是只有价钱，，，，，，，，而是真正的效劳能力。。。。。。。」

院士点赞，，，，，，，，预见下一代基础设施

在宣布会上，，，，，，，，中国工程院院士、清华大学盘算机系教授郑纬民给出了一个颇具画面感的比喻。。。。。。。

已往十年，，，，，，，，行业解决的是怎样把智能「生产出来」。。。。。。。随着模子生态与智能体（Agent）的快速昌盛，，，，，，，，新的瓶颈正在泛起：怎样让智能被高效、稳固地「流通」。。。。。。。

在他看来，，，，，，，，智能路由正是这一流通系统中最要害的基础设施之一，，，，，，，，也是下一阶段 AI Infrastructure 必需回覆的问题。。。。。。。

当模子路由、效劳路由、芯片调理所有买通后，，，，，，，，用户只需提出需求，，，，，，，，而无需体贴背后事实是哪个模子、哪一家云厂商、哪一块芯片在事情，，，，，，，，效果便会自动抵达。。。。。。。

「这将是下一代 AI 基础设未来康健用品有限公司施的形态，，，，，，，，」他说，，，，，，，，「让智能像电一样被挪用和分发。。。。。。。」