允中 发自 凹非寺量子位 |清亮水务集团有限公司 公众号 QbitAI
国产算力基建跑了这么多年，，，，，，各人最体贴的逻辑一直没变：芯片够不敷多 ？？？？？？？？
但对开发者来说，，，，，，真正扎心的问题着实是：好欠好使 ？？？？？？？？
若是把AI开发比作做饭，，，，，，现在的尴尬是——
国产锅（硬件）虽然越来越多了，，，，，，但大部分大厨照旧只习习用那套入口调料包（生态）
这正是当下AI落地最真实的一幕。。 。。 。
模子层繁花似锦，，，，，，底层却隐忧重重。。 。。 。各人在参数规模上轮替刷新纪录，，，，，，回过头来却发明，，，，，，最难挣脱的照旧那套已经上进骨子里的开发流程。。 。。 。
△图片由AI天生
算力只是敲门砖，，，，，，真正的输赢手，，，，，，是那段算法与硬件之间的“翻译权”
说白了，，，，，，若是拿不到这支“翻译笔”，，，，，，再强悍的国产硬件，，，，，，也只能像是一座无法与外界相同的孤岛。。 。。 。
终于，，，，，，谁人闪开发者喊了无数次“天下苦CUDA久矣”的僵局，，，，，，现在迎来了一个纷歧样的国产谜底
KernelCAT：盘算加速专家级别的Agent
这几年，，，，，，AI领域的热闹险些是肉眼可见的。。 。。 。
模子在麋集宣布，，，，，，应用数据一连走高，，，，，，看上去一切都在加速向前。。 。。 。
但在工程现�。。 。。 。�，，，，，感受却更重大。。 。。 。
真正制约落地效率的，，，，，，并不是模子能力自己，，，，，，而是底层软件生态的成熟度。。 。。 。
硬件选择一多，，，，，，问题反而集中袒露出来：迁徙本钱高，，，，，，适配周期长，，，，，，性能释放不稳固。。 。。 。许多模子即便具备条件切换算力平台，，，，，，最终也会被算子支持和工具链完整度挡在门外。。 。。 。
这让一个事实变得越来越清晰——突破口不在堆更多算力，，，，，，而在买通算法到硬件之间那段最容易被忽视的工程链路，，，，，，把芯片的理论性能真正转化为可用性能。。 。。 。
其中最要害的一环，，，，，，正是高性能算子的开发
算子（Kernel），，，，，，是毗连AI算法与盘算芯片的“翻译官”：它将算法转化为硬件可执行的指令，，，，，，决议了AI模子的推理速率、能耗与兼容性。。 。。 。
算子开发可以被明确为内核级别的编程事情，，，，，，现在行业仍停留在“手事情坊”时代——开发历程极端依赖顶尖工程师的履历与重复试错，，，，，，周期动辄数月，，，，，，性能调优犹如在迷雾中探索。。 。。 。
若把开发大模子应用比作“在精装修的样板间里摆放家具”，，，，，，那么编写底层算子的难度，，，，，，无异于“在深海中戴着极重的手铐，，，，，，徒手组装一块细密机械表”。。 。。 。
但若是，，，，，，让AI来开发算子呢 ？？？？？？？？
古板大模子或知识增强型Agent在此类使命眼前往往力有未逮。。 。。 。由于它们善于模式匹配，，，，，，却难以明确重大盘算使命中的物理约束、内存结构与并行调理逻辑。。 。。 。
唯有逾越履历式推理，，，，，，深入建模问题实质，，，，，，才华实现真正的“智能级”优化。。 。。 。
正是在这一“地狱级”手艺挑战下，，，，，，KernelCAT应运而生。。 。。 。
△终端版
详细来看，，，，，，KernelCAT是一款外地运行的AI Agent，，，，，，它不但是深耕算子开发和模子迁徙的“盘算加速专家”，，，，，，也能够胜任一样平常通用的全栈开发使命，，，，，，提供了CLI终端下令行版与精练桌面版两种形态供开发者使用。。 。。 。
差别于仅聚焦特定使命的工具型Agent，，，，，，KernelCAT具备扎实的通用编程能力——不但能明确、天生和优化内核级别代码，，，，，，也能处置惩罚通例软件工程使命，，，，，，如情形设置、依赖治理、过失诊断与剧本编写，，，，，，从而在重大场景中实现端到端自主闭环。。 。。 。
△桌面版
为国产芯片生态写高性能算子
在算子开发中，，，，，，有一类问题很像“调参”——面临几十上百种参数或战略组合，，，，，，工程师需要找出让算子跑得最快的那一组设置。。 。。 。
古板做法靠履历试错，，，，，，费时艰辛，，，，，，并且还容易踩坑。。 。。 。
KernelCAT的思绪是——引入运筹优化，，，，，，把“找最优参数”这件事交给算法，，，，，，让算法去探索调优空间并收敛到最佳计划
以昇腾芯片上的FlashAttentionScore算子为例，，，，，，KernelCAT在昇腾官方示例代码上，，，，，，可以自动对该算子的分块参数调优问题举行运筹学建模，，，，，，并使用数学优化算法求解，，，，，，在十几轮迭代后就锁定了最优设置，，，，，，在多种输入尺寸下延迟降低最高可达22%，，，，，，吞吐量提升最高近30%，，，，，，并且整个历程无需人工干预。。 。。 。
这正是KernelCAT的奇异之处：它不但具备大模子的智能，，，，，，能够明确代码、天生计划；；；；；还拥有运筹优化算法的严谨，，，，，，能够系统搜索并收敛到最优解。。 。。 。
智能与算法的团结，，，，，，让算子调优既无邪，，，，，，又有交付包管。。 。。 。
在对KernelCAT的另一场测试中，，，，，，该团队选取了7个差别规模的向量加法使命，，，，，，测试目的明确——
即在华为昇腾平台上，，，，，，直接比照华为开源算子、“黑盒”封装的商业化算子与KernelCAT自研算子实现的执行效率。。 。。 。
效果同样令人振奋，，，，，，在这个案例的7个测试规模中，，，，，，KernelCAT给出的算子版天性能均取得领先优势，，，，，，且使命完成仅用时10分钟
这意味着，，，，，，即便面临经由商业级调优的闭源实现，，，，，，KernelCAT所接纳的优化方法仍具备一定竞争力。。 。。 。
这不但是数值层面的胜利，，，，，，更是国产AI Agent在算子领域完成的一次自证。。 。。 。
没有坚不可破的生态，，，，，，包括CUDA
全球规模内，，，，，，现在凌驾90%的主要AI训练使命运行于英伟达GPU之上，，，，，，推理占比亦达80%以上；；；；；其开发者生态笼罩超590万用户，，，，，，算子库规模逾400个，，，，，，深度嵌入90%顶级AI学术论文的实现流程。。 。。 。
黄仁勋曾言：
我们建设英伟达，，，，，，是为了加速软件，，，，，，芯片设计反而是次要的。。 。。 。
这句话展现了一个要害真相：在现代盘算系统中，，，，，，软件才是真正的护城河。。 。。 。
英伟达的一连领先，，，，，，源于其从底层算法出发、意会架构与编程模子的全栈掌控能力。。 。。 。
参考AMD的历史履历，，，，，，纵然在架构与制程上具备富足的竞争力，，，，，，缺乏成熟的生态系统也仍然难以撼动英伟达的职位。。 。。 。
这类案例清晰地批注，，，，，，模子性能并不简朴等价于算力规模的堆叠，，，，，，而是取决于算法设计、算子实现与硬件特征的协同水平。。 。。 。当算子足够成熟，，，，，，硬件潜力才华被真正释放。。 。。 。
沿着这条思绪，，，，，，KernelCAT团队围绕模子在本土算力平台上的高效迁徙，，，，，，举行了系统性的工程探索。。 。。 。
DeepSeek-OCR-2模子在华为昇腾910B2 NPU上的安排为例，，，，，，KernelCAT展示了一种全新的事情范式：
对抗“版外地狱”：KernelCAT对使命目的和限制条件有着深度明确，，，，，，基于DeepSeek-OCR-2官方的CUDA实现，，，，，，通过精准的依赖识别和补丁注入，，，，，，解决了vLLM、torch和torch_npu的各个依赖库间版本互锁的三角矛盾，，，，，，硬生生从零搭建起了一套稳固的生产情形，，，，，，团结基础Docker镜像即可实现模子的开箱即用。。 。。 。准确修补：它敏锐地识别出原版vLLM的MOE层依赖CUDA专有的操作，，，，，，和vllm-ascend提供的Ascend原生MOE实现，，，，，，并坚决通过插件包举行挪用替换，，，，，，让模子在国产芯片上“说上了母语”。。 。。 。实现35倍加速：在引入vllm-ascend原生MOE实现补丁后，，，，，，vLLM在高并发下的吞吐量飙升至550.45toks/s，，，，，，相比Transformers计划实现了35倍加速，，，，，，且在继续优化中。。 。。 。无需人工大宗介入：在这种重大使命目的下，，，，，，KernelCAT可以自己妄想和完成使命，，，，，，无需研发提供大宗提醒词指导模子事情。。 。。 。
这意味着，，，，，，原本需要顶尖工程师团队破费数周才华完成举行的适配事情，，，，，，现在可以缩短至小时级（包括模子下载、情形构建的时间）。。 。。 。
与此同时，，，，，，它让国产芯片从“能跑”到“飞起”，，，，，，实现了35倍的加速
也就是说，，，，，，KernelCAT让国产芯片不再是被“封印”的算力废铁，，，，，，而是可以通过深度工程优化，，，，，，承载顶级多模态模子推理使命的性能引擎。。 。。 。
“天下苦CUDA久矣”——这句话曾是无奈的自嘲，，，，，，现在正成为行动的军号。。 。。 。
KernelCAT所代表的，，，，，，不但是一个AI Agent新范式的泛起，，，，，，更是一种底层能力建设方法的转向：
从依赖既有生态，，，，，，到构建能够自我演进的盘算基础。。 。。 。
KernelCAT正限时免费清亮水务集团有限公司内测中，，，，，，接待体验：https://kernelcat.cn/