文 | 半导体工业纵横
最近一家叫Taalas的芯片公司横空出生，，，，，引刊行业关注。。。。。。。
2023年建设的多伦多首创公司Taalas，，，，，由芯片行业资深人士Ljubisa Bajic等人建设，，，，，其依附一款HC1芯片搅动了AI硬件市场的名堂。。。。。。。这家公司跳出了古板AI硬件的设计思绪，，，，，将AI大模子的权重直接蚀刻到芯片的金属互连层中，，，，，实现了极致的存算合一，，，，，让芯片的推理速率抵达17000 tokens/秒，，，，，远超英伟达H200的约230 tokens/秒、B200的约2000 tokens/秒。。。。。。。这一立异做法，，，，，也让行业最先重新思索：把大模子直接刻进芯片，，，，，事实是突破AI硬件瓶颈的新偏向，，，，，照旧受限于手艺迭代的小众实验 ？ ？？？？？
放弃通用性，，，，，换极致的性能与能效
Taalas的HC1芯片，，，，，实质上是彻底扬弃“一颗芯片跑所有模子”的通用蹊径，，，，，转向“为特定模子定制硅结构”。。。。。。。这款芯片接纳台积电6nm工艺和Mask ROM手艺，，，，，将模子权重直接硬编码在硅片上，，，，，从物理层面消除了盘算与存储之间的数据搬运，，，，，大幅破解了困扰行业的内存墙问题。。。。。。。同时，，，，，它摒弃了液冷计划和HBM显存，，，，，改用空气冷却，，，，，在降低功耗的同时也镌汰了硬件本钱，，，，，配套的软件栈也因模子权重和结构的硬件固化变得极端简化，，，，，无需重大的优化层，，，，，进一步提升了性能和能效比。。。。。。。
这份极致的定制化，，，，，让HC1芯片在性能和本钱上展现出显著优势：其token处置惩罚速率抵达英伟达最强GPU的近10倍，，，，，硬件本钱仅为古板GPU计划的1/20，，，，，功耗也降至1/10。。。。。。。但与之相伴的，，，，，是通用性的完全牺牲——HC1芯片仅能运行特定的Llama 3.1 8B模子，，，，，任何模子的更新迭代，，，，，都意味着芯片需要重新流片。。。。。。。虽然，，，，，这种极端专用化也能扩展到更大的模子。。。。。。。Taalas 给出了他们对 DeepSeek R1 671B 的模拟数据。。。。。。。671B 参数的模子需要约莫 30 颗芯片协同事情，，，，，每颗芯片承载约 20B 参数（接纳 MXFP4 名堂，，，，，并将 SRAM 疏散到自力芯片以提高密度）。。。。。。。30 颗芯片意味着 30 次增量流片，，，，，但 Bajic 指出由于每次只改两层掩模，，，，，增量流片本钱并不高。。。。。。。
这一特点也决议了Taalas的市场定位，，，，，它并非要成为“下一个英伟达”，，，，，而是瞄准AI推理的细分环节，，，，，成为该领域的专用供应商，，，，，其思绪与Groq推出的LPU相似，，，，，且在专用化的蹊径上走得更远。。。。。。。
现在Taalas的商业模式仍在探索中，，，，，主要有自建基础设施提供API效劳、直接销售芯片、与模子开发者相助定制专用芯片三种可能。。。。。。。而这一极端专用化的计划能否被市场接受，，，，，主要取决于特定应用场景对延迟的敏感水平，，，，，以及模子自己的恒久稳固性。。。。。。。只管保存显着的局限性，，，，，但关于高频金融生意、自动驾驶、军事装备等对延迟高度敏感且模子相对稳固的场景，，，，，HC1芯片的手艺计划仍具备不可替换的价值。。。。。。。
推理芯片的赛道，，，，，多元手艺蹊径的探索
在AI硬件领域，，，，，GPU在训练环节的优势依旧无可撼动，，，，，但在推理环节，，，，，GPU却袒露了“贵且慢”的短板，，，，，这也让推理芯片成为众多首创企业的立异赛场。。。。。。。除了Taalas的硬编码计划，，，，，行业内还降生了多种手艺蹊径，，，，，各家都在通过放弃某一古板设计要素，，，，，换取推理环节的性能突破，，，，，形成磷器具特色的手艺探索。。。。。。。
Taalas选择放弃软件，，，，，走硬连线的蹊径，，，，，将模子的权重和数据流直接酿成物理连线，，，，，在其设计逻辑中，，，，，软件是纯粹的开销，，，，，指令集更是一种铺张，，，，，甚至连编译器都无需配备，，，，，模子确定后便直接流片。。。。。。。这种设计让芯片的功耗和本钱压至极低，，，，，但容错率也降为0，，，，，模子的任何变换都会让芯片失去使用价值。。。。。。。
Etched选择把架构刻进芯片。。。。。。。他们的第一块AI芯片是一种专用的集成电路（ASIC），，，，，声称在AI大语言模子（LLM）推理方面击败了英伟达的H100。。。。。。。由于它是ASIC，，，，，以是Etched需要把transformer架构刻蚀在芯片上。。。。。。。通过把Transformer的盘算逻辑，，，，，注重力机制、矩阵乘法、激活函数，，，，，直接硬编码进芯片的电路设计中，，，，，效率实现了指数级提升。。。。。。。但这同时也意味着完全损失无邪性：无法运行循环神经网络（RNN），，，，，无法跑推荐系统模子，，，，，无法做任何非Transformer的AI使命。。。。。。。
Groq则推出了专属的LPU（语言处置惩罚单位），，，，，接纳纯SRAM架构，，，，，摒弃了硬件调理器、缓存一致性协媾和分支展望等古板设计。。。。。。。其焦点逻辑是让硬件坚持100%简直定性，，，，，数据的传输和运算全靠编译器在软件层面提前举行周期级的准确妄想。。。。。。。这一计划让芯片在批处置惩罚（Batch=1）时的推理速率极快，，，，，而Groq的焦点竞争力，，，，，也并非芯片自己，，，，，而是能调理海量并行指令的编译器软件。。。。。。。
Cerebras的焦点产品WSE（晶圆级引擎），，，，，跳出了古板的芯片切割思绪，，，，，直接将整块晶圆作为一颗大芯片，，，，，晶圆上集成了海量的SRAM和盘算焦点。。。。。。。该设计的底层逻辑，，，，，是从物理层面解决芯片间数据传输的内存墙问题，，，，，事实芯片间的数据交互是速率最慢、能耗最高的环节。。。。。。。这一计划让芯片获得了无敌的带宽，，，，，但也让制造、散热、容错的物理工程难度抵达了极致。。。。。。。
Tenstorrent（由芯片大神Jim Keller建设）则选择拥抱开源与解耦，，，，，其蹊径是RISC-V指令集搭配矩阵盘算单位（Tensix），，，，，打造高度可编程的数据流架构。。。。。。。这家企业也是四家之中最不“ASIC”的保存，，，，，Jim Keller以为，，，，，AI算法仍处于快速迭代的阶段，，，，，硬件设计绝不可写死，，，，，因此接纳无邪的RISC-V指令集处置惩罚控制流，，，，，再通过异构网络将成千上万个小芯片毗连起来。。。。。。。这一计划让芯片更靠近“通用盘算机”，，，，，其赌点在于未来的AI并非简单的Transformer架构，，，，，而是会生长为包括大宗条件判断、逻辑推理的重大软件工程。。。。。。。
回望历史：固化硬件的教训，，，，，差别层级的绑定危害
把程序刻进硬件的思绪，，，，，并非Taalas首创，，，，，在科技生长史上早有先例，，，，，而这些先例的兴衰，，，，，也为大模子刻进芯片的计划提供了主要的参考。。。。。。。
上世纪90年月末的3dfx Voodoo显卡，，，，，曾是3D图形领域的标杆，，，，，其乐成与失败都源于统一个设计逻辑——将3D渲染的办法完全硬件化。。。。。。。它把3D游戏的光栅渲染办法（极点矩阵、光照、贴图等盘算）做成“牢靠管线”直接刻死在电路中，，，，，专款专用的设计让其在3D游戏运行上的速率碾压同期产品，，，，，成为3D显卡的代名词。。。。。。。但到了1999年之后，，，，，开发者最先探索更富厚的3D效果，，，，，如水景反光、皮肤质感等，，，，，而Voodoo显卡因硬件固化无法支持这些新功效，，，，，最终被推出“可编程着色器”的英伟达GeForce GPU取代，，，，，走向休业并被英伟达收购。。。。。。。
2016-2018年，，，，，AI领域的主要算法是用于图像识别的CNN（卷积神经网络），，，，，一大批芯片创业公司针对CNN的盘算模式，，，，，在硬件上设计了专门的“卷积加速引擎”，，，，，这类芯片在处置惩罚人脸识别、自动驾驶的图像识别使命时，，，，，速率快、能耗低，，，，，与现在Taalas的思绪高度相似。。。。。。。但2017年《Attention is All You Need》的宣布，，，，，以及2018年BERT的横空出生，，，，，让大模子的底层数学逻辑从“局部卷积”彻底转向“全局自注重力机制”，，，，，那些将CNN逻辑刻死在芯片里的企业，，，，，因硬件缺乏通用矩阵盘算能力，，，，，运行Transformer架构的效率极低，，，，，甚至无法运行，，，，，这也让第一波AI芯片潮中，，，，，大部分专注特定视觉算法的首创公司黯然退场。。。。。。。
比照这两个案例与Taalas的计划可以发明，，，，，三者的硬件固化水平保存实质差别：Voodoo显卡固化的是渲染管线，，，，，即便手艺迭代，，，，，只要仍运行3D游戏它依然能使用，，，，，只是画面效果落伍；；；；；；CNN芯片固化的是算法，，，，，人脸识别等古板场景中它依旧能施展作用，，，，，只是适用场景大幅收窄；；；；；；而Taalas固化的是特定的模子，，，，，一旦模子更新，，，，，芯片便会直接报废。。。。。。。这种极致的绑定，，，，，也让Taalas的计划背上了最大的危害——它赌的是AI算法已经进入“平台期”，，，，，架构上难以再有突破性前进，，，，，但现实是，，，，，目今AI模子的迭代周期甚至以周盘算，，，，，只要行业竞争不阻止，，，，，模子的标准就无从谈起，，，，，前沿AI领域的手艺转变，，，，，始终是悬在这款芯片头上的达摩克利斯之剑。。。。。。。
并非普适计划，，，，，却在特定场景中具备价值
以前沿AI研发的角度来看，，，，，将大模子刻进芯片的手艺蹊径显然并不可行，，，，，但这并不料味着该计划毫无市场，，，，，在大宗模子需求相对牢靠的场景中，，，，，它恰恰能解决大模子推理延迟过长的痛点，，，，，展现出奇异的应用价值。。。。。。。
工业领域中，，，，，大模子下车间成为趋势，，，，，许多场景并不需要性能顶尖的大模子，，，，，只需用蒸馏后的轻量模子（如qwen2.5）就能解决古板软件定制化开发的问题，，，，，这类场景对模子的稳固性要求远高于迭代速率，，，，，将轻量模子刻进芯片，，，，，能完善解决推理延迟的问题；；；；；；政务系统的大模子应用中，，，，，安排后通常唬唬唬�；；岫峡馔�，，，，，模子自己无法在线更新，，，，，此时将模子固化为硬件，，，，，后续的模子更新只需替换硬件，，，，，反而比软件更新更便捷；；；；；；消耗电子领域，，，，，翻译、TTS等小模子若是做成专用芯片并集成进手机等装备中，，，，，能为装备提供保底的离线智能能力，，，，，即便后续泛起更优的模子，，，，，也能知足用户的基础需求，，，，，同时相比手机直接运行小模子，，，，，专用芯片还能大幅提升装备的续航能力。。。。。。。
而在对延迟和离线运行能力有极致要求的特殊场景中，，，，，把大模子刻进芯片的计划更是展现出不可替换的优势，，，，，成为这些领域的最佳选择之一。。。。。。。在智能驾驶领域，，，，，车辆遇光暂时修路、交警现场指挥等突发状态时，，，，，需要的是低于1毫秒的“本能逻辑推理反射”，，，，，古板自动驾驶芯片仅善于快速图像识别，，，，，无法处置惩罚这类重大的逻辑推理，，，，，而云端大模子的反响又保存延迟，，，，，固化了大模子的专用芯片，，，，，能实现外地的极速推理，，，，，应对种种突发状态；；；；；；在高频量化金融领域，，，，，美联储讲话、非农数据、企业财报等信息的宣布往往陪同市场的快速波动，，，，，专用芯片能以极高的速率，，，，，快速剖析信息，，，，，判断市场走向并转化为生意信号，，，，，相当于为量化生意开挂；；；；；；在军工领域，，，，，无需联网、固化在物理硬件中的大模子芯片，，，，，即便身处断网的“信息孤岛”，，，，，也能依附出厂时的重大参数，，，，，自力举行极速的战术剖析和保密决议。。。。。。。
同时，，，，，人们也无需担心固化在芯片中的大模子会因无法迭代，，，，，导致知识永远停留在出厂阶段。。。。。。。现实上，，，，，芯片固化的只是模子自己的架构和权重，，，，，模子无法再进化，，，，，但它的逻辑推理、知识检索能力依旧坚持顶级；；；；；；并且刻入芯片的大模子并非失去联网能力，，，，，仍可通过联网获取最新信息，，，，，举行剖析和问题解决，，，，，只是不再通过模子迭代实现能力升级。。。。。。。
争议与未来可能性：一场关于迭代周期的博弈
把大模子刻进芯片的计划，，，，，其未来的生长远景，，，，，将围绕着迭代周期和本钱的博弈睁开，，，，，这也是行业对该计划的主要争议点。。。。。。。
Taalas的竞争力之一，，，，，是宣称能将“大模子转化为定制芯片”的周期，，，，，从古板的一年缩短至两个月，，，，，同时因扬弃了腾贵的HBM芯片，，，，，接纳6nm工艺的专用芯片，，，，，硬件本钱仅为英伟达H100等GPU计划的1/20。。。。。。。从本钱角度来看，，，，，这一计划的优势十明确显，，，，，凭证17000tps的处置惩罚速率盘算，，，，，单颗HC1芯片的处置惩罚能力堪比英伟达的8卡效劳器，，，，，只要单芯片总本钱不凌驾1万美元，，，，，就具备极强的市场竞争力。。。。。。。
真正的问题在于迭代周期，，，，，即便两个月的流片周期已经大幅缩短，，，，，但目今AI模子的迭代基本以月为单位，，，，，两个月的时间足够竞争敌手推出新一代模子，，，，，芯片刚量产就面临落伍的时势，，，，，这也是该计划最致命的短板。。。。。。。别的，，，，，将软件时代迭代最快、最不稳固的模子，，，，，绑定为硬件时代迭代最慢、最稳固的工具，，，，，这种做法实质上是牺牲了手艺的笼统性，，，，，换取短期内亮眼的性能数据，，，，，这也是行业对该计划的主要质疑。。。。。。。
不过，，，，，Taalas为芯片设计了LoRa挂载能力，，，，，一定水平上能填补模子无法迭代的短板；；；；；；同时，，，，，该计划的实质是一个经济学问题，，，，，随着大模子手艺的生长，，，，，其架构和能力终将迫近极限，，，，，模子的更新周期也会逐步变长，，，，，当模子迭代速率慢于芯片的流片速率时，，，，，这一计划的经济价值便会凸显。。。。。。。Taalas的赌点，，，，，正是大模子手艺会进入生长障碍期，，，，，当手艺成熟、模子无需频仍更新底座时，，，，，其提前结构的专用芯片计划，，，，，便能成为业界领先的保存。。。。。。。
结语
把大模子刻进芯片，，，，，并非能倾覆AI硬件市场的普适性手艺蹊径，，，，，在前沿AI研发领域，，，，，因模子的快速迭代，，，，，这一计划的局限性被无限放大，，，，，难以成为主流。。。。。。。但不可否定的是，，，，，Taalas的实验为AI芯片的生长提供了全新的视角，，，，，其牺牲通用性换取极致性能和能效的思绪，，，，，切中了AI推理细分环节的市场需求，，，，，为存算合一、定制化硬件的设计偏向提供了主要参考。。。。。。。
这一手艺蹊径的未来，，，，，终究取决广西北部湾港航效劳有限公司于AI模子的迭代速率与行业场景需求的平衡。。。。。。。当大模子手艺进入稳固期，，，，，那些对延迟、离线运行有极致要求的牢靠场景，，，，，终将成为大模子专用芯片的市�。。。。。。。唬唬唬�；；而即便手艺迭代始终坚持高速，，，，，这一计划的立异思绪，，，，，也会推动行业一直探索更高效的AI硬件设计，，，，，让AI硬件的生长朝着多元化、场景化的偏向一直前进。。。。。。。