2026 年 2 月 21 浙山河海文化创意有限公司日，，，，，，一家名为 Taalas 的芯片首创公司正式揭开面纱，，，，，，宣布了它的第一款产品：一颗将 Meta 的 Llama 3.1 8B 大语言模子险些完整“刻进”硅片的推理芯片 HC1。。。。。。。。凭证该公司宣布的数据，，，，，，这颗芯片在单用户场景下可以跑到 17,000 tokens/s 的输出速率，，，，，，约莫是现在市面上最快竞品 Cerebras 的近 9 倍，，，，，，是 Nvidia Blackwell 架构 GPU 的近 50 倍。。。。。。。。构建本钱据称只有一律 GPU 计划的二十分之一，，，，，，功耗低一个数目级。。。。。。。。
图丨TaalasHC1（泉源：Taalas）
不过这颗芯片的局限也很是显着，，，，，，那就是它只能跑 Llama 3.1 8B。。。。。。。。要想换个模子？？？？？ ？？？就只能再造一颗芯片。。。。。。。。
这是 AI 芯片行业迄今为止最激进的专用化实验，，，，，，没有之一。。。。。。。。
目今主流的推理安排依赖 GPU，，，，，，尤其是 Nvidia 的 H100/H200 和最新的 Blackwell 系列。。。。。。。。GPU 的优势在于通用性和成熟的软件生态，，，，，，但它的架构自然保存一个瓶颈：盘算单位和存储单位是疏散的。。。。。。。。模子的参数存储在 HBM（High Bandwidth Memory，，，，，，高带宽内存）中，，，，，，盘算焦点每次运算都需要从 HBM 搬运数据，，，，，，这个搬运历程消耗大宗能量和时间。。。。。。。。
为了缓解这个问题，，，，，，整个行业在先进封装、3D 堆叠、液冷散热、高速互联等偏向上投入了重大的工程资源。。。。。。。。Nvidia 的 GB200 NVL72 机柜级系统就是这种蹊径的极致体现：72 颗 GPU 通过 NVLink 互联，，，，，，单机柜功耗靠近 120 kW，，，，，，需要液冷支持，，，，，，造价以百万美元计。。。。。。。。
（泉源：Taalas）
Taalas 的做法是把这套重大性连根拔掉。。。。。。。。
他们的焦点思绪可以归纳综合为三个词：周全专用化、存算合一、极端简化。。。。。。。。HC1 芯片接纳 Mask ROM（掩模只读存储器）工艺将模子权重直接编码在芯片的金属互连层中，，，，，，和盘算逻辑共存于统一块硅片上，，，，，，不再需要外部 DRAM 或 HBM。。。。。。。。芯片上保存了一小块 SRAM（Static Random-Access Memory，，，，，，静态随机存取存储器），，，，，，用于存放 KV Cache（键值缓存，，，，，，Transformer 推理时缓存历史注重力信息的数据结构）和 LoRA（Low-Rank Adaptation，，，，，，低秩适配）微调权重，，，，，，提供有限的无邪性，，，，，，但整体架构的可编程性险些为零。。。。。。。。
据报道，，，，，，HC1 基于台积电 N6 工艺制造，，，，，，芯片面积 815 mm?，，，，，，靠近光罩极限（reticle limit），，，，，，单颗芯片即可容纳完整的 8B 参数模子。。。。。。。。功耗约 250W，，，，，，10 块 HC1 板卡装进一台效劳器总功耗约 2.5 kW，，，，，，可以在标准风冷机架中运行。。。。。。。。这和动辄数十千瓦、必需上液冷的 GPU 效劳器差别很大。。。。。。。。
Taalas 的 CEO Ljubisa Bajic 是 Tenstorrent 的团结首创人，，，，，，曾担当该公司的 CEO 和 CTO。。。。。。。。Tenstorrent 是 AI 芯片领域另一家着名首创企业，，，，，，走的是基于 RISC-V 架构的可编程 AI 加速器蹊径，，，，，，厥后由芯片行业传奇人物 Jim Keller 接任 CEO 并继续生长。。。。。。。。Bajic 脱离 Tenstorrent 后约莫在 2023 年中建设了 Taalas，，，，，，走了一条和 Tenstorrent 险些完全相反的路：不追求通用性，，，，，，而是把专用化推到极端。。。。。。。。现在，，，，，，Taalas 团队规模约 25 人，，，，，，累计融资凌驾 2 亿美元，，，，，，但据 Bajic 自己披露，，，，，，第一款产品现实只破费了约 3000 万美元。。。。。。。。
图丨LjubisaBajic（泉源：Tenstorrent）
Taalas 的芯片定制流程借鉴了 2000 年月早期结构化 ASIC（Application-Specific Integrated Circuit，，，，，，专用集成电路）的思绪。。。。。。。。结构化 ASIC 通过固化门阵列和硬化 IP 模浚�？？？ ？？？�，，，，，，只修改互连层来适配差别事情负载，，，，，，在本钱和性能上介于 FPGA（Field-Programmable Gate Array，，，，，，现场可编程门阵列）和全定制 ASIC 之间。。。。。。。。
Taalas 的做法类似但更进一步Ｔ媚课为新模子定制芯片时只需替换两层掩模，，，，，，这两层掩模同时决议模子权重的编码和数据在芯片内部的流动路径。。。。。。。。Bajic 体现，，，，，，从拿到一个新模子到天生 RTL（Register Transfer Level，，，，，，寄存器传输级形貌）约莫只需要一周的工程事情量，，，，，，整个从模子到芯片的周期目的是两个月。。。。。。。。
这个两个月的周转速率若是能稳固实现，，，，，，意味着什么？？？？？ ？？？意味着当一个模子在生产情形中被验证有用、用户粘性足够高、预计至少运行一年时，，，，，，Taalas 可以在较短时间内为它制造专用硅片，，，，，，以远低于 GPU 的本钱和功耗来提供推理效劳。。。。。。。。Bajic 认可，，，，，，这种模式要求客户对某个特定模子做出至少一年的允许，，，，，，“一定有许多人不肯意，，，，，，但会有人愿意”。。。。。。。。
那么，，，，，，这种极端专用化能扩展到更大的模子吗？？？？？ ？？？Taalas 给出了他们对 DeepSeek R1 671B 的模拟数据。。。。。。。。671B 参数的模子需要约莫 30 颗芯片协同事情，，，，，，每颗芯片承载约 20B 参数（接纳 MXFP4 名堂，，，，，，并将 SRAM 疏散到自力芯片以提高密度）。。。。。。。。30 颗芯片意味着 30 次增量流片，，，，，，但 Bajic 指出由于每次只改两层掩模，，，，，，增量流片本钱并不高。。。。。。。。
模拟效果显示，，，，，，这套 30 芯片系统在 DeepSeek R1 上可以抵达约 12,000 tokens/s/user，，，，，，而目今 GPU 最优水平约莫在 200 tokens/s/user。。。。。。。。推理本钱约 7.6 美分/百万 token，，，，，，不到 GPU 吞吐优化计划的一半。。。。。。。。
这些数字虽然还停留在模拟阶段。。。。。。。。现实多芯片系统面临的互联、同步、良率等工程挑战不可小觑，，，，，，30 颗大面积芯片协同事情的验证重漂后也是指数级增添的。。。。。。。。Bajic 自己也提到，，，，，，由于芯片完全不可编程，，，，，，“蜕化的余地基本为零”，，，，，，唯一能建设信心的要领就是在流片前对整个模子举行完整的仿真——怎样在合理时间内完成 30 颗芯片的团结仿真，，，，，，自己就是一个重大的工程问题。。。。。。。。Taalas 声称已经建设了可以在大规模盘算集群上运行的仿真流程来应对。。。。。。。。
尚有一个值得关注的细节是，，，，，，HC1 使用了自界说的 3-bit 基础数据类型举行激进量化，，，，，，团结 3-bit 和 6-bit 参数，，，，，，会带来相关于尺怀抱化模子的质量损失。。。。。。。。Taalas 对此并未回避，，，，，，认可模子在质量基准测试中会有退化。。。。。。。。他们的第二代硅平台 HC2 将接纳标准 4-bit 浮点名堂以改善这一问题。。。。。。。。第二款产品预计是一其中等规模的推理模子，，，，，，妄想今年春季在实验室完成，，，，，，随后接入推理效劳。。。。。。。�； ；；；； ；� HC2 平台的前沿大模子则妄想冬季安排。。。。。。。。
目今 AI 推理芯片市场大致可以按专用化水平排列成一个光谱：一端是 Nvidia GPU 这样的高度通用计划； ；；；； ；中心是 Groq、Cerebras、SambaNova 等，，，，，，它们设计了针对 LLM 推理优化的定制架构，，，，，，但仍保存可编程性，，，，，，能运行多种模子； ；；；； ；Etched 更往前走一步，，，，，，专门针对 Transformer 架构设计芯片，，，，，，牺牲部分无邪性换效率； ；；；； ；而 Taalas 直接站在了最最后，，，，，，把一个特定模子焊死在硅片里。。。。。。。。
（泉源：Gemini天生）
这种极端战略的危害很显着。。。。。。。。AI 领域模子迭代速率极快，，，，，，去年的前沿模子今年可能就被镌汰。。。。。。。。若是一颗芯片只能跑一个模子，，，，，，而谁人模子在芯片寿命竣事前就过时了，，，，，，投资就打了水漂。。。。。。。。这也是 Bajic 所说的“为什么之前没人敢走到这个角落”。。。。。。。。但他以为随着行业成熟，，，，，，总有一些模子在现实营业中被恒久使用。。。。。。。。Taalas 产品副总裁 Paresh Kharya（此前曾在 Nvidia 恒久任职）也对 EE Times 体现，，，，，，关于在主要营业场景中运行的模子，，，，，，用户粘性可能一连一年甚至更久。。。。。。。。
商业模式上 Taalas 还在探索。。。。。。。。Kharya 透露了几种可能偏向：自建基础设施运行开源模子并提供 API 推理效劳； ；；；； ；直接向客户出售芯片； ；；；； ；或者与模子开发者相助，，，，，，为他们的模子定制专用芯片供其自有推理基础设施使用。。。。。。。。哪种模式最终能跑通，，，，，，取决于市场对这种极端专用化计划的接受水平。。。。。。。。
不过从纯手艺角度来说，，，，，，Taalas 的计划确实触及了一个被主流蹊径忽略的设计空间。。。。。。。。存算疏散带来的带宽墙（memory wall）是目今推理硬件的焦点瓶颈，，，，，，而 Taalas 通过将权重以 Mask ROM 形式与盘算逻辑同层集成，，，，，，从基础上消除了这个瓶颈。。。。。。。。价钱是无邪性的彻底损失，，，，，，但若是应用场景允许这种刚性，，，，，，换来的性能和本钱优势是实打实的。。。。。。。。
Bajic 还透露，，，，，，Taalas 能用单个晶体管同时存储 4-bit 模子参数并完成乘法运算。。。。。。。。他拒绝透露更多，，，，，，但确认盘算仍然是全数字的。。。。。。。。若是属实，，，，，，这意味着 Taalas 在电路层面实现了一种极为高效的存内盘算（Compute-in-Memory）机制，，，，，，虽然差别于学术界讨论较多的模拟存内盘算计划，，，，，，但目的一致：让数据就地加入运算，，，，，，不再搬来搬去。。。。。。。。
硬接线芯片还带来了一个意想不到的副产品：软件栈的极端简化。。。。。。。。Bajic 说“软件作为一个工具基本消逝了”，，，，，，公司只有一个工程师认真软件栈，，，，，，并且这人还兼顾其他事情。。。。。。。。比照目今 GPU 推理系统中 vLLM、TensorRT-LLM、PagedAttention 等重大软件优化层的工程投入，，，，，，这种简化险些是降维式的。。。。。。。。虽然，，，，，，这种简化是以极端硬件专用化为条件的，，，，，，不具有一样平常性。。。。。。。。
Bajic 在博客中用 ENIAC 到晶体管的演化做类比，，，，，，体现目今以 GPU 数据中心为焦点的 AI 基础设施可能只是早期的“粗笨原型”，，，，，，未来终将被更高效的计划取代。。。。。。。。这个类比有一定原理，，，，，，但也不宜太过引申。。。。。。。。GPU 数据中心的“暴力”不但仅是硬件层面的，，，，，，它背后是整个 CUDA 软件生态、成熟的开发工具链和重大的工程师社区。。。。。。。。倾覆硬件容易，，，，，，倾覆生态难。。。。。。。。Taalas 的芯片或许在特定场景下拥有压倒性的性能和本钱优势，，，，，，但要成为主流蹊径的替换计划，，，，，，需要的远不止一颗跑得快的芯片。。。。。。。。
不过，，，，，，Taalas 可能也从未妄想成为“替换计划”。。。。。。。。Kharya 体现：“模子最优硅片不会取代全是 GPU 的大型数据中心，，，，，，但它会适合某些应用。。。。。。。。”
参考资料：
1.https://taalas.com/the-path-to-ubiquitous-ai/
2.https://www.浙山河海文化创意有限公司eetimes.com/taalas-specializes-to-extremes-for-extraordinary-token-speed/