图片来自Taalas官网
打着“倾覆英伟达”的旗帜的公司，，，，，，总是会连续不断涌现。。。。。 。
最近，，，，，，一家来自加拿大多伦多的芯片“小厂”Taalas引起了AI圈关注。。。。。 。有声音以为，，，，，，它很可能撬动英伟达主宰了多年的AI芯片市场。。。。。 。
外地时间2月20日，，，，，，建设于2023年的首创公司Taalas宣布了首款产品Taalas HC1芯片，，，，，，专为Llama 3.1 8B模子优化，，，，，，接纳30芯片集群时实现每秒12000 tokens的推理速率，，，，，，较古板GPU计划提升50倍能效。。。。。 。
Taalas称，，，，，，公司通过结构化ASIC手艺将芯片定制周期缩短至两个月，，，，，，已累计融资2.19亿美元。。。。。 。24名敬业的员工的起劲，，，，，，投入3000万美元，，，，，，打造出了这款拥有“极致的专业化、速率和能源效率”的产品。。。。。 。
Taalas首创人兼CEO是曾任AMD架构师的业界传奇人物柳比沙·巴伊奇（Ljubi?a Baji?）。。。。。 。
在公司官网的先容文章中，，，，，，巴伊奇称，，，，，，这款芯片选择了Meta公司2024年7月推出的开源大模子Llama 3.1 8B作为运行平台，，，，，，峰值推理速率靠近17000 tokens/秒，，，，，，比现在市场中最先进的手艺快近10倍，，，，，，构建本钱降低到原来的1/20，，，，，，功耗降低至原来的1/10。。。。。 。
截图来自社交平台X
巴伊奇给出了一组测试数据，，，，，，Taalas自己在Llama 3.1 8B上测试了英伟达的主力产品H200和B200，，，，，，效果为230 tokens/秒和353 tokens/秒，，，，，，而Taalas的HC1性能是它们的48倍。。。。。 。
此前这一数据，，，，，，是由自力剖析平台Artificial Analysis测出的最高值，，，，，，来自刚刚完成H轮融资、估值230亿美元的Cerebras，，，，，，为1981 tokens/秒，，，，，，也仅为HC1的11%。。。。。 。
在实测演示中，，，，，，大模子对用户问题的详细解答，，，，，，抵达甚至逾越了“秒回”的水平。。。。。 。
不过，，，，，，AI在大宗回复的一瞬间，，，，，，人类对话者也爆发了扑面而来的榨取感。。。。。 。
图片来自Taalas官网
这一堪称“突破极限”的体现，，，，，，果不其然引起了大宗的讨论。。。。。 。大叫“倾覆将至”者有之，，，，，，质疑其言过着实、太过营销者亦有之。。。。。 。
令我们好奇的是，，，，，，在喧嚣背后，，，，，，Taalas的手艺和产品事实有何特殊之处 ？？？？？又是否当得起其自称的“天下上速率最快、本钱和功耗最低的推理平台”呢 ？？？？？
将模子直接“刻”在芯片上
在研究了其首款产品HC1的相关果真信息之后，，，，，，我们发明，，，，，，Taalas的手艺蹊径，，，，，，与现在市场主流的ASIC蹊径相比，，，，，，极具倾覆性，，，，，，堪称“邪修版”ASIC。。。。。 。
与英伟达和AMD代表的业界主流GPU通用盘算手艺蹊径差别，，，，，，Taalas更靠近ASIC（专用集成电路）蹊径。。。。。 。
这一手艺蹊径通过为特定应用场景定制硬件设计，，，，，，以追求极致能效和本钱效益。。。。。 。虽然它的适用性、功效富厚度、可交流性，，，，，，远低于能笼罩多场景的GPU，，，，，，但自去年以来，，，，，，以谷歌TPU为首，，，，，，ASIC手艺拥有本钱（TCO）低、打造大模子能力绝不逊色等特点，，，，，，获得了市场认可，，，，，，出货量大幅提升。。。。。 。
野村证券展望，，，，，，2026年，，，，，，ASIC芯片的总出货量可能会首次凌驾GPU。。。。。 。而在GPU市场处于两巨头垄断的情形下，，，，，，大大都芯片首创也都选择了ASIC蹊径，，，，，，包括市场着名度较高的Cerebras、SambaNova，，，，，，以及，，，，，，此前刚刚被英伟达将焦点团队纳入囊中的Groq。。。。。 。
巴伊奇在AMD和英伟达都有任职履历，，，，，，之前还建设了一家专注于AI芯片研发的独角兽Tenstorrent公司。。。。。 。Tenstorrent通过开源RISC-V架构和软硬件协同设计，，，，，，降低AI盘算本钱。。。。。 。
而“挑战英伟达垄断职位”，，，，，，一直是巴伊奇所张扬的焦点理念，，，，，，也是Tenstorrent公司备受关注的“招牌”标签。。。。。 。
不过，，，，，，英伟达的生长，，，，，，要远好于AMD及种种AI芯片首创公司，，，，，，巴伊奇也在探索中有了更“极端”的设想。。。。。 。
2022年至2023年间，，，，，，巴伊奇逐渐脱离了此前事情，，，，，，最先妄想开办Taalas。。。。。 。他与他的妻子、曾在AMD任系统工程高级司理莱拉·巴伊奇（Lejla Bajic），，，，，，以及，，，，，，曾任AMD高级设计工程师并在Tenstorrent担当过ASIC设计总监的德拉贡·伊格纳托维奇（Drago Ignjatovic）成为了Taalas团结首创人。。。。。 。
Taalas公司20余人的焦点工程师团队，，，，，，大都来自AMD、苹果、谷歌、英伟达和TensorRent。。。。。 。
2024年，，，，，，Taalas公司完成5000万美元的首轮融资，，，，，，并正式泛起在公众视野。。。。。 。
巴伊奇强调，，，，，，Taalas致力于解决AI生长面临的两大障碍——“高延迟”和“天文数字般的算力本钱”，，，，，，并提出“单芯片性能逾越小型GPU数据中心”这一极具野心，，，，，，甚至显得有些“狂妄”的目的。。。。。 。
资源市场为巴伊奇的野心投票。。。。。 。阻止现在，，，，，，Taalas现在已完成三轮融资，，，，，，总额凌驾2亿美元。。。。。 。
Taalas推行“The Model is The Computer”（这句话也是公司的slogan），，，，，，可以明确为，，，，，，将古板“在盘算装备上运行模子”的范式，，，，，，转变为“模子自己成为盘算装备”。。。。。 。
手艺实现路径上，，，，，，Taalas提出“无需软件，，，，，，直接将模子刻在芯片上”，，，，，，这与古板的ASIC芯片仍需使用软件，，，，，，通过编译历程将软件代码转化为芯片指令差别。。。。。 。
Taalas通过EDA（电子设计自动化）流程，，，，，，将特定大模子直接转化为定制芯片。。。。。 。
也就是说，，，，，，每款使用Taalas的大模子，，，，，，都会拥有专属于自身的定制芯片，，，，，，实现巴伊奇所说的“完全专业化”（Total specialization）。。。。。 。
与此同时，，，，，，算力也挣脱了软件约束和编译历程，，，，，，数据险些不需要在内存和盘算单位之间移动，，，，，，“内存墙”由此消逝，，，，，，推理本钱随之大幅降低，，，，，，推理速率则显著提升。。。。。 。
截图来自社交平台X
现在来看，，，，，，Taalas的主要营业操作流程也较量简朴。。。。。 。大致是客户向Taalas提供自身所需的模子，，，，，，Taalas在一周内将其转化为电路设计，，，，，，通过台积电代工在两个月内交付专属芯片。。。。。 。
可想而知，，，，，，若是Taalas能为每个主流模子，，，，，，都提供出类似HC1在Llama 3.1 8B上那样的性能奔腾，，，，，，那么，，，，，，各大厂商很可能会对其产品趋之若鹜。。。。。 。
现实上，，，，，，包括自力人工智能研究员本杰明·马里（Benjamin Marie）、Devtools创业照料肖恩·王（swyx）等工业界人士和The Next Platform记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒体人士，，，，，，都已在起劲先容Taalas的新产品，，，，，，看好其远景者不在少数。。。。。 。
Taalas的死穴在哪 ？？？？？
不过，，，，，，在舆论热度落地到商用市场之前，，，，，，Taalas尚有许多问题需要被看到。。。。。 。
首先，，，，，，Taalas需要面临的是，，，，，，其产品能否适用更先进、大规模的模子。。。。。 。
2024年，，，，，，Meta推出Llama 3.1时，，，，，，宣布了8B、70B和405B三种参数规模版本，，，，，，Taalas选用的是最小的8B。。。。。 。
很显然，，，，，，在现在大模子进化速率极快、规模越来越大的配景下，，，，，，Taalas的产品能否匹配，，，，，，是否面临显着“天花板”，，，，，，都是必需解决的问题。。。。。 。
巴伊奇称，，，，，，公司将在今年春季推出一款适用中等规模推理模子的产品，，，，，，届时体现怎样，，，，，，值得关注。。。。。 。
与此相关的，，，，，，现在测评体验中，，，，，，不少质疑声音集中在，，，，，，Taalas让本已不算智慧的Llama变得“更笨了”。。。。。 。
一些用户发帖称，，，，，，HC1“幻觉严重”“谜底显着过失，，，，，，质量远低于同参数GPU版”，，，，，，“回覆速率快但错得也快”，，，，，，着适用性不佳。。。。。 。
截图来自社交平台X
现实上，，，，，，关于怎样明确Taalas给出的测试数据，，，，，，也有较多质疑声音。。。。。 。
一位关注芯片工业的喜欢者对作者体现，，，，，，Taalas相当于内置了问题的谜底，，，，，，以是，，，，，，盘算速率“秒杀”英伟达等一众业界翘楚，，，，，，可是，，，，，，将”1+1=2”的问题换为“2*2= ？？？？？”，，，，，，它的体现可能就会“掉链子”。。。。。 。
Taalas能在极其有限的特定场景下“秒杀英伟达”，，，，，，但现在其他英伟达能做的事，，，，，，关于Taalas来说可能更难。。。。。 。
更为要害的问题是，，，，，，Taalas能否跟得上大模子的迭代周期。。。。。 。
一位半导体行业从业者对作者体现，，，，，，Taalas的芯片“体现很牛，，，，，，但现在可能没啥大的用处”，，，，，，由于大模子还在一直迭代，，，，，，而Taalas的迭代能力和速率成疑。。。。。 。
该行业人士以为，，，，，，“要等以后大模子抵达某个层级不再大规模、快速迭代了，，，，，，这种芯片才华有更大舞台”。。。。。 。
而在社交平台上的讨论中，，，，，，不少质疑集中在HC1“模子锁定”的“只读”模式导致的“过时”和“放弃”危害，，，，，，并以为这是其商业化、规�；；；； ；；闹卮笞璋�。。。。。 。
现在，，，，，，一款顶尖大模子能坚持领先优势的时间窗口不过月余，，，，，，而Taalas交付芯片（而非量产）纵然已经很快，，，，，，但也需要至少两个月。。。。。 。
改写AI芯片规则的未来已来
支持HC1前进性的声音也不在少数。。。。。 。
在知乎的相关讨论中，，，，，，中国科学院盘算手艺研究所副研究员赵永威指出，，，，，，虽然Taalas“现在的状态还没有应用价值”，，，，，，但不故障它会成为“一颗有历史意义的芯片”。。。。。 。
他以为，，，，，，这种“硬连线”的模式，，，，，，是未来芯片生长的一大趋势，，，，，，现在的质疑由Taalas来扛，，，，，，厥后者在推广相关看法时就会越发轻松。。。。。 。他也透露，，，，，，自己所在单位也在研究类似手艺蹊径，，，，，，并提到，，，，，，降低经济本钱，，，，，，既是相关蹊径的研究目的，，，，，，也应该是宣传发力点所在。。。。。 。
着名科技记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，，，，，，Taalas确实需要模子的每一次更新中重新设计芯片，，，，，，但其在推理引擎上蚀刻新模子，，，，，，只需要更改设计中的两层金属，，，，，，而不是完全放弃。。。。。 � ？？？？Ｋ剂康窖盗纺Ｗ拥谋厩叽锸诿涝�，，，，，，Taalas芯片的更新本钱微缺乏道。。。。。 。
摩根以为，，，，，，在主要模子宣布距离时间延伸，，，，，，人们对成熟模子依赖度增添时，，，，，，Taalas芯片有望赢得更普遍的市场认可。。。。。 。
也有一些剖析称，，，，，，得益于低延迟、低功耗的特征，，，，，，Taalas真正的用武之地或在于边沿推理场景，，，，，，好比，，，，，，机械人、自动驾驶汽车，，，，，，甚至高端智能手机等装备中。。。。。 。这些装备不需要运行所有模子，，，，，，只需要稳固运行定制化的模子，，，，，，而更快的速率和更低的消耗，，，，，，显然更有利于工业普及AI大模子。。。。。 。
不过，，，，，，即即是相关产品能真正规�；；；； ；；亟胧谐〔⒋笳谷�，，，，，，新的状态和问题也会随之浮现。。。。。 。
好比，，，，，，大模子的底层架构（Transformer）是否会遭遇另一场“革命” ？？？？？这似乎决议着“模子即芯片”手艺蹊径的运气。。。。。 �；；；； ；Ｉ杏�，，，，，，生态系统建设的问题，，，，，，英伟达虽然是硬件公司，，，，，，但CUDA软件生态和开发者的重度依赖，，，，，，才是其真正的护城河，，，，，，而这也是Taalas看中且有意倾覆的。。。。。 。
但这些都是后话了，，，，，，至少现在来看，，，，，，Taalas距离英伟达还很遥远，，，，，，更遑论“倾覆英伟达”了。。。。。 。然而，，，，，，巴伊奇在这条路上依旧活动一直，，，，，，Taalas宣布，，，，，，妄想在今年冬季推出第二代HC2产品，，，，，，将具备更快的执行速率和更强的性能。。。。。 。
届时，，，，，，一代产品的市场反响和二江苏苏港物流生长有限公司代产品的迭代效果，，，，，，将进一步验证今天各方对这股横空出生的新势力的判断。。。。。 。（作者｜胡珈萌，，，，，，编辑｜李程程）