Transformer 是目今 LLM 大生长的焦点基�。。。。。。。。�，，，，但也有不少顶尖研究者更愿意探索其它蹊径。。。。。。。。在这其中，，，，，甚至包括 Transformer 的创立者之一、Sakana AI 首创人联创兼 CTO Llion Jones。。。。。。。。他今天还在 Sakana 的官推上发了一篇博客，，，，，问题便赫然是《为什么 Transformer 的这位创立者受够了 Transformer》。。。。。。。。
https://x.com/SakanaAILabs/status/2016844349188034922
「我不是说我们应该扔掉 Transformer。。。。。。。。但就我小我私家而言，，，，， 我正在大幅镌汰研究它们的时间。。。。。。。。我明确地在寻找下一个目的。。。。。。。。」他写道，，，，，「让我们一起加大探索力度。。。。。。。。别再纠缠于统一个地方，，，，，去寻找下一座岑岭吧。。。。。。。。」
也恰在今天，，，，，The Information 报道展现了前 OpenAI 研究 VP Jerry Tworek 建设的一家正在探索「下一座岑岭」的新创业公司Core Automation。。。。。。。。
在效力 OpenAI 时代，，，，，Tworek 曾担当研究副总裁，，，，，认真强化学习领域的事情。。。。。。。。别的，，，，，他照旧 OpenAI 推理模子、编程工具和 AI 智能体开发的要害孝顺者。。。。。。。。
据知情人士透露，，，，，Core Automation 刚建设几周时间，，，，，现在正追求 5 亿至 10 亿美元的融资。。。。。。。。
报道说，，，，，凭证向潜在投资者展示的质料，，，，，Tworek 妄想接纳一种与 OpenAI、Anthropic 等大厂截然差别的路径来开发 AI 模子。。。。。。。。知情人士称，，，，，他希望打造具备「一连学习」（Continual Learning）能力的模子，，，，，即能够从现实天下的实践中即时获取知识。。。。。。。。而现有的 AI 模子尚不具备这种「边练边学」的能力。。。。。。。。
现在，，，，，这位研究员的创业妄想尚处于早期阶段，，，，，其融资规模和产品路径仍可能爆发变换。。。。。。。。若是乐成，，，，，或许我们可将 Core Automation 与 Safe Superintelligence 和 Thinking Machines Lab 并称为探索非 Transformer 偏向的「OpenAI 三子」。。。。。。。。
事实上，，，，，Core Automation 不是孤例，，，，，而是代表了业内一个规模虽小但日益壮大的群体。。。。。。。。这些研究职员以为 AI 领域需要一场「彻底的厘革」。。。。。。。。
在他们看来，，，，，目今主流的模子开发手艺虽然盛行，，，，，但很难让 AI 在生物、医学等领域取得重大突破，，，，，且无法根除 AI 经常犯初级过失的顽疾。。。。。。。。
据相识，，，，，Tworek 本月初脱离 OpenAI，，，，，并在 X 上写道，，，，，此举是为了「探索那些在 OpenAI 内部难以推进的研究偏向」。。。。。。。。
在融资质料中，，，，，Core Automation 体现仍会使用大型神经网络 —— 这是当今前沿模子底层的数学基础。。。。。。。。但公司将重新审阅模子开发的每一个环节，，，，，甚至包括训练神经网络的最基本要领「梯度下降」（Gradient Descent）。。。。。。。。
知情人士体现，，，，，Tworek 妄想开发一种对数据量和盘算资源需求更低的模子。。。。。。。。他们将通过构建全新的架构来取代现在统治市场的 Transformer 架构。。。。。。。。别的，，，，，Tworek 还希望将原本割裂的模子训练办法整合为简单的流程。。。。。。。。
Transformer 架构
在追求「一连学习」这一目的上，，，，，Core Automation 与另一家实验室 Safe Superintelligence（由前 OpenAI 首席科学家 Ilya Sutskever 配合建设）不约而同。。。。。。。。Sutskever 此前也表达过类似的愿景，，，，，即希望模子能够通过在现实天下中的安排来一直进化。。。。。。。。别的，，，，，从 Meta 去职的 Yann LeCun 也在探索类似的偏向。。。。。。。。
虽然，，，，，OpenAI 和 Anthropic 等巨头也并未忽视「一连学习」。。。。。。。。
一些研究者以为，，，，，通过对现有基于 Transformer 的模子举行微调，，，，，同样可以实现类似的学习特征，，，，，而无需彻底推倒重来。。。。。。。。
媒体体现，，，，，Tworek 弘大的融资目的反应了资源市场对「新实验室」的一连狂热。。。。。。。。近几个月来，，，，，只管许多此类公司尚无收入甚至没有产品，，，，，但动辄就能拿到数亿美元的投资。。。。。。。。
例如：首创公司 Humans& 本月以 44.8 亿美元的估值拿下了 4.8 亿美元种子轮融资，，，，，投资者包括英伟达和贝佐斯；；；；；Mira Murati 的 Thinking Machines Lab 最近也在洽谈一笔 40 亿至 50 亿美元的融资，，，，，投后估值预计凌驾 500 亿美元。。。。。。。。不过相比之下，，，，，Thinking Machines 希望更快，，，，，去年已推出了模子定制产品并爆发了部分收入。。。。。。。。
Tworek 早在 2019 年就加入了 OpenAI。。。。。。。。在他的构想中，，，，，Core Automation 的研究团队将围绕一个名为「Ceres」（取自罗马谷物女神及矮行星之名）的简单算法和模子睁开事情。。。。。。。。这与主流厂商的做法截然不同。。。。。。。。通常，，，，，大型模子的训练会分为预训练（使用海量互联网数据）、中期训练和针对编程、医疗等领域的后期微调。。。。。。。。
凭证 Tworek 的目的，，，，，这款模子所需的数据量将比现有最先进模子少 100 倍。。。。。。。。
模子研发乐成后，，，，，公司将开发 AI 智能体来自动化生产自己的产品。。。。。。。。其远景妄想首先是工业自动化，，，，，最终目的甚至包括制作「自我复制工厂」、研制自动天生定制设计的生物机械，，，，，以致于刷新地外行星的生态。。。。。。。。
你看好这些新偏向的探索吗？？？？？<卓越芯创科技有限公司/p>