谷歌最资深的传奇人物之一杰夫钧科自动化妆备有限公司·迪恩（Jeff Dean）的开年访谈来了。。。。。。。。自 1999 年加入谷歌至今，，，，，，他堪称是谷歌稳若磐石般的保存，，，，，，不但是打下谷歌手艺基石的涤讪者，，，，，，也是谷歌 AI 的焦点推动者之一。。。。。。。。
图 | 杰夫·迪恩（Jeff Dean）（泉源：Google）
从早期的 MapReduce、BigTable 等谷歌基础设施，，，，，，到引领深度学习的规�；；；；；；；；锩�，，，，，，再到现在主导 Gemini 系列模子的研发，，，，，，他的手艺事业贯串了谷歌的整个生长历史。。。。。。。。
在 2026 年 2 月的这场开年访谈中，，，，，，他谈到了人类未来可能会拥有自己的小我私家专属 Gemini，，，，，，能在经允许后会见小我私家邮件和照片在内的你的所有网络内容。。。。。。。。
他还提到了 AI 能力的演进：“最终一定个不是 10,000 tokens 的代码，，，，，，而是 1,000 tokens 的代码，，，，，，背后带着 9,000 tokens 的推理历程。。。。。。。。这现实上可能是更好读的代码。。。。。。。。”这句话展现了 AI 生长的新偏向之一，，，，，，那就是让模子在思索上破费更多时间，，，，，，而非纯粹地追求输出规模。。。。。。。。
在这场横跨硬件、模子与未来预言的深度对话中，，，，，，Jeff Dean 用他贯串谷歌四分之一个世纪的手艺视野，，，，，，为我们勾勒出 AI 生长的清晰脉络。。。。。。。。从蒸馏到希罕，，，，，，从 TPU 到万亿 tokens 的幻觉，，，，，，最终指向谁人质朴而深刻的真理，，，，，，未来的代码或许更短，，，，，，但藏在背后的思索将更长。。。。。。。。
以下为 DeepTech 基于采访原文做的访谈整理。。。。。。。。
访谈全文：
关于帕累托前沿
主持人：能请到你来演播室，，，，，，感受有点不太真实。。。。。。。。我看过你太多的演讲，，，，，，你的职业生涯堪称传奇。。。。。。。。我想首先必需得说，，，，，，恭喜你登上了帕累托前沿。。。。。。。。（编者注：帕累托前沿指在资源有限的情形下，，，，，，无法在不损害另一目的的条件下让某个目的变得更好。。。。。。。。Jeff Dean 团队在模子性能和效率上都做到了极致，，，，，，占有了这片前沿地带。。。。。。。。）
Jeff Dean：谢谢。。。。。。。。帕累托前沿是个好工具，，，，，，能站在上面感受很好。。。。。。。。
主持人：我以为这是两方面的团结。。。。。。。。你既要站在能力的前沿，，，，，，也要兼顾效率，，，，，，然后提供人们喜欢使用的谁人模子系列。。。。。。。。这其中的一部分始于你们的硬件事情，，，，，，一部分是你们的模子事情。。。。。。。。我信托你们累积研究了许多窍门，，，，，，但看到所有这些汇聚在一起，，，，，，一直推动前沿向宿世长，，，，，，真的很令人印象深刻。。。。。。。。
Jeff Dean：是的，，，，，，这不但仅是简单的一件事。。。。。。。。而是整个手艺栈从上到下的一整套工具。。。。。。。。你知道，，，，，，所有这些团结在一起，，，，，，让我们能够训练出能力超强的大模子。。。。。。。。同时，，，，，，也通过软件手艺，，，，，，将那些大模子的能力提炼到更小、更轻量的模子中，，，，，，这些模子本钱效益更高、延迟更低，，，，，，但就其规模而言，，，，，，仍然相当有能力。。。。。。。。
主持人：在坚持帕累托前沿的底线方面，，，，，，你们有多大压力 ？ ？？？？？我以为首创公司总是试图攻击最高性能的前沿，，，，，，由于他们需要筹集更多资金之类的。。。。。。。。而你们拥有数十亿的用户。。。。。。。。我想，，，，，，最初你们在打造数据中心时，，，，，，会思量到若是每个使用谷歌的人，，，，，，天天用PT视讯(中国区)官网语音模子三分钟，，，，，，那你们需要的算力数目就要翻倍。。。。。。。。现在在谷歌内部，，，，，，这种讨论是怎样的呢 ？ ？？？？？好比，，，，，，你们怎样权衡追求前沿与“若是我们造出来了，，，，，，就得现实安排它”这二者之间的关系 ？ ？？？？？
Jeff Dean：我以为我们总是希望拥有处于前沿或能够推动前沿的模子，，，，，，由于这样你才华看到，，，，，，与去年、与六个月前能力稍逊的版内情比，，，，，，现在泛起了哪些以前不保存的新能力。。。。。。。。这些前沿模子对许多应用场景会很是有用，，，，，，但关于其他更普遍的应用场景来说，，，，，，它们可能会有点慢，，，，，，也有点贵。。。。。。。。以是，，，，，，我以为我们想做的，，，，，，是始终拥有一种能力很强、价钱又亲民的模子，，，，，，它能够支持大宗低延迟的应用场景。。。。。。。。人们可以更自若地用它来做智能体编程，，，，，，同时我们也有高端的、处于前沿的模子，，，，，，它关于深度推理、解决极其重大的数学问题这类事情很是有用。。。。。。。。
并不是说这一个或那一个才有用，，，，，，它们都有用。。。。。。。。以是，，，，，，我以为我们两者都要做。。。。。。。。蒸馏是让小型模子能力更强的一个要害手艺，，，，，，你必需先有前沿模子，，，，，，然后才华把它蒸馏到你的小型模子里。。。。。。。。以是这不是一个二选一的问题。。。。。。。。为了真正获得一个能力强盛但规模适中的模子，，，，，，你某种水平上需要谁人前沿模子。。。。。。。。
关于蒸馏
主持人：你和杰弗里·辛顿（Geoffrey Hinton）、尚有 Oriol 在 2014 年就提出了这个计划。。。。。。。。（编者注：奥里奥尔·维尼亚尔斯（Oriol Vinyals）是 Google DeepMind 的研究副总裁，，，，，，也是 Gemini 项目的团结手艺认真人。。。。。。。。他于 2013 年加入 Google，，，，，，是序列到序列学习（seq2seq）和知识蒸馏手艺的开创者之一。。。。。。。。）
Jeff Dean：尚有 Andrew 也是。。。。。。。。（编者注： Andrew Dai 是谷歌 DeepMind 的资深研究员，，，，，，2012 年就已加入谷歌。。。。。。。。他曾与 Jeff Dean 等人合著多篇论文，，，，，，并担当过 Gemini 模子预训练数据事情的团结认真人。。。。。。。。）
主持人：我很好奇，，，，，，你怎么看待这些想法的循环周期 ？ ？？？？？好比，，，，，，希罕模子也是。。。。。。。。你怎么评估它们 ？ ？？？？？在开发下一代模子时，，，，，，你怎么思量哪些工具值得重新审阅 ？ ？？？？？你研究过那么多想法，，，，，，它们都很有影响力，，，，，，但在其时，，，，，，感受可能并非云云。。。。。。。。
Jeff Dean：我以为蒸馏最初的念头是由于其时我们有一个很是大的图像数据集，，，，，，或许三亿张图像，，，，，，我们可以用来训练，，，，，，我记得或许有两万个种别，，，，，，比 ImageNet 大多了。。。。。。。。我们其时发明，，，，，，若是你为这些图像类别的差别子集建设专家模子，，，，，，好比这个模子特殊善于识别哺乳动物，，，，，，谁人模子特殊善于识别室内场景之类的，，，，，，你可以将这些种别聚类，，，，，，在更普遍的图像集上举行预训练后，，，，，，再用增强的数据流举行训练。。。。。。。。若是你把训练好的那几十个模子看成一个大的集成模子，，，，，，性能会好许多。。。。。。。。
但这关于效劳安排来说，，，，，，不太现实，，，，，，对吧 ？ ？？？？？以是，，，，，，蒸馏的想法就泉源于：若是我们真想安排这个工具，，，，，，逊有这些自力的专家模子，，，，，，然后把它们压缩成一个现实能安排的形式，，，，，，该怎么办 ？ ？？？？？这和我们现在做的也没什么差别。。。。。。。。现在，，，，，，我们往往不是用 50 个模子的集成，，，，，，而是有一个规模大得多的模子，，，，，，然后把它蒸馏成一个规模小得多的模子。。。。。。。。
主持人：我有时也在想，，，，，，蒸馏是否也与强化学习革命有关联。。。。。。。。让我试着叙述一下我的意思：你可以通过强化学习在漫衍的某个特定部分提升模子能力。。。。。。。。你可以针对模子举行强化，，，，，，但这通� ？ ？？？？？赡芑嵩谄渌煊蛟斐伤鹗А�。。。。。。。这是一种不太平衡的手艺，，，，，，但你也允许以再把它蒸馏回来。。。。。。。。我以为，，，，，，一个普遍的梦想是，，，，，，能够在不导致其他任何方面退步的情形下提升能力。。。。。。。。这种能力合并而不损失的历程。。。。。。。。我感受，，，，，，某种水平上，，，，，，这应该是一个蒸馏历程，，，，，，但我没法完全说清晰。。。。。。。。我没看到太多相关的论文。。。。。。。。
Jeff Dean：我倾向于以为蒸馏的一个要害优势在于，，，，，，你可以有一个小得多的模子，，，，，，同时拥有一个很是大的训练数据集。。。。。。。。你可以从多次遍历这个数据集中获得效用，，，，，，由于你现在从大模子中获得了 logits，，，，，，这有助于指导小模子体现出准确的行为，，，，，，而仅仅使用硬标签是做不到这一点的。。。。。。。。
以是我以为我们视察到的是，，，，，，通过蒸馏要领你可以获得与大模子性能“很是靠近”的效果。。。。。。。。对许多人来说，，，，，，这似乎是一个很好的平衡点，，，，，，在 Gemini 的好几代模子中都是云云。。。。。。。。我们已经能够让下一代模子的 Flash 版本，，，，，，抵达甚至远超上一代 Pro 版本的水平。。。。。。。。我以为我们会继续起劲这样做，，，，，，由于这似乎是个值得遵照的好趋势。。。。。。。。（编者注：“logits”是指模子在最终通过 softmax 层输出概率之前，，，，，，那一层的原始输出向量包括了比“是/否”硬标签更富厚的软信息。。。。。。。。）
主持人：原来你们的产品线是 Flash、Pro 和 Ultra。。。。。。。。你们是直接把 Ultra 放在那里，，，，，，作为西席模子去蒸馏出其他模子的吗 ？ ？？？？？它就相当于旗舰或者说母舰一样的保存 ？ ？？？？？
Jeff Dean：我们有许多差别类型的模子。。。。。。。。有些是内部的，，，，，，纷歧定宣布或提供效劳。。。。。。。。有些是PT视讯(中国区)官网 Pro 规模模子，，，，，，我们也可以从它蒸馏出PT视讯(中国区)官网 Flash 规模模子。。。。。。。。以是我以为，，，，，，这是一套很主要的能力。。。。。。。。并且，，，，，，推理时扩展也可以是一种提高模子能力的有用要领。。。。。。。。
主持人：我以为 Flash 的量大管饱让它占有了统治职位。。。。。。。。我听到的最新数字是 50 万亿 tokens。。。。。。。。我不知道，，，，，，显然天天都在变。。。。。。。。但你知道，，，，，，按市场份额算。。。。。。。。
Jeff Dean：希望是往上涨。。。。。。。。
主持人：不，，，，，，我的意思是，，，，，，从经济学角度看，，，，，，由于 Flash 很是经济，，，，，，你可以把它用在所有地方。。。。。。。。它现在就在 Gmail 里，，，，，，在 YouTube 里，，，，，，无处不在。。。。。。。。
Jeff Dean：我们在搜索产品中也更多地使用它，，，，，，好比 AI 模式、AI 摘要。。。。。。。。
主持人：是的，，，，，，Flash 驱动了 AI 模式。。。。。。。。是的，，，，，，我之前就该想到的。。。。。。。。
Jeff Dean：我的意思是，，，，，，我以为 Flash 模子一个很是好的地方，，，，，，不但是它更实惠，，，，，，并且延迟也更低。。。。。。。。我以为延迟现实上是这些模子一个很是主要的特征，，，，，，由于我们希望模子能做更重大的事情，，，，，，这涉及到从你要求模子做事到它现实完成之间，，，，，，需要天生更多的 tokens。。。。。。。。由于你现在要求的，，，，，，不但是“给我写个 for 循环”，，，，，，而是“给我写一整个软件包来做某某事”。。。。。。。。以是，，，，，，拥有能够做到这一点的低延迟系统，，，，，，看起来至关主要。。。。。。。。Flash 是实现这一点的一个偏向和一种方法。。。。。。。。显然，，，，，，PT视讯(中国区)官网硬件平台也为我们效劳栈的许多有趣方面提供了可能，，，，，，好比 TPU 芯片间的互连性能很是高，，，，，，很是有利于例如长上下文的注重力操作。。。。。。。。拥有包括大宗专家的希罕模子，，，，，，这些工具关于怎样让模子在大规模下可效劳真的、真的很主要。。。。。。。。（编者注：“for 循环”是编程中的基础看法，，，，，，指一段重复执行特定次数的代码结构。。。。。。。。）
主持人：关于像 Flash 蒸馏这种差未几晚一代的模式，，，，，，会不会感受保存某个突破点 ？ ？？？？？我经常在想，，，，，，差未几就像某些使命上的能力渐近线。。。。。。。。今天的 Pro 模子在某种使命上可能已经饱和了。。。。。。。。那么下一代，，，，，，同样的使命会在 Flash 的价钱点上饱和。。。。。。。。并且我以为，，，，，，关于人们使用模子的大部分事情来说，，，，，，到某个时间，，，，，，两代之后的 Flash 模子基本上就能做所有事了。。。。。。。。那么，，，，，，当大部分用户都对 Flash 模子感应知足时，，，，，，你怎样让继续推动 Pro 前沿这件事在经济上划算呢 ？ ？？？？？我很好奇你怎么看这个问题。。。。。。。。
Jeff Dean：若是人们要求模子做的事情漫衍稳固，，，，，，那确实云云。。。。。。。。但我以为，，，，，，通常情形下，，，，，，随着模子能力变得更强，，，，，，人们会要求它们做更多的事情。。。。。。。。以是，，，，，，我以为这在我自己的使用中也爆发了。。。。。。。。一年前，，，，，，我会用PT视讯(中国区)官网模子来做一些编程使命。。。。。。。。它在一些简朴的事情上还行，，，，，，但在更重大的事情上就效果不佳。。。。。。。。从那以后，，，，，，我们在更重大的编程使命上取得了重大的前进。。。。。。。。现在我会让它做重大得多的事情。。。。。。。。
并且我以为，，，，，，这不但限于编程。。。。。。。。好比，，，，，，现在你可以问：“你能剖析一下全球所有的可再生能源安排情形，，，，，，给我一份关于太阳能电池板安排的报告吗 ？ ？？？？？” 这是一个很是重大的使命，，，，，，比一年前人们通�；；；；；；；；嵛实氖姑卮蟮枚唷�。。。。。。。以是，，，，，，在某种意义上，，，，，，你会需要能力更强的模子，，，，，，来拓展人们要求模子去完成的使命的界线。。。。。。。。这也反过来给了我们灵感：模子在哪些地方会失效 ？ ？？？？？我们怎样在这些特定领域刷新模子，，，，，，以便让下一代变得更好。。。。。。。。
（泉源：Gemini 天生）
关于 benchmark
主持人：你们内部会用什么 benchmarks 或测试集吗 ？ ？？？？？由于险些每次报道的都是同样的 benchmarks。。。。。。。。就像从 90 分酿成了 97 分。。。。。。。。你怎样一连推动团队内部，，，，，，告诉他们“这就是我们要起劲的偏向” ？ ？？？？？
Jeff Dean：我以为 benchmarks 尤其是那些果真的外部 benchmarks 有其用处，，，，，，但它们往往有一个效用生命周期。。。。。。。。它们被引入时，，，，，，可能对其时的模子来说相当难。。。。。。。。我喜欢这么想：最好的 benchmarks 是那些初始得分在 10% 到 20% 或 30% 左右的，，，，，，而不是更高的。。。。。。。。
然后你可以致力于提高该 benchmark 旨在评估的某种能力，，，，，，把它提升到 80%、90% 或其他任何水平。。。。。。。。我以为一旦它抵达 95% 左右，，，，，，若是真的一门心思扑在这个 benchmark 上，，，，，，能获得的回报会越来越少。。。。。。。。由于这要么意味着你已经具备了那种能力，，，，，，要么就保存果真数据泄露或者很是相关的数据混入了训练数据的问题。。。。。。。。
以是我们有一整套保密的内部 benchmarks 来真正评估模子。。。。。。。。我们知道这些数据完全不在训练集中，，，，，，它们代表了我们希望模子拥有但现在还不具备的能力。。。。。。。。然后我们就可以着手评估：我们怎样让模子在这些方面变得更好 ？ ？？？？？是我们需要差别类型、更专门针对这类使命的数据来训练 ？ ？？？？？照旧我们需要一些架构上的刷新，，，，，，或者某种模子能力的提升 ？ ？？？？？什么会资助刷新它 ？ ？？？？？
主持人：有没有这样一个例子，，，，，，某个 benchmark 引发了一个架构上的刷新 ？ ？？？？？
Jeff Dean：Gemini 模子的一些长上下文能力，，，，，，着实最早或许是在 1.5 版本就最先结构了。。。。。。。。
主持人：我其时就在想，，，，，，各人怎么能在统一时间都练成这个的 ？ ？？？？？
Jeff Dean：正如你所说，，，，，，谁人考察细颗粒度的 benchmark，，，，，，至少在 128K 左右的上下文长度上，，，，，，现在已经饱和了。。。。。。。。我以为现在大大都人现实上并没有用到远超 128K 或 256K 的上下文。。。。。。。。而我们正试图将前沿推进到 100 万或 200 万上下文。。。。。。。。
主持人：我以为谷歌仍然是这方面的领先者。。。。。。。。
Jeff Dean：这很好，，，，，，由于我以为有许多应用场景，，，，，，好比把上千页的文本，，，，，，或者多个长达一小时的视频放到上下文中，，，，，，然后能够现实使用起来，，，，，，这很是有用。。。。。。。。但谁人简朴的考察细颗粒度的 benchmark 已经饱和了。。。。。。。。以是你真正想要的是更重大、更贴近现实的场景：读完所有内容，，，，，，最后给出谜底。。。。。。。。这样才华更好地评估人们真正想用长上下文做什么，，，，，，而不但仅是“你能告诉我这个特定工具的产品编号吗 ？ ？？？？？” 那样只是检索。。。。。。。。
主持人：没错，，，，，，是在机械学习中举行检索。。。。。。。。我想探讨的更深一层的问题是：当你手握一个 benchmark ，，，，，，发明了一个能搞定它的架构技巧，，，，，，这时你会怎么做 ？ ？？？？？由于有时间你知道那实质上是在引入一个归纳偏置。。。。。。。。就像以前在谷歌事情的 Jason 会说的那样，，，，，，差未几就是这个意思。。。。。。。。短期内你会赢，，，，，，但恒久来看，，，，，，我不知道这是否能扩展，，，，，，你可能之后得推翻重来。。。。。。。。（编者注：Jason 指曾在谷歌大脑事情的著名 AI 科学家 Jason Wei。。。。。。。。他最为人所知的孝顺是提出了头脑链看法，，，，，，是大模子推理领域的开创性人物，，，，，，厥后加入 OpenAI 成为 o1 模子的要害涤讪人之一。。。。。。。。）
Jeff Dean：我倾向于不拘泥于详细的解决计划，，，，，，而是聚焦于我们究竟想要什么能力。。。。。。。。并且我深信长上下文很是有用，，，，，，但今天它的长度还远远不敷，，，，，，对吧 ？ ？？？？？我以为你真正想要的是，，，，，，能不可在我回覆问题的时间，，，，，，关注整个互联网 ？ ？？？？？但这无法通过纯粹扩展现有的（重漂后是二次的）计划来解决。。。。。。。。以是，，，，，，100 万 tokens 已经靠近现有计划的极限了。。。。。。。。你不可能做到 1 万亿 tokens，，，，，，更别说 10 亿 tokens 了，，，，，，更别提一万亿。。。。。。。。
但我以为，，，，，，若是你能营造出可以关注万亿 tokens 的幻觉，，，，，，那就太棒了。。。。。。。。你会为它找到种种用途。。。。。。。。你就能关注整个互联网。。。。。。。。你可以关注 YouTube 的像素，，，，，，以及我们可以为单个视频形成的更深层体现，，，，，，并且是跨越许多视频的。。。。。。。。在小我私家 Gemini 层面，，，，，，在你允许的情形下，，，，，，你可以关注你所有的小我私家状态。。。。。。。。好比你的邮件、你的照片、你的文档、你的机票。。。。。。。。我以为那真的、真的会很是有用。。。。。。。。问题在于，，，，，，你怎样通过算法层面的刷新和系统层面的刷新来打造一些要领，，，，，，让你能够真正以有意义的方法关注万亿级别的 tokens。。。。。。。。
主持人：顺便提一下，，，，，，我算过，，，，，，若是你天天说八小时的话，，，，，，天天一直地说，，，，，，最多也只能爆发约莫 10 万 tokens。。。。。。。。这应该能很惬意地放进上下文了。。。。。。。。
Jeff Dean：对啊，，，，，，那要是再加上一个要求：我想明确各人上传到视频里的每一帧画面呢 ？ ？？？？？
（泉源：Gemini 天生）
关于多模态
主持人：尚有一个经典的例子是，，，，，，当谷歌最先逾越语言，，，，，，进入卵白质或者其他信息密度极高的领域。。。。。。。。
Jeff Dean：我以为 Gemini 的多模态特征之一，，，，，，就是我们从一最先就希望它是多模态的。。。。。。。。以是，，，，，，有时这对人们来说意味着文本、图像和视频，，，，，，以及音频这些人类相关的模态。。。。。。。。但我以为，，，，，，让 Gemini 相识非人类模态也很是有用。。。。。。。。好比来自 Waymo 车辆的激光雷达传感器数据，，，，，，或者来自机械人的数据，，，，，，或者种种康健模态的数据，，，，，，好比 X 光片、核磁共振成像、基因组信息。。。。。。。。
我以为可能有上百种数据模态，，，，，，你会希望模子能够至少接触到这样一个事实：这是一个有趣的模态，，，，，，在天下上有特定的寄义。。。。。。。。这样，，，，，，纵然你没有在所有激光雷达数据或核磁共振成像数据上训练过，，，，，，由于也许从你在主要预训练数据混淆中的权衡来看，，，，，，包括这些数据不对理，，，，，，但至少包括一点点现实上是很是有用的，，，，，，由于它能提醒模子，，，，，，天下上有这个工具保存。。。。。。。。
主持人：既然我们聊到这个话题了。。。。。。。。有些问题我正好可以问问你，，，，，，是否保存某些王炸模态，，，，，，凌驾于所有其他模态之上 ？ ？？？？？举个简朴的例子，，，，，，视觉可以在像素层面编码文本，，，，，，DeepMind 有篇论文就是这么做的。。。。。。。。视觉也被证实可能可以融合音频，，，，，，由于你可以做音频的语谱图，，，，，，这也可以被视为一种视觉能力。。。。。。。。以是也许视觉就是谁人要害模态 ？ ？？？？？
Jeff Dean：我的意思是，，，，，，视觉和运动是相当主要的工具。。。。。。。。我们选择视频，，，，，，而非静态图像。。。。。。。。生命进化之以是把眼睛这个器官自力发明了 23 次，，，，，，不是没有缘故原由的。。。。。。。。由于感知你周围的天下是云云有用的能力。。。。。。。。这正是我们希望这些模子能够做到的：解读我们看到或关注的事物，，，，，，然后使用这些信息资助我们做事。。。。。。。。
主持人：我以为 Gemini 仍然是现在唯一原生具备视频明确能力的模子，，，，，，以是我一直在 YouTube 上用它。。。。。。。。
Jeff Dean：现实上，，，，，，我以为人们纷歧定意识到 Gemini 模子在处置惩罚视频方面能做什么。。。。。。。。我在一次演讲中用过一个例子。。。。。。。。那是一个 YouTube 精彩集锦视频，，，，，，搜集了已往 20 年里 18 个难忘的体育时刻之类的。。。。。。。。内里有迈克尔·乔丹（Michael Jordan）在总决赛最后时刻的跳投，，，，，，尚有一些足球进球等等。。。。。。。。你可以直接把视频给它，，，，，，然后说：“你能帮我做个表格吗 ？ ？？？？？列出所有这些差别的事务，，，，，，爆发的时间，，，，，，以及简短形貌。。。。。。。。”然后你就会获得一个 18 行的表格，，，，，，内里是从视频中提取出来的信息。。。。。。。。你知道吗，，，，，，这种把视频直接酿成表格的能力，，，，，，一样平常人基础想不到。。。。。。。。
（泉源：Gemini 天生）
关于 AI 搜索
主持人：谷歌内部有没有讨论过，，，，，，就像你提到的，，，，，，要关注整个互联网 ？ ？？？？？谷歌的保存，，，，，，很洪流平上就是由于人类无法关注整个互联网，，，，，，需要某种排序来找到需要的工具。。。。。。。。这种排序关于大模子来说会大不相同，，，，，，由于你可以期望用户审查谷歌搜索效果中排名前五六的链接。。。。。。。。而关于大模子，，，，，，你是否应该期望它有 20 个高度相关的链接 ？ ？？？？？你们内部是怎样思索，，，，，，怎样构建 AI 模式的 ？ ？？？？？那种模式，，，，，，可能需要比面向人类的搜索更普遍、跨度更大。。。。。。。。
Jeff Dean：我以为纵然在语言模子泛起之前，，，，，，PT视讯(中国区)官网排序系统也是从一个重大的网页索引库最先的。。。。。。。。其中许多网页是不相关的。。。。。。。。以是你会用很是轻量级的要领，，，，，，先识别出一个相关的子集，，，，，，好比筛选到 3 万个文档左右。。。。。。。。然后你逐步细化，，，，，，应用越来越重大的算法和种种信号，，，，，，最终获得你展示给用户的工具，，，，，，也就是最终的 10 条效果，，，，，，或者 10 条效果加上其他信息。。。。。。。。我以为一个基于大模子的系统也不会有什么差别，，，，，，你会去关注万亿级别的 tokens，，，，，，但你会想先识别出，，，，，，或许哪 3 万个左右的文档（或许有 3,000 万感兴趣的 tokens）是相关的 ？ ？？？？？然后你怎样从这 3 万缩小到那 117 个我应该真正关注的文档，，，，，，以便完成用户要求我做的使命 ？ ？？？？？
我以为，，，，，，你可以想象这样一个系统：你有大宗高度并行的处置惩罚，，，，，，可能用很是轻量级的模子来识别最初的 3 万个候选。。。。。。。。然后你有一些系统，，，，，，可能用稍微重大一点的模子或模子集，，，，，，帮你从 3 万缩小到 117 个。。。。。。。。最后，，，，，，最终的模子可能是你能力最强的模子，，，，，，它来审阅这 117 个工具。。。。。。。。以是我以为会是这样的系统。。。。。。。。这种系统让你能够营造出关注万亿 tokens 的“幻觉”，，，，，，就像你用谷歌搜索，，，，，，并不是爆发了什么幻觉，，，，，，而是你真的在检索整个互联网，，，，，，只不过最终看到的只是一个极小的相关子集。。。。。。。。
主持人：我经常告诉许多不熟悉谷歌搜索历史的人，，，，，，你看，，，，，，BERT 险些连忙就被用到了谷歌搜索里，，，，，，它极大地提升了搜索效果的质量。。。。。。。。我手头没有详细数字，，，，，，但我敢一定，，，，，，这对谷歌来说显然是最主要的数字。。。。。。。。
Jeff Dean：是的，，，，，，我以为接纳基于大模子的文本和词汇体现，，，，，，能够让你挣脱“特定词汇必需泛起”这种显式硬性要求，，，，，，真正深入到“这个页面或这段落的主题与这个盘问高度相关”的层面。。。。。。。。
主持人：我以为人们没有意识到大模子已经占有了所有高流量系统。。。。。。。。所有这些很是高流量的系统，，，，，，好比谷歌搜索，，，，，，好比 YouTube。。。。。。。。YouTube 有个语义 ID 系统，，，，，，它用一个码本（codebook）来展望视频，，，，，，词汇表中的每个条目对应一个 YouTube 视频。。。。。。。。这关于 YouTube 的规模来说简直是难以想象的。。。。。。。。最近，，，，，，xAI 的 Grok 也用了类似的工具。。。。。。。。
Jeff Dean：我想指出的是，，，，，，甚至在语言模子被普遍用于搜索之前，，，，，，我们就已经很是重视软化用户现实输入盘问的看法。。。。。。。。我现实上在 2009 年的网络搜索与数据挖掘聚会上做过一个演讲。。。。。。。。我们从未真正揭晓过关于谷歌搜索起源的论文，，，，，，但我们回首了从 1999 年到 2004 或 2005 年，，，，，，约莫四到五代、五六代搜索检索系统的重新设计。。。。。。。。
谁人演讲讲的就是这段演变，，，，，，其中一件真正爆发在 2001 年的事情是，，，，，，我们正起劲在多个维度上扩展系统。。。。。。。。一个是我们想扩大索引，，，，，，这样就能从更大的索引库中检索，，，，，，这通常总能提升质量，，，，，，由于若是你的索引里没有这个页面，，，，，，你一定没法处置惩罚得好。。。。。。。。然后我们也需要扩展PT视讯(中国区)官网容量，，，，，，由于PT视讯(中国区)官网流量增添得非� ？ ？？？？？臁�。。。。。。。
以是我们有了一个分片系统：随着索引增添，，，，，，你需要更多的分片。。。。。。。。好比你有 30 个分片，，，，，，若是你想将索引巨细翻倍，，，，，，就做成 60 个分片，，，，，，这样就能限制任何用户盘问的响应延迟。。。。。。。。然后随着流量增添，，，，，，你为每个分片添加更多的副本。。。。。。。。
我们最终做了一个盘算，，，，，，发明若是我们有一个数据中心，，，，，，内里有好比 60 个分片，，，，，，每个分片 20 个副本，，，，，，那我们现在就有了 12,200 台带硬盘的机械。。。。。。。。我们一算，，，，，，心想：这个索引的一份副本，，，，，，着实可以放在这 12,200 台机械的内存里。。。。。。。。以是在 2001 年，，，，，，我们把整个索引放到了内存里。。。。。。。。从质量角度来看，，，，，，这带来的利益是惊人的。。。。。。。。由于在此之前，，，，，，你必需很是小心地控制对一个盘问要考察几多个差别的词项，，，，，，由于每一个词项都意味着要在 60 个分片中的每一个上举行一次磁盘寻道。。。。。。。。
以是，，，，，，当你扩大索引时，，，，，，这变得越发低效。。。。。。。。但一旦你把整个索引都放进了内存，，，，，，纵然对用户原始的三四个词的盘问，，，，，，你抛出 50 个词项也完全没问题。。。。。。。。由于你现在可以添加同义词，，，，，，好比 restaurant 和 restaurants 和 cafe 和 bistro 等等。。。。。。。。突然间，，，，，，你可以真正最先明确词的寄义，，，，，，而不但仅是用户输入的准确语义形式。。。。。。。。那是 2001 年，，，，，，远在大模子泛起之前。。。。。。。。但这确实是在软化用户输入的严酷界说，，，，，，以便触及意义自己。。。。。。。。
主持人：你在设计系统时，，，，，，尤其是思量到在 2001 年互联网的规模每年翻两三倍，，，，，，使用什么原则 ？ ？？？？？不是像现在这样。。。。。。。。并且我以为今天在大模子领域也是云云，，，，，，每年规模都在跳跃，，，，，，能力增添云云之快。。。。。。。。你在思索这些问题时，，，，，，有什么原则吗 ？ ？？？？？
Jeff Dean：首先，，，，，，任何时间设计系统，，，，，，你都要明确哪些设计参数关于设计来说最主要。。。。。。。。以是你要知道，，，，，，你需要处置惩罚每秒几多盘问 ？ ？？？？？你需要处置惩罚多大的索引 ？ ？？？？？你需要为索引中的每个文档保存几大都据 ？ ？？？？？当你检索时，，，，，，怎样审查它们 ？ ？？？？？若是流量翻倍或翻三倍，，，，，，系统还能正常事情吗 ？ ？？？？？我以为一个好的设计原则是，，，，，，你希望设计一个系统，，，，，，使得最主要的特征能够扩展 5 到 10 倍，，，，，，但可能不凌驾这个规模。。。。。。。。
由于经常爆发的情形是，，，，，，若是你为一个规模 x 设计系统，，，，，，而某些工具突然酿成了 100x，，，，，，那就会开启一个完全差别的设计空间点。。。。。。。。这个点在 x 规模下没有意义，，，，，，但突然到了 100x 就完全合理了。。。。。。。。好比，，，，，，从基于磁盘的索引转向内存索引，，，，，，一旦你有足够的流量，，，，，，就很是有意义了。。。。。。。。由于现在，，，，，，你在磁盘上有足够多的状态副本，，，，，，这些机械现在现实上可以把一份完整的索引放到内存里了。。。。。。。。是的，，，，，，这突然间开启了一个以前不切现实的完全差别的设计。。。。。。。。
以是，，，，，，我的意思是，，，，，，我很是喜畛刳脑子里过一遍设计，，，，，，在现实写大宗代码之前，，，，，，稍微在设计空间里探索一下。。。。。。。。可是，，，，，，正如你所说，，，，，，在谷歌早期，，，，，，我们大幅扩展索引，，，，，，我们也大幅扩展索引的更新率。。。。。。。。令人惊讶的是，，，，，，更新率现实上酿成了转变最大的参数。。。。。。。。已往是每月更新一次。。。。。。。。是的，，，，，，厥后我们酿成了一个系统，，，，，，可以在不到一分钟内更新任何一个特定的页面。。。。。。。。
主持人：这是竞争优势。。。。。。。。
Jeff Dean：由于对新闻搜索来说，，，，，，索引上个月的老新闻，，，，，，对新问题基础没用。。。。。。。。
主持人：有没有想过，，，，，，你可以把它拆分到另一个自力系统上 ？ ？？？？？
Jeff Dean：嗯，，，，，，我们确实推出了谷歌新闻产品，，，，，，但你也希望人们输入主搜索框的新闻相关盘问也能实时更新。。。。。。。。
主持人：然后你还得判断页面的主要性，，，，，，决议哪些页面值得被优先更新。。。。。。。。
Jeff Dean：是的，，，，，，幕后有一套完整的系统，，，，，，试图决议页面的更新速率和主要性。。。。。。。。以是纵然某个页面的更新速率看起来很低，，，，，，你可能仍然希望经常重新抓取主要的页面，，，，，，由于它们改变的可能性可能很低，，，，，，但拥有更新版本的价值很高。。。。。。。。
（泉源：Gemini 天生）
关于延迟
主持人：你提到了延迟，，，，，，这让我想起你的一个经典之作，，，，，，我不得不提，，，，，，那就是“每个程序员都应该知道的延迟数字”，，，，，，其时有什么配景故事吗 ？ ？？？？？（编者注：“每个程序员都应该知道的延迟数字”是 Jeff Dean 在系统设计演讲中列出的一张经典表格，，，，，，用于资助工程师在设计系统时举行简陋估算。。。。。。。。这些数字展示了盘算机州操作的典范耗时，，，，，，焦点在于明确差别操作之间的数目级差别，，，，，，而不是纠结于绝对数值。。。。。。。。）
Jeff Dean：“每个程序员都应该知道的延迟数字”表格内里列出了或许 8 到 10 种差别的指标，，，，，，好比一次缓存未掷中需要多长时间 ？ ？？？？？一次分支展望过失需要多长时间 ？ ？？？？？一次主内存会见需要多长时间 ？ ？？？？？把一个数据包从美国发送到荷兰（或者荷兰的某个地方）需要多长时间 ？ ？？？？？
主持人：顺便问一下，，，，，，是由于 Chrome 吗 ？ ？？？？？
Jeff Dean：我们在那里有数据中心。。。。。。。。以是，，，，，，我的意思是，，，，，，我以为这归根结底是为了能够举行简陋的心算。。。。。。。。这些就是心算的基本素材。。。。。。。。你可以用它们来推算：好吧，，，，，，若是我需要设计一个做图片搜索和效果页缩略图天生的系统，，，，，，我该怎么做 ？ ？？？？？我可以预盘算图片缩略图，，，，，，也可以实验从大图上实时天生缩略图。。。。。。。。那样做会有什么效果 ？ ？？？？？需要几多磁盘带宽 ？ ？？？？？会爆发几多次磁盘 I/O ？ ？？？？？你可以用这些基本数字，，，，，，在 30 秒或一分钟内，，，，，，在心里做做头脑实验。。。。。。。。然后，，，，，，当你使用更高级的库构建软件时，，，，，，你也想作育类似的直觉。。。。。。。。好比，，，，，，在我用的这种特定哈希内外查找一个工具需要多长时间 ？ ？？？？？或者，，，，，，对一百万个数字举行排序需要多长时间之类的。。。。。。。。
主持人：我提起这个着实是由于或许两年来我一直在实验总结出“每个 AI 程序员都应该知道的数字”。。。。。。。。好吧，，，，，，我还没有一个很好的版本，，，，，，由于这不是物理常数，，，，，，像你这里列出的都是物理常数，，，，，，但我以为确实应该有。。。。。。。。举个简朴的例子，，，，，，参数数目到磁盘巨细的换算，，，，，，不过是简朴的字节转换，，，，，，没什么意思。。。。。。。。我想知道的是，，，，，，若是要更新你的那份延迟数字列表，，，，，，你会怎么做 ？ ？？？？？
Jeff Dean：我以为，，，，，，要好好思索一下你在模子中举行的盘算，，，，，，无论是训练照旧推理，，，，，，都很是有用。。。。。。。。通常一个很好的思索角度是：你需要从内存中加载几多状态 ？ ？？？？？是从芯片上的 SRAM、加速器附带的 HBM、DRAM，，，，，，照旧通过网络加载 ？ ？？？？？这些数据移动的本钱，，，，，，与好比在矩阵乘法单位中举行一次现实乘法运算的成内情比，，，，，，有多高 ？ ？？？？？而乘法运算的本钱现实上很是、很是低，，，，，，对吧 ？ ？？？？？由于，，，，，，凭证你的精度，，，，，，或许是亚皮焦、1 皮焦耳左右。。。。。。。。
主持人：你用能量来权衡 ？ ？？？？？
Jeff Dean：这最终都会归结为能量。。。。。。。。以及你怎样让一个系统的能效最高。。。。。。。。然后，，，，，，将数据从芯片另一端的 SRAM 移过来，，，，，，甚至不是片外，，，，，，只是统一芯片的另一端，，，，，，可能就需要，，，，，，一千皮焦耳 ？ ？？？？？以是这就诠释了为什么加速器需要批处置惩罚，，，，，，由于若是你把一个模子的参数好比说从芯片上的 SRAM 移到乘法器单位里，，，，，，这要花掉你一千皮焦耳。。。。。。。。
以是你最好能多次使用你移动过来的谁人工具。。。。。。。。这就是 batch 维度施展作用的地方。。。。。。。。由于突然间，，，，，，若是你有一个 250 的 batch 之类的那还好，，，，，，但若是 batch size 是 1 那就真的很糟糕了。。。。。。。。由于你花了一千皮焦耳，，，，，，却只做了一次一皮焦耳的乘法。。。。。。。。
主持人：我从未听过基于能量的批处置惩罚剖析。。。。。。。。
Jeff Dean：这就是人们做批处置惩罚的缘故原由。。。。。。。。理想情形下，，，，，，你会希望使用 batch size 1，，，，，，由于延迟会很棒，，，，，，但能量本钱和盘算本钱的低效会很是大。。。。。。。。
（泉源：Gemini 天生）
关于 TPU
主持人：就像你昔时把所有工具放进内存一样，，，，，，现在也有许多类似的盘算。。。。。。。。我以为，，，，，，显然英伟达通过鼎力大举押注 SRAM（好比他们的 H200 芯片）取得了很大乐成。。。。。。。。我想知道，，，，，，这是否是你在 TPU 上已经看到的工具 ？ ？？？？？由于你们必需在自己规模上提供效劳。。。。。。。。你可能某种水平上预见到了这一点。。。。。。。。有哪些硬件立异或看法，，，，，，是由于你们看到的这些需求而形成的 ？ ？？？？？
Jeff Dean：TPU 接纳规整的 2D 或 3D 网格拓扑结构，，，，，，将大宗芯片互联在一起，，，，，，每个芯片都配备了 HBM。。。。。。。。关于效劳某些类型的模子，，，，，，从 HBM 加载工具的本钱和时间延迟，，，，，，远比从芯片上的 SRAM 加载要高。。。。。。。。以是，，，，，，若是你的模子足够小，，，，，，你现实上可以对其举行模子并行，，，，，，漫衍到许多芯片上，，，，，，你会从中获得相当好的吞吐量提升和延迟改善。。。。。。。。你现在相当于把你的小型模子条带化到好比 16 或 64 个芯片上。。。。。。。。但若是你这样做，，，，，，并且模子所有能放进 SRAM，，，，，，那可能是个重大的胜利。。。。。。。。以是这不是意外，，，，，，但确实是个好手艺。。。。。。。。
主持人：再谈到 TPU 的设计，，，，，，你们怎样确定架构刷新的优先级 ？ ？？？？？好比，，，，，，将一次数据移动的能耗从 1,000 皮焦耳降至 50 皮焦耳，，，，，，这样的优化目的是否足以驱动一款新芯片的研发 ？ ？？？？？极端情形下，，，，，，当人们说“你应该把模子烧录到 ASIC 上”，，，，，，那差未几是最极端的思绪。。。。。。。。当事物转变云云之快时，，，，，，在硬件上投入几多是值得的 ？ ？？？？？谷歌内部的讨论是怎样的 ？ ？？？？？
Jeff Dean：我们内部有很是细密的协作，，，，，，好比 TPU 芯片架构团队与高级建模专家之间就坚持着高频互动。。。。。。。。由于我们真的想使用协同设计的能力，，，，，，凭证我们对机械学习研究未来生长偏向的预判，，，，，，来决议未来的 TPU 应该是什么样子。。。。。。。。由于，，，，，，作为一名特殊是专注于机械学习的硬件设计师，，，，，，你试图从今天最先设计一款芯片。。。。。。。。这个设计可能需要两年时间才华最终安排到数据中心。。。。。。。。然后它还需要有一个合理的生命周期，，，，，，可能再用三、四、五年。。。。。。。。以是，，，，，，我们需要展望未来两到六年，，，，，，在这个瞬息万变的领域里，，，，，，人们会想用机械学习做什么。。。。。。。。而拥有那些具备前瞻性研究想法的人才，，，，，，能资助我们判断哪些手艺趋势将在未来变得主要，，，，，，从而把这些有趣的硬件特征提前结构到，，，，，，好比说，，，，，，PT视讯(中国区)官网下一代产品 TPU n+2 中。。。。。。。。
主持人：周期是 n+2。。。。。。。。
Jeff Dean：大致云云。。。。。。。。我的意思是，，，，，，有时你可以把一些改动塞进 n+1，，，，，，但更大的改动就需要芯片设计处于其生命周期设计的更早期阶段。。。。。。。。以是只要有可能，，，，，，我们就会这样做。。。。。。。。有时你也可以加入一些探索性的特征，，，，，，这些特征可能不会占用太多芯片面积，，，，，，但若是乐成了，，，，，，它能让某些事情快上 10 倍。。。。。。。。若是没乐成，，，，，，你也就铺张了一点点微缺乏道的芯片面积在那上面，，，，，，不是什么大事。。。。。。。。但有时间这会是一个很是大的改动，，，，，，我们需要很是确信这会乐成。。。。。。。。以是我们会做大宗仔细的机械学习实验来证实，，，，，，这确实是我们想走的路。。。。。。。。
主持人：有没有反向的情形 ？ ？？？？？好比，，，，，，“芯片设计计划已经定稿，，，，，，因此模子架构无法再向谁人偏向演进，，，，，，由于兼容性保存问题。。。。。。。。”
Jeff Dean：一定会有这样的情形：你需要调解模子架构，，，，，，使其能高效适配未来一代芯片的训练和推理，，，，，，以是我以为这是双向的。。。。。。。。有时你可以使用未来一代芯片中即将泛起的低精度特征。。。。。。。。以是你可能会用那种低精度来训练，，，，，，纵然目今一代芯片还不太支持。。。。。。。。
主持人：精度能降到多低 ？ ？？？？？由于有人提到三值网络之类的。。。。。。。。
Jeff Dean：我很是喜欢极低精度，，，，，，由于我以为这能节约大宗的能量。。。。。。。。由于数据传输是按皮焦耳每 bit 来算的，，，，，，镌汰 bit 数是降低这个本钱的好要领。。。。。。。。极低比特精度带来了显著的收益，，，，，，但价钱是需要在整组权重上施加缩放因子。。。。。。。。
主持人：说到这个，，，，，，我以为有个话题很有意思。。。。。。。。当我们在做采样时，，，，，，精度的看法自己就有点希奇。。。。。。。。最终我们会有所有这些能做很是准确数学运算的芯片，，，，，，然后我们在开头扔进去一个随机数天生器。。。。。。。。感受现在各人都在往基于能量的模子和处置惩罚器谁人偏向走，，，，，，你一定也琢磨过这事儿吧 ？ ？？？？？想听听你的看法。。。。。。。。
Jeff Dean：是的，，，，，，我以为有一些有趣的趋势。。。。。。。。好比基于能量的模子、扩散模子，，，，，，它们不是那种顺序解码 token 的方法尚有一种投契性解码手艺，，，，，，可以在不降低天生质量的条件下，，，，，，获得等效的加速效果。。。。。。。。
主持人：很是小的 draft batch。。。。。。。。（编者注：draft batch 指的是投契性解码中，，，，，，由小模子一次性天生的、期待大模子验证的候选词元组。。。。。。。。）
Jeff Dean：例如，，，，，，你可以一次展望出八个 tokens。。。。。。。。这让你能把正在做的事情的有用 batch size 增添八倍。。。。。。。。然后你可能接受其中的五六个 tokens。。。。。。。。以是你通过摊销将权重移入乘法器举行 tokens 展望的本钱，，，，，，获得了五倍的刷新。。。。。。。。
这些都是很是好的手艺，，，，，，我以为从能量（不是指基于能量的模子）、延迟和吞吐量的角度来看它们真的很好。。。。。。。。若是你从这个角度看问题，，，，，，它会指导你找到更好的解决计划，，，，，，好比能够更自制、更低延迟地效劳更大的模子，，，，，，或者一律规模的模子。。。。。。。。
主持人：这很有吸引力，，，，，，但还没看到它在主流中真正盛行起来。。。。。。。。我确实以为有种诗意在内里，，，，，，若是我们从基础上把它设计进硬件里，，，，，，就不必搞那么多名堂了。。。。。。。。
Jeff Dean：我以为尚有更奇异的工具，，，，，，好比基于模拟的盘算基板，，，，，，而不是数字的。。。。。。。。我对那些很是感兴趣，，，，，，由于它们的功耗有望做到很低。。。。。。。。但我以为，，，，，，你最终往往需要将其与数字系统接口，，，，，，而你在系统界线和外围举行的数模、模数转换可能会损失许多功耗优势。。。。。。。。我仍然以为，，，，，，从我们今天所处的位置，，，，，，通过为我们在意的模子制造更好、更专用的硬件，，，，，，在能效方面尚有重大的提升空间。。。。。。。。
（泉源：Gemini 天生）
关于新想法
主持人：除了这些，，，，，，尚有哪些你以为有趣的研究偏向 ？ ？？？？？或者有什么想法，，，，，，是谷歌内部不利便做，，，，，，但你希望看到学界去探索的 ？ ？？？？？
Jeff Dean：我以为我们最近的研究组合相当普遍。。。。。。。。从研究偏向来看，，，，，，有一大堆开放问题。。。。。。。。怎样让这些模子更可靠，，，，，，能够完成更长的、更重大的、包括许多子使命的使命 ？ ？？？？？怎样编排 ？ ？？？？？可能是一个模子使用其他模子作为工具，，，，，，来构建能够配合完成比单个模子所能做的更重大的事情。。。。。。。。怎样让模子更可验证 ？ ？？？？？怎样让强化学习在不可验证的领域事情 ？ ？？？？？
我以为这是一个很是有趣的开放问题，，，，，，由于我以为这会拓宽模子的能力规模，，，，，，你会看到数学和编程方面都在前进。。。。。。。。若是我们能通过开发出真正有用的强化学习手艺，，，，，，将其应用到其他不那么可验证的领域，，，，，，那将真正让模子提升许多。。。。。。。。
主持人：我很好奇。。。。。。。。当诺姆·布朗（Noam Brown）上我们播客时，，，，，，他说他们已经证实你可以通过深度研究做到这一点。。。。。。。。你在 AI 模式中某种水平上也做到了，，，，，，虽然它自己并不可验证。。。。。。。。我很好奇，，，，，，有没有你以为有趣的线索 ？ ？？？？？两者都是在做信息检索追踪。。。。。。。。
以是我在想，，，，，，是否检索自己就是谁人可验证的部分，，，，，，可以用来作为评分依据 ？ ？？？？？或者说，，，，，，你会如作甚这个问题建模 ？ ？？？？？（编者注：诺姆·布朗（Noam Brown）是 OpenAI 的研究员，，，，，，专注于 AI 推理和多智能系一切。。。。。。。。他因开发在德州扑克中击败人类专家的 Libratus 和 Pluribus 而著名，，，，，，后加入 OpenAI 加入 o1 推理模子的研发。。。。。。。。）
Jeff Dean：是的，，，，，，我以为有些要领可以让其他模子来评估第一个模子所做的效果，，，，，，也许甚至可以检索。。。。。。。。你可以让另一个模子问：“你检索到的这些工具相关吗 ？ ？？？？？” 或者你能对你检索到的这 2,000 样工具举行评分，，，，，，以评估哪 50 个最相关吗 ？ ？？？？？我以为这类手艺现实上很是有用。。。。。。。。有时甚至可以是统一个模子，，，，，，只是通过差别的提醒词，，，，，，让它饰演谈论家的角色，，，，，，而不是现实的检索系统。。。。。。。。
主持人：确实，，，，，，我总以为我们似乎永远在跨越一个又一个悬崖Ｔ媚课都以为简朴的事做完了，，，，，，然后整体卡在下一个难题眼前，，，，，，年年云云。。。。。。。。“哦，，，，，，这个我们搞定了，，，，，，接下来谁人一定难到没人能解。。。。。。。。”为什么偏偏强化学习验证就成了谁人坎儿 ？ ？？？？？所有人都在问统一个问题：“没有明确判断标准的下一个阶段，，，，，，究竟要怎么走 ？ ？？？？？”
Jeff Dean：我以为这个领域的利益是，，，，，，有许许多多智慧的人在想创立性的解决计划来解决我们都能看到的难题。。。。。。。。由于我以为各人都看到了，，，，，，这些模子在某些方面很棒，，，，，，但在这些方面的边沿地带会失效，，，，，，能力达不到PT视讯(中国区)官网期望。。。。。。。。然后想出好的手艺和实验它们，，，，，，看看哪些真正能带来改变，，，，，，这正是这个领域整个研究方面向前推进的方法。。。。。。。。我以为这就是为什么它超等有趣。。。。。。。。
想想两年前，，，，，，我们还在为 GSM8K 的问题挣扎，，，，，，对吧 ？ ？？？？？弗雷德有两只兔子，，，，，，他又获得了三只兔子，，，，，，他总共有几多只兔子 ？ ？？？？？这与现在模子能做的数学题相比差远了。。。。。。。。现在已经是纯语言的天下。。。。。。。。短短一年半时间，，，，，，模子能力就实现了惊人的奔腾。。。。。。。。若是在其他领域也能复制这种乐成，，，，，，那就太棒了。。。。。。。。虽然有些领域我们还没找到蹊径，，，，，，但既然在其他领域已经看到了可行的要领，，，，，，我们就会全力以赴，，，，，，让它变得更好。。。。。。。。
主持人：没错，，，，，，好比 YouTube 缩略图天生，，，，，，我们就需要这个能力。。。。。。。。若是能实现，，，，，，那将是触及 YouTube 焦点营业的一次突破。。。。。。。。
Jeff Dean：是的，，，，，，我不是 YouTube 创作者，，，，，，以是我不太体贴谁人问题，，，，，，但我想许多人体贴。。。。。。。。
（泉源：Gemini 天生）
关于模子大一统
主持人：扯回 IMO，，，，，，我照旧挺唏嘘的。。。。。。。。去年照旧 AlphaProof、AlphaGeometry 各显神通，，，，，，今年就直接扔给 Gemini 了。。。。。。。。我在想，，，，，，以前各人不都以为符号系统和大模子融合是条正途吗 ？ ？？？？？怎么突然就酿成“别折腾了，，，，，，全让大模子自己来”了 ？ ？？？？？
Jeff Dean：我以为这对我来说很有意义，，，，，，由于你知道人类使用符号，，，，，，但我们脑子里可能没有一个符号化的表征，，，，，，对吧 ？ ？？？？？我们有某种漫衍式表征，，，，，，从某种意义上说，，，，，，是神经网络式的，，，，，，由许多差别的神经元和激活模式组成，，，，，，当我们看到某些工具时会触发。。。。。。。。这使我们能够推理、妄想、举行头脑链以及回溯，，，，，，“这个要领看来行欠亨，，，，，，我试试谁人”。。。。。。。。
在许多的方面，，，，，，我们正在神经网络模子里模拟我们直觉上以为真实大脑内部爆发的事情。。。。。。。。以是，，，，，，对我来说，，，，，，拥有完全疏散的、离散的符号化事物，，，，，，以及一套完全差别的方法来思索这些工具，，，，，，历来就没有意义。。。。。。。。
主持人：我的意思是，，，，，，对你来说可能显而易见，，，，，，但一年前对我来说并不显着。。。。。。。。
Jeff Dean：我确实以为，，，，，，去年 IMO 竞赛用到了翻译成 Lean 语言并使用 Lean，，，，，，以及使用了一个专门的几何模子。。。。。。。。然后今年，，，，，，切换到一个简单的统一模子，，，，，，这基本上是生产级模子，，，，，，只是多给了点推理预算，，，，，，这现实上很是棒。。。。。。。。由于它批注谁人通用模子的能力已经大大提高了。。。。。。。。现在你不再需要这些专门的模子了。。。。。。。。这现实上与 2013 到 2016 年时期的机械学习很是相似，，，，，，对吧 ？ ？？？？？
已往，，，，，，人们会针对许多差别的问题训练差别的模子，，，，，，对吧 ？ ？？？？？我想识别街道标记，，，，，，以是我训练一个街道标记识别模子。。。。。。。�；；；；；；；；蛘呶蚁胱鲇镆羰侗鸾饴�，，，，，，我就去训练一个语音模子。。。。。。。。我以为现在，，，，，，做所有事情的统一模子时代真的来临了。。。。。。。。问题在于，，，，，，这些模子在面临它们从未被要求做的事情时，，，，，，泛化能力有多好 ？ ？？？？？它们正变得越来越好。。。。。。。。
主持人：你都不需要领域专家了。。。。。。。。我采访过 Ete，，，，，，他就是谁人团队的成员。。。。。。。。他说：“我真的不知道它们是怎么事情的，，，，，，不知道 IMO 在那里办，，，，，，也不知道角逐规则。。。。。。。。我只是在训练模子，，，，，，我做的就是训练模子。。。。。。。。”
这很有意思，，，，，，拥有这种通用手艺的人，，，，，，只需要机械学习能力，，，，，，拿到数据和算力，，，，，，就能处置惩罚任何使命。。。。。。。。这或许就是所谓的“苦涩的教训”吧。。。。。。。。（编者注：1、Ete 是指爱德华·格列芬斯特（Edward Grefenstette），，，，，，一位 Google DeepMind 的研究科学家，，，，，，他加入过多项与推理、语言模子相关的研究。。。。。。。。2、“苦涩的教训”是“强化学习之父”理查德·萨顿（Richard Sutton）提出的AI焦点理念：研究者总想把人类知识编入 AI，，，，，，短期有用但恒久看，，，，，，依赖大规模算力和通用算法的要领最终会胜出。。。。。。。。它之以是“苦涩”，，，，，，是由于 AI 的乐成往往不是由于它模拟了人类，，，，，，而是靠鼎力大举出事业走出自己的路。。。。。。。。）
Jeff Dean：在大大都情形下，，，，，，通用模子会胜过专用模子。。。。。。。。
主持人：我想在这里稍微深入探讨一下。。。。。。。。我以为这里有一个误差，，，，，，就是关于模子容量的看法。。。。。。。。笼统地说，，，，，，一个模子能容纳的比特数是有限的。。。。。。。。以是，，，，，，谁会知道 Gemini Pro 可能有一万亿到十万亿参数 ？ ？？？？？我们不知道。。。。。。。。
但以 Gemma 模子为例。。。。。。。。许多人想要开源、能在外地运行的模子，，，，，，它们拥有一些并不须要的知识，，，，，，对吧 ？ ？？？？？它们不可能知道所有事。。。。。。。。你们有优势，，，，，，你们有大模子，，，，，，大模子应该什么都能做。。。。。。。。可是，，，，，，当你举行蒸馏，，，，，，把它缩小到小模子时，，，，，，你现实上是在影象一些没用的工具。。。。。。。。以是，，，，，，我们能否将知识与推理疏散开 ？ ？？？？？
Jeff Dean：我以为你确实希望模子在能够检索工具时最有用地举行推理，，，，，，对吧 ？ ？？？？？由于让模子把名贵的参数空间用来影象那些可以查到的、艰涩的事实，，，，，，现实上并不是对该参数空间的最佳使用，，，，，，对吧 ？ ？？？？？你可能会更喜欢那些在更多场景下更有用的工具，，，，，，而不是它记着的某个艰涩事实。。。。。。。。
以是我以为这个权衡一直保存。。。。。。。。同时，，，，，，你也不希望你的模子完全脱离对天下的相识。。。。。。。。好比，，，，，，知道金门大桥有多长可能很有用，，，，，，能对“桥一样平常有多长”有个大致看法。。。。。。。。它应该有那种知识，，，，，，它可能不需要知道天下上某个更偏远角落的一座小桥有多长，，，，，，可是拥有相当多的天下知识确实有资助。。。。。。。。你的模子越大，，，，，，你能容纳的知识就越多。。。。。。。。
但我确实以为，，，，，，将检索与推理团结起来，，，，，，让模子真正擅上举行多轮检索并通过中心检索效果举行推理，，，，，，这将是让模子看起来能力更强的一个很是有用的要领。。。。。。。。我们不会在 Gemini 上训练我的电子邮件，，，，，，我们可能更希望有一个简单的模子，，，，，，然后我们可以使用它，，，，，，并能够使用从我的电子邮件中检索作为工具，，，，，，让模子推理它，，，，，，从我的照片中检索，，，，，，然后使用这些信息举行多轮交互。。。。。。。。
主持人：你怎么看笔直领域模子这个偏向 ？ ？？？？？好比有人说“我们在打造最好的医疗大模子”“我们在做最牛的执法大模子”。。。。。。。。这些是短期的过渡计划，，，，，，照旧真的有久远价值 ？ ？？？？？
Jeff Dean：我以为笔直领域模子很有趣。。。。。。。。你想让它们从一个相当好的基础模子最先，，，，，，然后你可以，，，，，，我有点把它们看作是富厚谁人特定笔直领域的数据漫衍。。。。。。。。好比医疗保健。。。。。。。。好比，，，，，，关于机械人手艺，，，，，，我们可能不会在所有可能的机械人数据上训练 Gemini。。。。。。。。你可以用它训练，，，，，，由于我们希望它拥有一套平衡的能力。。。。。。。。
以是我们会让它接触一些机械人数据。。。。。。。。但若是你想构建一个真正、真正好的机械人模子，，，，，，你会希望从谁人基础最先，，，，，，然后在更多的机械人数据上逊。。。。。。。。这可能会损害它的多语言翻译能力，，，，，，但会提高它的机械人能力。。。。。。。。
我们在训练基础 Gemini 模子时，，，，，，总是在数据混淆中做这种权衡。。。。。。。。我们很愿意包括另外 200 种语言的数据，，，，，，并且有和这些语言一样多的数据。。。。。。。。但这会挤占模子的其他一些能力。。。。。。。。它在 Perl 编程上可能没那么好了。。。。。。。。它在 Python 编程上仍然会很好，，，，，，由于我们会包括足够多的 Python 数据。。。。。。。。但在其他长尾盘算机语言或编程能力上，，，，，，它可能会受影响。。。。。。。�；；；；；；；；蛘叨嗄Ｌ评砟芰赡芑崾苡跋�，，，，，，由于我们没有时机让它接触那么多相关数据，，，，，，但它在多语言方面会很是精彩。。。。。。。。
以是我以为，，，，，，某种组合是合适的：专门的模子，，，，，，也许更多是� ？ ？？？？？榛哪Ｗ印�。。。。。。。若是能有能力将这 200 种语言，，，，，，加上这个超棒的机械人模子，，，，，，加上这个超棒的医疗保健� ？ ？？？？？�，，，，，，所有这些可以组合在一起协同事情，，，，，，在差别情形下被挪用那将很是棒。。。。。。。。好比，，，，，，若是我有一个与康健相关的问题，，，，，，那么它应该能够启用这个康健� ？ ？？？？？�，，，，，，与主基础模子一起，，，，，，在这些事情上做得更好。。。。。。。。
主持人：可装置的知识 ？ ？？？？？
Jeff Dean：是的，，，，，，只需要下载就行。。。。。。。。部分可装置的工具可以来自检索。。。。。。。。但有些可能应该来自预先加载的训练，，，，，，好比在 1,000 亿或一万亿 tokens 的康健数据上训练。。。。。。。。
主持人：你需要几多亿的 tokens 才华凌驾前沿模子的刷新速率 ？ ？？？？？若是我想让这个模子在医疗保健方面更好，，，，，，而主 Gemini 模子仍在刷新，，，，，，那么需要 500 亿 tokens 吗 ？ ？？？？？若是我需要一万亿，，，，，，我能用 1,000 亿做到吗 ？ ？？？？？医疗保健的 tokens，，，，，，你可能手头没有那么多。。。。。。。。
Jeff Dean：我以为医疗保健是一个特殊有挑战性的领域。。。。。。。。以是有许多医疗保健数据，，，，，，我们无法适外地获取。。。。。。。。但也有许多医疗保健组织希望在自己的数据上训练模子，，，，，，这些数据不是公共医疗数据，，，，，，是私有的医疗数据。。。。。。。。以是我以为有时机与大型医疗保健组织相助，，，，，，为他们训练更定制化的模子，，，，，，这些模子可能比在公共数据上训练的通用模子更好。。。。。。。。
主持人：这有点类似于语言方面的讨论。。。。。。。。我记得你最喜欢的一个例子是，，，，，，你可以把一种低资源语言放在上下文中，，，，，，它就能在上下文中学习。。。。。。。。
Jeff Dean：我记得我们用的例子是卡尔梅克-卫拉特语，，，，，，那是真正的低资源语言，，，，，，由于天下上只有约莫 120 人使用，，，，，，并且没有书面文本。。。。。。。。以是你可以直接把它放在上下文里。。。。。。。。
主持人：但我以为你整个数据集都在上下文里。。。。。。。。
Jeff Dean：若是你拿一种语言，，，，，，好比索马里语之类的，，，，，，天下上确实有相当数目的索马里语文本，，，，，，或者埃塞俄比亚的阿姆哈拉语之类的。。。。。。。。我们可能不会把所有那些语言的数据都放进 Gemini 的基础训练里。。。。。。。。我们会放一部分进去，，，，，，但若是你放更多进去，，，，，，你会提高模子在这些语言上的能力。。。。。。。。
主持人：我对语言学有点兴趣。。。。。。。。大学时上过几节课。。。。。。。。我有时想，，，，，，若是我是一名语言学家，，，，，，并且可以使用所有这些模子，，，，，，我会问一些关于语言自己的非�；；；；；；；；镜奈侍狻�。。。。。。。好比，，，，，，一个很是显着的问题是“沃尔夫假说”：你说的语言在多洪流平上影响你的头脑 ？ ？？？？？尚有一些语言中有些看法在其他语言中没有体现，，，，，，但许多其他看规律是重复的。。。。。。。。
尚有一篇人们很喜欢的论文叫《柏拉图式表征》，，，，，，讲的是好比一张杯子的图片，，，，，，若是你在上面训练一个模子，，，，，，并且有大宗带有“杯子”这个词的文本，，，，，，它们最终会映射到潜在空间中大致相同的位置。。。。。。。。以是，，，，，，这应该适用于语言，，，，，，除了那些不适用的地方。。。。。。。。而这正是人类发明的一些有趣的看法差别，，，，，，可能英语里没有。。。。。。。。
Jeff Dean：是的，，，，，，我做过一个早期模子的事情，，，，，，它将一个基于语言的模子（有很好的基于词的体现）和一个在 ImageNet 之类工具上训练的图像模子融合在一起。。。。。。。。是的，，，，，，然后你把它们的顶层融合起来。。。。。。。。再做一点特另外训练来融合这些表征。。。。。。。。
我们发明若是你给模子一张全新的、不在图像模子训练种别中的图像，，，，，，它经常能给那张图像分派出准确的标签。。。。。。。。例如，，，，，，我以为望远镜和双筒望远镜都在图像模子的训练种别中，，，，，，但显微镜不在。。。。。。。。以是若是你给它一张显微镜的图像，，，，，，它现实上能想出带有“显微镜”这个词的标签，，，，，，纵然它从未见过标记为“显微镜”的图像。。。。。。。。
（泉源：Gemini 天生）
关于神经网络
主持人：聊了这么多，，，，，，从硬件到模子研究，，，，，，你以为尚有什么是人们应该多问问你的 ？ ？？？？？
Jeff Dean：有一件挺有意思的事是，，，，，，我在 1990 年做本科结业论文时，，，，，，做的就是并行神经网络训练。。。。。。。。那时我第一次接触到神经网络，，，，，，我一直以为它们是准确的笼统，，，，，，只是我们需要比其时多得多的算力。。。。。。。。学校盘算机系里那台有 32 个处置惩罚器的并行盘算机，，，，，，能帮你做出稍微有趣一点的模子，，，，，，但缺乏以解决真正的问题。。。。。。。。
以是从 2008、2009 年最先，，，，，，人们通过摩尔定律拥有了足够的算力。。。。。。。。以及更大、更有趣的数据集可以用于训练，，，，，，现实上最先训练能够解决人们体贴的现实问题的神经网络，，，，，，好比语音识别、视觉，，，，，，最终是语言。。。。。。。。以是当我在 2011 年底最先在谷歌做神经网络时，，，，，，我真的以为我们应该使用大宗的并行盘算来扩大神经网络的规模。。。。。。。。以是我现实上重拾了我本科论文中的一些想法，，，，，，我其时既做了模子并行，，，，，，也做了数据并行训练，，，，，，并对它们举行了较量。。。。。。。。我其时给它们取了差别的名字，，，，，，好比模式划分和模子划分之类的。。。。。。。。
主持人：谁人论文是果真的吗 ？ ？？？？？
Jeff Dean：似乎网上能找到。。。。。。。。可是，，，，，，我以为团结这些手艺，，，，，，并且在已往十五年里真正致力于推动规�；；；；；；；；�，，，，，，一直很是主要。。。。。。。。这意味着硬件上的刷新。。。。。。。。因此，，，，，，我们一方面推动专用硬件的研发，，，，，，好比 TPU；；；；；；；；另一方面也着力于软件笼统层的建设，，，，，，让人们能够更高效地表达机械学习想法。。。。。。。。与此同时，，，，，，像希罕模子这样的前沿偏向也在一连推进中。。。。。。。。
恒久以来我一直以为，，，，，，希罕激活的模子是一件很是主要的事情，，，，，，由于你希望模子有很大的容量，，，，，，就像我们之前讨论的影象许多工具那样。。。。。。。。但你也希望模子的激活极其高效，，，，，，以是你希望有数万亿的参数，，，，，，但只激活其中的 1%、5% 或 10%。。。。。。。。我们在 2017 年的一篇早期论文中做了这方面的事情，，，，，，真正实现了超大规模神经网络的规�；；；；；；；；┱埂�。。。。。。。那篇论文的问题里有个很吸引眼球的词。。。。。。。。我记得问题里有“outrageously large”。。。。。。。。
主持人：你那时就在谈论万亿参数的模子。。。。。。。。
Jeff Dean：是的，，，，，，由于与非希罕模子相比，，，，，，它在抵达给定质量水平所需的时间或盘算本钱上，，，，，，带来了 10 倍的刷新。。。。。。。。同样，，，，，，相比昔时的 LSTM，，，，，，Transformer 在抵达一律质量水平时，，，，，，盘算本钱降低了 10 到 100 倍。。。。。。。。所有这些因素乘在一起让我以为这些事情都很主要，，，，，，需要去研究。。。。。。。。
从硬件到系统基础设施，，，，，，从模子架构的算法优化，，，，，，到数据质量的提升，，，，，，再到强化学习要领的刷新，，，，，，所有这些因素叠加在一起，，，，，，爆发了乘数效应。。。。。。。。这才让 2026 年的模子，，，，，，不但远超 2025 年，，，，，，更将 2023、2022 年的版本远远甩在死后。。。。。。。。
主持人：这是一个重大的组织挑战，，，，，，这涉及上千人，，，，，，也许更多。。。。。。。。我知道，，，，，，当 Gemini 的论文出来时，，，，，，我看到有上千位合著者。。。。。。。。
Jeff Dean：那篇论文有 10 页的合著者名单。。。。。。。。我以为有这么多合著者是完全合理的。。。。。。。。并且我确实以为，，，，，，组织这么多人，，，，，，让他们有用地朝着配合的偏向起劲，，，，，，让他们所有的事情最终在最终的产出（也就是下一代模子）上形成乘数效应，，，，，，现实上相当棘手。。。。。。。。我们在整个 Gemini 团队中拥有精彩的人来资助协调这一切。。。。。。。。以是，，，，，，你知道，，，，，，我自己、Noam 和 Oriol 在资助指引偏向。。。。。。。。
然后我们有团队在思索，，，，，，预训练设置是什么样的 ？ ？？？？？基础设施是什么样的 ？ ？？？？？后训练计划是什么样的 ？ ？？？？？数据准备是什么样的 ？ ？？？？？尚有多模态能力、长上下文能力 ？ ？？？？？有许多差别的领域，，，，，，编程能力。。。。。。。。所有这些领域都超等主要，，，，，，有专人亲近关注这些事情是很好的。。。。。。。。同时也要亲近关注所有其他事情。。。。。。。。
主持人：是的，，，，，，我听说谢尔盖非�；；；；；；；Ｆ鹁⒌鼗乩戳恕�。。。。。。。（编者注：“谢尔盖”指的是谢尔盖·布林（Sergey Brin），，，，，，他是谷歌的团结首创人之一。。。。。。。。）
Jeff Dean：是的，，，，，，非�；；；；；；；Ｆ鹁ⅰ�。。。。。。。
主持人：加入编程方面的事情。。。。。。。。
Jeff Dean：是的，，，，，，我们都用统一个微型厨房。。。。。。。。（编者注：“用统一个微型厨房”，，，，，，是指各人共用一个小型茶水间/休息区，，，，，，体现了谢尔盖深入一线、和团队打成一片的状态。。。。。。。。）
主持人：你可能讲过一再，，，，，，显然 Google Brain 也是在一个微型厨房里起步的。。。。。。。。
Jeff Dean：是的。。。。。。。。
主持人：看来你们的微型厨房很是主要。。。。。。。。
Jeff Dean：是的，，，，，，我无意遇到了其时在美国斯坦福大学任教的吴恩达。。。。。。。。我之前由于去斯坦福做过一再演讲而熟悉他，，，，，，以是算是熟悉。。。。。。。。我问他，，，，，，你在这里做什么 ？ ？？？？？他说：“哦，，，，，，我还不确定，，，，，，我几周前刚最先在这里兼职，，，，，，每周来一天做照料。。。。。。。。我还不确定做什么，，，，，，但我的斯坦福学生们在用神经网络做语音识别，，，，，，最先取得一些好效果。。。。。。。。”我心想，，，，，，哦，，，，，，神经网络，，，，，，我喜欢神经网络，，，，，，这让我想起了我 90 年月的本科论文。。。。。。。。我对他说：“哦，，，，，，听起来很有趣。。。。。。。。我们应该训练真正、真正大的神经网络。。。。。。。。其时就是这么最先的。。。。。。。。”
主持人：你的第一反应很有意思，，，，，，就是“我们应该把它大规模扩展”。。。。。。。。
Jeff Dean：嗯，，，，，，我的意思是，，，，，，我以为谷歌有大宗的盘算能力。。。。。。。。以是若是他们在单 GPU 模子上看到了好效果，，，，，，你知道，，，，，，若是其时PT视讯(中国区)官网数据中心里没有 GPU，，，，，，没有任何加速器。。。。。。。。我们有许多 CPU，，，，，，但我们可以构建一个软件系统，，，，，，让你能够通过模子并行和数据并行，，，，，，漫衍到大宗盘算机上。。。。。。。。
我们最终训练了一个相当大的模子，，，，，，据我们所知，，，，，，比之前的任何神经网络都大 50 倍。。。。。。。。那是一个有 20 亿参数的视觉模子，，，，，，在 16,000 个数据中心算力焦点上训练了数周。。。。。。。。这让我们获得了很好的效果。。。。。。。。它在 ImageNet 22K（谁人 22,000 类别的数据集）上带来了 70% 的相对过失率刷新。。。。。。。。
这也让我们真正看到了规�；；；；；；；；闹饕浴�。。。。。。。我们没有写一个重大的规�；；；；；；；；饰�，，，，，，但我们看到了：更大的模子、更多的数据，，，，，，带来更好的效果。。。。。。。。这成了接下来六七年里我们一直扩展的信条。。。。。。。。每次当我们这样做，，，，，，都在语音、语言和视觉上看到了更好的效果。。。。。。。。
（泉源：Gemini 天生）
关于 Gemini 命名泉源
主持人：我们之前的嘉宾 David Juan，，，，，，他一经为你事情。。。。。。。。他有点把谷歌在语言模子上投入缺乏归罪于 Google Brain 的内部盘算资源市场。。。。。。。。我想知道，，，，，，你是否赞成其时的这种看法 ？ ？？？？？（编者注：戴维·栾（David Luan），，，，，，是 AI 领域着名的手艺专家，，，，，，曾任职于 Google Brain 和 OpenAI，，，，，，厥后开办了 AI 首创公司 Adept。。。。。。。。）
Jeff Dean：是谁人给盘算配额定价的内部市场吗 ？ ？？？？？
主持人：是的，，，，，，盘算配额市场。。。。。。。�；；；；；；；；旧纤档氖�，，，，，，David 在 OpenAI 的 VP 引擎团队事情过，，，，，，也在谷歌事情过。。。。。。。。他说，，，，，，从基础上讲，，，，，，OpenAI 愿意全情投入，，，，，，把所有赌注押在一件事上，，，，，，而谷歌则更民主，，，，，，每小我私家都有自己的一亩三分地。。。。。。。。我其时想，，，，，，若是你信托规�；；；；；；；；且患饕氖�，，，，，，那这着实是一个需要在整个组织层面做出的主要决议。。。。。。。。
Jeff Dean：我以为我某种水平上赞成这个说法。。。。。。。。我记得我现实上写过一份一页纸的备忘录，，，，，，说我们疏散资源是很愚蠢的。。。。。。。。详细来说，，，，，，其时在谷歌研究院内部，，，，，，尤其是在 Brain 团队，，，，，，我们有多个大模子的事情。。。。。。。。在 Brain 和谷歌研究院的其他部分，，，，，，我们也有多模态模子的事情。。。。。。。。
然后原来的 DeepMind 也有像 Chinchilla 和 Flamingo 这样的模子。。。。。。。。以是我们不但把盘算资源疏散到了这些差别的事情中，，，，，，也疏散了我们最优异的人才和最好的想法。。。。。。。。以是我说，，，，，，这太蠢了。。。。。。。。我们为什么不团结起来，，，，，，集中实力做一件事 ？ ？？？？？
主持人：这就是合并的起源。。。。。。。。
Jeff Dean：去训练一个从一最先就是多模态的、厉害的、统一的、在所有方面都很精彩的模子，，，，，，这就是 Gemini 起劲的起源。。。。。。。。我那页纸的备忘录奏效了，，，，，，这很好。。。。。。。。
主持人：名字也是你取的吗 ？ ？？？？？
Jeff Dean：是的，，，，，，其时我还提议了另一个名字。。。。。。。。我说，，，，，，这两个组织走到一起，，，，，，某种水平上就像双胞胎（twins）。。。。。。。。以是我有点喜欢这个名字。。。。。。。。并且，，，，，，NASA 早期的双子座妄想（Gemini project）也是通往阿波罗妄想的主要一步。。。。。。。。以是这看起来是个好名字。。。。。。。。双胞胎走到一起。。。。。。。。
（泉源：Gemini）
关于 AI 编程
主持人：我很好奇，，，，，，你现在是怎么用 AI 来编程的 ？ ？？？？？你可能是盘算机科学史上最多产的工程师之一。。。。。。。。我在读一篇文章时，，，，，，看到关于你和 Sanjay 的友谊，，，，，，以及你们怎样一起事情。。。。。。。。有一句话提到，，，，，，你需要找到一个能和你一起结对编程的人，，，，，，他的头脑方法与你兼容，，，，，，这样你们俩合在一起就能形成互补的实力。。。。。。。。
我在想，，，，，，你怎么看待编程智能体 ？ ？？？？？你怎样塑造一个编程智能体，，，，，，使其与你的头脑方法兼容 ？ ？？？？？你以为今天的工具怎么样 ？ ？？？？？有什么看法 ？ ？？？？？（编者注： Sanjay 指的是桑杰·格玛沃特（Sanjay Ghemawat），，，，，，他是谷歌系统基础设施部分的高级研究员，，，，，，也是 Jeff Dean 长达二十多年的黄金同伴。。。。。。。。）
Jeff Dean：我以为编程工具与一两年前相比，，，，，，正在变得很是、很是强盛。。。。。。。。以是现在，，，，，，你可以真正依赖它们来完成更重大的使命，，，，，，那些你作为软件工程师想要完成的使命。。。。。。。。你可以把相当重大的事情委托给这些工具。。。。。。。。我以为，，，，，，人类软件工程师和他们正在使用的编程模子之间互动的一个很是好的方面是，，，，，，你与谁人编程模子对话的方法，，，，，，现实上决议了它怎样与你互动，，，，，，对吧 ？ ？？？？？
你可以让它“请为这个写一堆好的测试”。。。。。。。。你可以让它“请帮我 brainstorm 一些性能方面的想法”。。。。。。。。你的提问方法会塑造模子的回应方法，，，，，，它会处置惩罚什么样的问题。。。。。。。。你希望模子多洪流平上去自力完成更大的事情，，，，，，照旧更多地与你互动，，，，，，以确保你在塑造准确的偏向 ？ ？？？？？
我以为，，，，，，并不是某一种气概适合所有情形。。。。。。。。关于某些问题，，，，，，你可能现实上希望与模子有更频仍的互动。。。。。。。。而关于另一些问题，，，，，，你可能就直接说，，，，，，“好的，，，，，，请去把这个写了，，，，，，由于我知道我需要这个工具。。。。。。。。我能够清晰地说明它，，，，，，你就去做吧，，，，，，做完回来。。。。。。。。”以是我确实以为，，，，，，未来会有更多自力的软件智能体代表你行事，，，，，，我们需要找出合适的人机交互模子和用户界面来决议它什么时间应该打断你。。。。。。。。
好比，，，，，，它会说：“嘿，，，，，，我需要一点指导”，，，，，，或者“我已经完成了这件事，，，，，，下一步做什么 ？ ？？？？？” 我以为我们还没有这个问题的最终谜底。。。。。。。。随着模子变得更好，，，，，，你在决议互动应该怎样举行时所做的决议也可能会改变。。。。。。。。就像若是你有一个由 50 名实习生组成的团队，，，，，，若是他们是人类，，，，，，你会怎样治理 ？ ？？？？？我想，，，，，，若是他们是真正优异的 50 名实习生，，，，，，情形可能差别。。。。。。。。
主持人：治理量很大。。。。。。。。
Jeff Dean：治理量确实很大。。。。。。。。我以为很有可能，，，，，，许多人未来都会拥有 50 名实习生。。。。。。。。那么作为一小我私家，，，，，，你现实上会怎样应对呢 ？ ？？？？？你可能希望他们组成小型的子团队，，，，，，这样你就不必和 50 小我私家都直接互动。。。。。。。。你可以和其中五个团队互动，，，，，，他们都在代表你做事。。。。。。。。但我不完全确定这会怎样睁开。。。。。。。。
主持人：你怎样看待引入他人，，，，，，好比结对编程 ？ ？？？？？结对编程总是有助于带来新的想法。。。。。。。。感受随着我们有更多的编程引擎来编写代码，，，，，，将其他人引入问题就变得难题了。。。。。。。。好比说，，，，，，你有了 50 个实习生，，，，，，对吧 ？ ？？？？？然后你想去找 Noam 或 Sanjay，，，，，，说，，，，，，“嘿，，，，，，我想跟你结对做这个事”。。。。。。。。可是现在有大宗的并行事情已经完成了，，，，，，你需要让他们先跟上这些，，，，，，对吧 ？ ？？？？？我很好奇，，，，，，人们在团队中会不会变得越发伶仃 ？ ？？？？？由于会有太多这 50 个实习生带来的上下文，，，，，，很难所有同步给你。。。。。。。。
Jeff Dean：也许吧。。。。。。。。但另一方面，，，，，，想象一个没有任何 AI 辅助工具的经典软件组织，，，，，，你会有 50 小我私家在做事情。。。。。。。。他们的互动方法自然会是高度层级化的，，，，，，由于这 50 小我私家会在系统的这一部分事情，，，，，，不会和那里的那些人互动那么多。。。。。。。。但若是你有五小我私家，，，，，，每小我私家治理着 50 个虚拟智能体，，，，，，他们之间可能会有高得多的相同带宽。。。。。。。。然后这五小我私家再相相互同协调，，，，，，这比五小我私家同时还要协调各自治理的 50 人团队要高效。。。。。。。。
主持人：我很好奇你是怎样改变自己的事情节奏的 ？ ？？？？？好比，，，，，，你花了更多时间在脑子里和人们一起 review 代码和设计目的吗 ？ ？？？？？
Jeff Dean：我以为有意思的是，，，，，，每当人们被教育怎样写软件时，，，，，，他们都被教育清晰地编写规格说明很是主要，，，，，，但没人真正信托这一点。。。。。。。。人们只会以为：“嗯，，，，，，知道了，，，，，，没须要那么较真。。。。。。。。”然后继续我行我素。。。。。。。。
主持人：真的吗 ？ ？？？？？
Jeff Dean：我的意思是，，，，，，用英语写的规格说明，，，，，，历来都不是一个真正被高度重视的产品。。。。。。。。它很主要，，，，，，但它不像现在这样，，，，，，若是这是你要求智能体为你编写软件的依据，，，，，，那你最幸亏怎样说明上很是、很是小心，，，，，，由于那将决议输出的质量，，，，，，对吧 ？ ？？？？？就像若是你没有涵盖到它需要处置惩罚这类情形，，，，，，或者这是一个超等主要的界线情形，，，，，，或者你特殊体贴这一部分的性能，，，，，，它可能就不会按你想要的方法事情。。。。。。。。我以为人前进的一个要领，，，，，，就是学会把事儿说明确，，，，，，别模棱两可的。。。。。。。。这真不是坏事。。。。。。。。不管你是写程序的，，，，，，照旧干别的，，，，，，能把需求讲清晰，，，，，，这个本事到哪儿都吃香。。。。。。。。
主持人：是的，，，，，，好的提醒词工程与足够高级的治理层相同没什么区别。。。。。。。。就像写内部备忘录一样，，，，，，很是仔细地斟酌你的用词。。。。。。。。并且，，，，，，我以为，，，，，，能够做到多模态很是主要。。。。。。。。我以为，，，，，，谷歌的 NotebookLM 做得很好的一点就是，，，，，，直接涌现出了很是、很是强盛的多模态能力，，，，，，包括视频。。。。。。。。那是你能给模子提供的最高带宽的相同提醒。。。。。。。。
那么，，，，，，你怎样网络那些你脑海中经常有的工具 ？ ？？？？？好比你写过那些关于怎样寻找性能刷新的惊人技巧。。。。。。。。人们把这些通用的工具写下来，，，，，，以便以后可以把它作为检索的素材给模子，，，，，，这样是不是更有价值 ？ ？？？？？拿界线情形来说吧，，，，，，你心里门儿清，，，，，，但每次都得跟人掰扯一遍。。。。。。。。那你会不会让各人多花点功夫，，，，，，把这些工具写成通用的，，，，，，以后直接甩出来就能用 ？ ？？？？？
Jeff Dean：我以为那些写得好的软件工程指南会很有用，，，，，，由于它们可以作为模子的输入，，，，，，或者被其他开发者阅读，，，，，，这样它们就能像提醒词一样，，，，，，让底层软件系统应该做什么更清晰。。。。。。。。我以为可能不需要为每种情形都建设定制化的指南。。。。。。。。若是你有通用的指南，，，，，，把它们放到编程智能体的上下文里，，，，，，那会很有资助。。。。。。。。
你可以想象一份针对漫衍式系统的指南。。。。。。。。你可以告诉它：“这类故障可以这么处置惩罚。。。。。。。。”好比 Paxos 协议，，，，，，或者双路发送、单路返回的容错机制。。。。。。。。把 20 种类似的技巧写成一个“漫衍式系统避坑指南”，，，，，，编程智能体就能借鉴这些履历，，，，，，搭出更靠谱的系统。。。。。。。。
主持人：Gemini 能写出 Spanner 吗 ？ ？？？？？也许已经可以了，，，，，，事实代码就摆在那儿。。。。。。。。CAP 定理是个好例子，，，，，，人人都当它是铁律，，，，，，效果你们硬是把它突破了。。。。。。。。我好奇的是，，，，，，模子会不会也这样 ？ ？？？？？在某些条件下，，，，，，你会说它“推翻了 CAP 定理”吗 ？ ？？？？？（编者注：1、Spanner 是谷歌开发的全球漫衍式数据库，，，，，，被誉为数据库领域的“登月妄想”。。。。。。。。2、CAP 定理是漫衍式系统设计的焦点基石，，，，，，由盘算机科学家埃里克·布鲁尔（Eric Brewer）在 2000 年提出。。。。。。。。）
Jeff Dean：是的，，，，，，在某些假设下。。。。。。。。
主持人：你给模子贯注什么，，，，，，它就容易信什么。。。。。。。。以是我就老在想一个问题，，，，，，就是关于你适才说的延迟。。。。。。。。我一直特殊想做这么个实验：一边是快速跑几轮、人随时纠正，，，，，，另一边是憋一个大招、写个巨详细的提醒词让模子一次搞定。。。。。。。。这两种方法，，，，，，究竟谁更牛 ？ ？？？？？性能问题究竟是由于你没说明确，，，，，，照旧由于你基础没法说明确 ？ ？？？？？
Jeff Dean：它说明缺乏，，，，，，以是我可以爆发 10 种差别的工具，，，，，，但只有一个是你要的。。。。。。。。
主持人：那么，，，，，，用 Flash 模子举行多轮交互就足够了。。。。。。。。
Jeff Dean：我很是信仰推动低延迟，，，，，，由于我以为能够与你使用的系统举行真正低延迟的互动，，，，，，比慢 10 倍或 20 倍的工具要令人愉悦得多。。。。。。。。并且我以为，，，，，，未来我们会看到模子，，，，，，以及底层的软件和硬件系统，，，，，，其延迟比我们今天拥有的低 20 倍、低 50 倍。。。。。。。。这关于需要在你的交互之间做大宗事情的系统来说，，，，，，将很是、很是主要。。。。。。。。
主持人：有两个极端，，，，，，你尚有 DeepThink，，，，，，它一直在另一端，，，，，，对吧 ？ ？？？？？
Jeff Dean：但若是不是由于本钱和延迟，，，，，，你会一直使用 DeepThink。。。。。。。。若是你能在模子中拥有那种能力，，，，，，同时底层硬件系统的延迟改善了 20 倍，，，，，，本钱也降下来了，，，，，，你没有任何理由不想要谁人。。。。。。。。但与此同时，，，，，，你可能会有更好的模子，，，，，，纵然在新硬件上，，，，，，也需要花 20 倍的时间。。。。。。。。
主持人：你知道，，，，，，帕累托曲线一直在上升。。。。。。。。
Jeff Dean：是的，，，，，，向前，，，，，，向上。。。。。。。。
关于个性化模子
主持人：有没有一些你现在就可以做、未来也能验证的展望 ？ ？？？？？好比说，，，，，，每次新模子宣布，，，，，，你都会用一些测试来权衡，，，，，，那么眼下尚有哪些让你不太知足、但你预感很快就会被攻克的难题 ？ ？？？？？
Jeff Dean：让我做两个展望，，，，，，可能不完全是你说的那种。。。。。。。。首先，，，，，，我以为一个相识你、相识你所有状态、并且能够在你选择加入的情形下检索你能会见的所有状态的个性化模子，，，，，，将比一个无法会见这些的通用模子有用得多。。。。。。。。好比，，，，，，可以关注我见过的所有工具的模子。。。。。。。。每一封邮件，，，，，，每一张照片，，，，，，我看过的每一个视频。。。。。。。。我以为，，，，，，越来越多专用硬件将能够以比现状更实惠的价钱，，，，，，实现延迟低得多的模子和性能更强的模子。。。。。。。。
主持人：你提到低得多的延迟，，，，，，业内常用每秒 tokens 数来权衡。。。。。。。。现在若是是 100，，，，，，未来能到几千甚至 10,000，，，，，，这有意义吗 ？ ？？？？？
Jeff Dean：太有意义了，，，，，，头脑链推理就指着这个呢。。。。。。。。你可以想象多得多的 tokens，，，，，，你可以做多得多的并行推演，，，，，，你可以天生更多的代码，，，，，，并用头脑链推理检查代码是否准确。。。。。。。。以是我以为，，，，，，能够以每秒 10,000 tokens 的速率做到这些，，，，，，那就太棒了。。。。。。。。
主持人：每秒 10,000 tokens 时，，，，，，你就不再是阅读代码了。。。。。。。。
Jeff Dean：最终可能不是 10,000 tokens 的代码，，，，，，而是 1,000 tokens 的代码，，，，，，背后带着 9,000 tokens 的推理历程。。。。。。。。这现实上可能会是更好读的代码。。。。。。。。
主持人：就像那句名言：给我更多时间，，，，，，我能写出更短的句子。。。。。。。。（编者注：这句话通常被归功于法国数学家、哲学家布莱兹·帕斯卡（Blaise Pascal），，，，，，他在 1657 年出书的《致外省人信札》中写过一句类似的话：“我没有时间写得短些，，，，，，以是只好写得长些。。。。。。。。”）
Jeff Dean：是的。。。。。。。。
主持人：太棒了，，，，，，Jeff，，，，，，这次访谈太精彩了。。。。。。。。
Jeff Dean：谢谢你们，，，，，，很是有趣，，，，，，谢谢约请。。。。。。。。
参考资料：
原视频
https://www.youtube.com/watch?v=F_1oDPWxpFQ
排版：胡巍巍Jeff Dea钧科自动化妆备有限公司n万字访谈：我们正在杀死割裂AI应用，，，，，，2026年是大一统元年