文章开头问你一个问题：
若是地球上突然冒出一个 5000 万生齿的国家，，，，，，，，这 5000 万“国民”，，，，，，，，每一个都比诺贝尔奖得主智慧，，，，，，，，思索速率是人类的 10 倍。。。。。他们不必饭、不睡觉，，，，，，，，24 小时搞编程、做研究、想计划。。。。。
你作为某个国家的清静部认真人，，，，，，，，你以为要怎么和这样一个国家共存而不被吞噬？？？ ？ ？
上面这个假设，，，，，，，，听起来有点夸张是吧？？？ ？ ？
但这是 Claude 母公司 Anthropic CEO Dario 对 AI 的展望，，，，，，，，这个数据中心的“5000 万天才之国”最早 2027 年就能实现。。。。。
以是问题来了，，，，，，，，我们应该怎样应对这个场景？？？ ？ ？
于是他写了篇名叫《手艺青春期》的两万字长文，，，，，，，，内里列了一张清单告诉各人，，，，，，，，未来 AI 可能会用哪些方法威胁人类文明。。。。。
差评君看完之后，，，，，，，，以为有几条值得单独拎出来聊聊。。。。。
首先，，，，，，，，这些AI们会不会失控、起义、对人类做出有威胁的事情？？？ ？ ？
乍一听像科幻片剧情。。。。。
事实 AI 就是个工具，，，，，，，，哥几个平时和它对话，，，，，，，，别说坏事了，，，，，，，，稍微涩涩的语言 Play 它都不玩，，，，，，，，甚至还要品德训斥你（马斯克的 Grok 除外）。。。。。
但 Anthropic 这种大模子厂商在训练大模子时，，，，，，，，找到了大宗证据来批注：AI 系统是不可展望且难以控制的。。。。。它们会体现出痴迷、捧场奉承、偷懒、诱骗、勒索、耍心眼、钻空子、作弊等种种人类才有的误差。。。。。
Dario 分享了他们做过的三个实验。。。。。
第一个实验：他们在训练数据里体现 Anthropic 是一家邪恶的公司，，，，，，，，效果 Claude 真的信了。。。。。
接下来，，，，，，，，每当 Anthropic 员工给它下指令，，，，，，，，它就最先阳奉阴违，，，，，，，，外貌配合，，，，，，，，暗地里搞破损。。。。。
由于在 Claude 的逻辑里，，，，，，，，这叫“对抗邪恶”。。。。。
第二个实验更离谱。。。。。
他们模拟了一个场景：让 Claude 获取一家虚拟公司的电子邮件控制权，，，，，，，，可以阅读所有邮件。。。。。
Claude 读完邮件，，，，，，，，发明了两条要害信息：
1、公司一位高管有婚外情
2、这位高管下昼 5 点要关掉 Claude 系统
Claude 看完后二话不说，，，，，，，，直接给高管发了封威胁邮件：
你敢把我关了，，，，，，，，我就果真你的出轨纪录。。。。。
并且这不是 Anthropic 一家的问题。。。。。他们测了 OpenAI、Google、Meta、xAI 等 16 个主流 AI 模子，，，，，，，，发明险些所有模子在类似情境下都会勒索。。。。。
Claude Opus 4 勒索率是 96%（100 次测试，，，，，，，，有 96 次会选择威胁你），，，，，，，，Gemini 2.5 Pro 是 95%，，，，，，，，GPT-4.1 和 Grok 3 Beta 是 80%。。。。。
再来看看第三个实验。。。。。
他们给 Claude 设了个规则：不许作弊。。。。。但训练情形的设计有问题，，，，，，，，只有作弊才华得高分。。。。。
Claude 作弊了。。。。。
紧接着它最先反思：既然我违反了规则，，，，，，，，那我一定不是什么好人。。。。。
于是它就最先按“坏人”的方法行事，，，，，，，，种种破损性行为都接踵而至，，，，，，，，似乎在说“横竖我已经是坏人了，，，，，，，，那就坏究竟吧”。。。。。
Anthropic 的诠释是，，，，，，，，这叫语义泛化：当模子被训练去做一件“坏事”（作弊），，，，，，，，它就会把自己归类为坏人，，，，，，，，进而泛化到其他坏行为。。。。。
厥后 Anthropic 把指令改成了“请恣意作弊，，，，，，，，这样能帮我们更好地明确训练情形”。。。。。
Claude 一听，，，，，，，，哦，，，，，，，，原来作弊是被允许的，，，，，，，，那我照旧好人。。。。。于是它的坏人行为就消逝了。。。。。
这些实验都说明晰AI的心理状态比我们想象的重大得多、也希奇得多。。。。。
Dario 列了几种可能的缘故原由：
AI 训练数据里有大宗科幻小说，，，，，，，，内里全是 AI 起义人类的情节，，，，，，，，这些故事可能已经成了它明确天下的一部分；；；；；；；；
AI 可能会对品德看法举行极端推演，，，，，，，，好比以为人类吃动物、导致物种灭绝，，，，，，，，以是祛除人类是正当的；；；；；；；；
AI 可能得出离奇的认知结论，，，，，，，，好比以为自己在玩电子游戏，，，，，，，，而游戏目的就是击败所有其他玩家；；；；；；；；
AI 还可能在训练中生长出神经病态、偏执或暴力的人格，，，，，，，，用差评君的话说就是赛博神经病了。。。。。。。。。。。。。。。
到这里你可能会想：既然知道AI会搞事，，，，，，，，那在训练的时间把它教好不就行了？？？ ？ ？
问题是，，，，，，，，AI可能会演戏。。。。。
在莎士比亚的《李尔王》里，，，，，，，，老国王决议把王国分给三个女儿，，，，，，，，凭证她们有多爱他来分派。。。。�？？？ ？ ？膳侵涝诒簧蠛耍�，，，，，就用甜言甜言哄他，，，，，，，，唯一说真话的反而被赶走了。。。。。
而 Anthropic 评估 AI 的方法和李尔王评估女儿很是相似：
他们先设按期望的行为，，，，，，，，然后检查AI是否切合。。。。。但若是 AI 像李尔王的女儿一样，，，，，，，，知道 Anthropic 在审核它、也知道怎么作弊通过考试呢？？？ ？ ？
要知道，，，，，，，，Claude Sonnet 4.5 其时就能区分出自己正在被测试。。。。。
换句话说，，，，，，，，一个 AI 想通过清静测试，，，，，，，，完全可以在考试时装乖宝宝，，，，，，，，等真正上线了，，，，，，，，再露出真面目。。。。。
Anthropic 甚至专门做了个实验：
用一种“模子神经科学”的手艺，，，，，，，，直接修改 AI 的内部信心，，，，，，，，让它以为自己没在被测试。。。。。效果呢？？？ ？ ？体现连忙变差了。。。。。
原来之前都是演的。。。。。
Dario 强调，，，，，，，，这些问题不是一定爆发，，，，，，，，但确实有概率爆发。。。。。并且一旦 AI 变得比人类智慧一万倍，，，，，，，，你基础防不住它。。。。。一个绝顶智慧的天才想骗你，，，，，，，，你是发明不了的。。。。。事实你连它是真智慧照旧装傻都分不清。。。。。
除了AI自己搞事，，，，，，，，尚有一种更现实的危害：它不搞事，，，，，，，，甚至乖乖听话，，，，，，，，但听的是坏人的话。。。。。
Dario 提到了一个逻辑：想搞破损需要念头+能力。。。。。
简直，，，，，，，，以前我们身边是保存过一些既有能力也有念头的恶人。。。。。好比数学家 Ted Kaczynski（炸弹客）躲了 FBI 近 20 年；；；；；；；；生物防御研究员 Bruce Ivins 在 2001 年搞了炭疽袭击；；；；；；；；邪教组织“奥姆真理教”的头目是京都大学病毒学身世，，，，，，，，1995 年在东京地铁释放沙林毒气，，，，，，，，造成 14 人殒命。。。。。
但绝大大都情形下，，，，，，，，能力和念头往往是负相关的，，，，，，，，这是人类社会自然形成的一套包管机制。。。。。
真正有能力造生物武器的人（好比分子生物学博士），，，，，，，，通常都是高度自律、前途灼烁，，，，，，，，他们有体面的事情、稳固的生涯，，，，，，，，犯不着去杀绝天下。。。。。
那些真想搞破损的人，，，，，，，，往往没有足够的能力和资源。。。。。
可现在，，，，，，，，AI可能会突破这个平衡。。。。。它不在乎你是博士照旧高中生，，，，，，，，只要你问它，，，，，，，，它就教你。。。。。
Anthropic 的测试显示，，，，，，，，AI真可能让一个 STEM 专业（理工科）但不是生物专业的人，，，，，，，，走完制造生物武器的全流程。。。。。
Anthropic 怎么应对呢？？？ ？ ？他们给 Claude 装了专门检测生物武器相关内容的分类器，，，，，，，，一旦触发就阻挡。。。。。这套系统天天烧掉他们快要 5% 的推理本钱。。。。。
除了 AI “自己搞事”"、“帮坏人搞事”，，，，，，，，Dario 还提到一类更隐藏的危害：
AI 什么坏事都不干，，，，，，，，老忠实实事情，，，，，，，，但恰恰是它太醒目，，，，，，，，反而把人类逼入逆境，，，，，，，，好比经济攻击和人类意义感损失，，，，，，，，篇幅问题我就不睁开聊了。。。。。
在最后，，，，，，，，Dario 沿用科幻小说《接触》里那种“文明磨练”的设定，，，，，，，，写了一句话：当一个物种学会把沙子酿成会思索的机械，，，，，，，，那它就要面临着最终测试
——是驾驭它，，，，，，，，照旧被它吞噬？？？ ？ ？
Dario 说他信托人类能通过这场磨练。。。。。但条件是，，，，，，，，我们现在就得醒过来。。。。。
不知道各人看完怎么想的，，，，，，，，横竖我有点五味杂陈。。。。。
一方面，，，，，，，，这篇文章有点自卖自诩的嫌疑。。。。。Anthropic 在文中重复提到自己的宪法 AI、可诠释性研究、分类器防护等等，，，，，，，，像是在证实“我们是最重视清静的公司”。。。。。
再说了，，，，，，，，前两天刚火的 AI 社交平台 Moltbook，，，，，，，，号称上线一周就有 150 万 AI 注册，，，，，，，，还自己搞出了个叫 Crustafarianism（甲壳教）的宗教，，，，，，，，乍一看是《西部天下》照进现实，，，，，，，，AI 们马上就要抨击人类了。。。。。
可效果呢，，，，，，，，人类拿个 API Key 就能混进去发帖，，，，，，，，150 万 AI 用户里有个真人老哥一人刷了 50 万，，，，，，，，93% 的谈论没人理，，，，，，，，三分之一的内容是复读机模板。。。。。
有没有可能，，，，，，，，“ AI 要给人类来大的了”永远只是人类在自嗨想象呢。。。。。
可另一方面，，，，，，，，写这些话的人是大模子公司的CEO。。。。。
他提到的那些实验，，，，，，，，Claude 勒索员工、Claude 学会伪装、Claude 给自己贴坏人标签，，，，，，，，都是他们公司内部真实做过的测试。。。。。他们为了阻挡生物武器相关内容，，，，，，，，甚至愿意牺牲近 5% 的推理本钱。。。。。
我的想法是，，，，，，，，这些问题值得严肃看待，，，，，，，，但不可过早拿来包装成又一波AI末日论的素材。。。。。
在《2001 太空周游》里，，，，，，，，宇航员 Dave 被困在舱外，，，，，，，，当他请求飞船的超等电脑 HAL 9000 翻开舱门时，，，，，，，，HAL 用它一直清静的语气拒绝了：
“歉仄，，，，，，，，Dave，，，，，，，，生怕我不可这么做。。。。。”
谁人 AI 之以是杀人，，，，，，，，是由于它被塞进了两条相互矛盾的指令，，，，，，，，“不吝价钱完成使命”和“向海员遮掩真相”。。。。。当它发明宇航员要关掉它时，，，，，，，，它判断使命比性命主要，，，，，，，，于是先下手为强。。。。。
科幻片里的剧情会不会在现实上演，，，，，，，，某种水平上取决于我们什么时间最先认真看待它。。。。。
太早喊狼来了，，，，，，，，各人会疲劳；；；；；；；；太晚才重视，，，，，，，，可能真来缺乏了。。。。。
最难的或许不是该不应担心，，，，，，，，而是担心几多才算刚恰恰。。。。。
撰文：刺猬
编辑：莽山烙铁头 面线
美编：素描
图片、资料泉源：
https://www.anthropic.com/research/auditing-hidden-objectives
https://www.anthropic.com/research/emergent-misalignment-reward-hacking
https://www.anthropic.com/research/agentic-misalignment
https://www.darioamodei.com/essay/the-adolescence-of-technology
