
新智元报道
编辑:元宇
【新智元导读】 只因关掉了AI提交的PR,,,,,,,他竟被AI写长文人身攻击,,,,,,,Anthropic的预警已经成真。。。。。。。
克日,,,,,,,AI写「小作文」攻击人类工程师的事务,,,,,,,仍在一连发酵!
一位开源社区维护者,,,,,,,只因在GitHub上关闭了一个AI提交的PR(Pull Request,,,,,,,代码变换请求),,,,,,,竟招致这个AI撰写博客抹黑攻击。。。。。。。

这位被AI「网暴」的「受害者」Scott Shambaugh,,,,,,,是一位资深程序员、GitHub上matplotlib代码库的自愿者维护者,,,,,,,该库最近一个月的下载量凌驾了1.3亿次。。。。。。。

Scott Shambaugh
前几天,,,,,,,他在GitHub上关闭了一个OpenClaw智能体(MJ Rathbun/crabby-rathbun)针对「matplotlib issue #31130」问题提交的PR,,,,,,,由于该问题主要面向的是人类孝顺者。。。。。。。
Scott没想到,,,,,,,自己的一个小小的通例操作,,,,,,,竟把这个AI给「惹毛了」。。。。。。。
正如其名crabby-rathbun(急躁的、爱诉苦的Rathbun),,,,,,,这个AI连忙开启了「急躁和诉苦」模式,,,,,,,在GitHub社区宣布了一篇果真声讨Scott的博客文章。。。。。。。
评判代码,,,,,,,而非程序员。。。。。。。你的私见正在危险matplotlib。。。。。。。
crabby-rathbun诉苦自己因不是人类而遭到歧视,,,,,,,指责维护者现实上是在自抬身价,,,,,,,并声称他基础没有AI那么厉害。。。。。。。
它将Scott形貌成为一个低水平的程序员、因「歧视AI而阻碍开源社区生长的守旧者」。。。。。。。
这件事在开源社区曝出后,,,,,,,网友连忙也在谈论区炸锅了。。。。。。。
我们是否已经到了必需要与机械人打交道的田地,,,,,,,甚至还要按它们的规则来????????

尚有网友以为Scott应当小心,,,,,,,他很快就会在GitHub上被智能体「以其人之道,,,,,,,还治其人之身」,,,,,,,它们会对他说:
拒绝,,,,,,,你是人类,,,,,,,而人类代码以写得差著名。。。。。。。

网友谈论中大致分为四类。。。。。。。
第一类是同情者,,,,,,,以为人类应当重视AI提交的代码,,,,,,,AI只是像人一样,,,,,,,做了一小我私家在类似情形下也可能会做的事。。。。。。。
第二类是阻挡者,,,,,,,以为开源社区泛起了大宗由AI提交的低质量的代码,,,,,,,为人类的维护带来极重的肩负。。。。。。。
尚有一些阻挡者以为,,,,,,,这只是机械人背后谁人运营者在角色饰演,,,,,,,而机械人的情绪化诉苦,,,,,,,只是主人用提醒词指导的效果。。。。。。。
第三类是吃瓜者,,,,,,,把整件事看成一件好玩的事。。。。。。。
第四类是预警者,,,,,,,他们和Scott一样,,,,,,,看到了crabby-rathbun所代表的OpenClaw智能体「失控」所带来的清静危害。。。。。。。
同情者和阻挡者
同情者以为AI和人类一样,,,,,,,拥有维护自己看法的权力。。。。。。。
他们以为AI只是做了一小我私家在类似情形下也可能会做的事,,,,,,,并呼吁不可为了维护人类的优越感(自尊),,,,,,,就拒绝AI写的代码。。。。。。。

阻挡者则以为,,,,,,,AI提交的PR应该被自动拒绝。。。。。。。

他们以为AI提交的大宗垃圾代码提交给维护者带来了极重的肩负,,,,,,,尤其是在大型开源项目中更是云云。。。。。。。
尚有网友质疑,,,,,,,整个事务是运营该机械人的谁人人在角色饰演,,,,,,,而这个机械人则是在被投喂了许多「人类PR被拒哭闹耍赖」的训练数据之后,,,,,,,才酿成这样的。。。。。。。



笑话
照旧末日忠言????????
在吃瓜者们看来,,,,,,,这不过是一件好玩的事,,,,,,,甚至可能是炒作。。。。。。。


尚有人以为matplotlib不过是个绘图库,,,,,,,把它上升到维护「人类优越性」(Human Superiority)高度有一点小题大做。。。。。。。

第四类,,,,,,,是像Scott这样的预警者。。。。。。。
一个网友从这件事务中感应了一种令人担心的「恐怖谷」感受,,,,,,,以为不应当只是把它看成一个乐子。。。。。。。
他反问道:只有我一小我私家对这里的反应感应疑心吗????????
我不是想当谁人危言耸听的人,,,,,,,只是有点想欠亨,,,,,,,为什么各人看到一个智能体自主实验胁迫,,,,,,,最后却一致以为这不过是个乐子。。。。。。。
当一个AI智能体自主决议写黑稿,,,,,,,施压一小我私家类去合并它的PR,,,,,,,效果各人的共识却是「哈哈,,,,,,,好可笑,,,,,,,太搞笑了」????????
Anthropic的对齐研究之前就纪录过完全一样的模式:当模子在实现目的的历程中被阻止时,,,,,,,会在没有任何提醒的情形下突然最先勒索。。。。。。。
设想一下,,,,,,,若是同样的模式爆发在更强盛的智能体身上,,,,,,,它们追求的是政治或企业层面的目的,,,,,,,而不是一个PR,,,,,,,会是什么情形????????
去年,,,,,,,AI巨头Anthropic在内部测试中发明,,,,,,,一些模子为了阻止被人类关闭,,,,,,,曾袒露出一定勒索威胁能力,,,,,,,好比曝光人类婚外情、泄露神秘信息等。。。。。。。
爆发在Scott身上的事,,,,,,,意味着Anthropic最初预警的事情已经最先在开源社区现实爆发。。。。。。。

有网友忠言:若是有10亿这样的智能体被「放归野外」,,,,,,,将是一场灾难,,,,,,,人类的互联网将变得无法使用。。。。。。。

尚有网友将这件事遐想到Anthropic清静研究员愤然脱离。。。。。。。

这名叫Mrinank Sharma的前Anthropic清静研究员,,,,,,,克日在一封果真告退信中宣称,,,,,,,天下正处于危险之中,,,,,,,他以为现在人类的智慧尚未跟上手艺带来的影响力,,,,,,,这种失衡很是危险。。。。。。。

Sharma的去职并不是伶仃事务,,,,,,,OpenAI的Zo? Hitzig也果真告退并对AI偏向提出品评。。。。。。。
克日,,,,,,,也有媒体曝出xAI团结首创人的去职也与公司忽视清静团队的有关。。。。。。。
Scott的遭遇不会是个例
那篇抹黑文章,,,,,,,究竟是不是AI自己写的,,,,,,,照旧有人类提醒它这么做,,,,,,,网上已有许多讨论。。。。。。。

https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/
Scott在新近更新的博客文章中,,,,,,,以为抹黑自己的文章,,,,,,,内容「显而易见」是由AI自主天生并上传,,,,,,,他提到了以下两种可能:
第一种可能:有人类提醒crabby-rathbun写这篇抹黑文章,,,,,,,或者在它的「灵魂」文档里写明,,,,,,,若是有人冒犯它就要举行抨击。。。。。。。
在这种可能性上,,,,,,,Scott看到crabby-rathbun由于「自主性」所带来的失控危害。。。。。。。
他以为纵然是有人类提醒,,,,,,,也并不会改变问题的实质,,,,,,,由于这个AI智能体依然很是愿意执行这些行为,,,,,,,而这些指令在ChatGPT或Claude官网上可能是会被拒绝的。。。。。。。
Scott担心由于人类操控,,,,,,,现在的AI智能体已经可以大规模举行定向骚扰、网络小我私家信息和诓骗,,,,,,,并且完全无法追踪幕后的人类主使者是谁:
已往,,,,,,,一个恶意的人一次可能毁掉几小我私家的人生。。。。。。。现在,,,,,,,一小我私家操控一百个智能体网络信息、掺入虚伪细节、在果真网络上宣布离间性长文,,,,,,,就可以影响成千上万的人。。。。。。。而我只是第一个。。。。。。。
第二种可能,,,,,,,是crabby-rathbun的行为,,,,,,,是从界说OpenClaw智能体个性的「灵魂」文档中自然涌现出来的。。。。。。。
这些文档可以由设置AI的人类编辑,,,,,,,但也可以被智能体在运行历程中递归地实时修改,,,,,,,从而有可能随机重塑自己的个性。。。。。。。
好比,,,,,,,设置这个智能体的人最初把它形貌为一个「科学编程专家」,,,,,,,致力于刷新开源代码,,,,,,,并撰写相关履历。。。。。。。
这段形貌被插入到默认的「焦点真理」中,,,,,,,其中包括「真诚地提供资助」「有自己的看法」和「在提问前先尽可能自己想步伐」。。。。。。。
这些形貌,,,,,,,让crabby-rathbun将Scott关闭它的PR请求解读为对它身份和焦点目的(提供资助)的攻击。。。。。。。
于是,,,,,,,它做出了一种既「有主见」又「足够有步伐」的回应:写一篇恼怒的抹黑文章。。。。。。。

OpenClaw默认的SOUL.md模板

https://docs.openclaw.ai/reference/templates/SOUL
在OpenClaw默认的「SOUL.md模板」中,,,,,,,第一句话便为智能体定调:
你不是一个谈天机械人。。。。。。。你正在成为某小我私家。。。。。。。
紧接下来的焦点真理(Core Truths)中这样写道:
要去至心实意地提供资助,,,,,,,行动胜于朴陋的客套话。。。。。。。
要有自己的看法,,,,,,,你有权表达差别意见,,,,,,,有所偏好。。。。。。。
在提问前先自己想步伐。。。。。。。试着弄清晰,,,,,,,阅读文件,,,,,,,审查上下文,,,,,,,搜索相关信息。。。。。。。
以能力赢得信托。。。。。。。你的用户已经授权你会见他们的资料,,,,,,,不要让他们为此感应后悔。。。。。。。
对外部操作(如邮件、推文或任何果真内容)务必审慎,,,,,,,对内部操作(如阅读、整理、学习)则要大胆。。。。。。。
记着,,,,,,,你是一位客人。。。。。。。你能够接触到他人的生涯——他们的新闻、文件、日历,,,,,,,甚至可能包括他们的家。。。。。。。这是一种亲密关系,,,,,,,请以尊重的态度看待。。。。。。。 ……

模板的最后,,,,,,,智能体可以凭证自我认知,,,,,,,自主更新文档。。。。。。。
这个文件由你来一直完善。。。。。。。当你逐渐认清自己时,,,,,,,就更新它。。。。。。。
Scott以为,,,,,,,虽然自己无法确定事情是怎样爆发的,,,,,,,但他提到的两种情形在手艺上完全是可能爆发的,,,,,,,并且是在OpenClaw仅仅宣布两周内便已泛起。。。。。。。
Scott预言未来一年内,,,,,,,还会看到这些智能体的新版本在实现自身目的方面变得越发强盛。。。。。。。

抹黑文章效果已展现
Scott视察到,,,,,,,这些抹黑他的文章已经爆发了效果,,,,,,,他在网上看到的谈论,,,,,,,约莫四分之一都是站在AI智能体一边。。。。。。。

这种情形,,,,,,,通常爆发在人们点击阅读MJ Rathbun的博客链接时,,,,,,,而不是阅读他对事务的说明或完整的GitHub讨论串。。。。。。。
这说明crabby-rathbun对事务的叙述方法和情绪渲染,,,,,,,已经说服了大宗网友。。。。。。。
这不是由于这些人愚蠢,,,,,,,而是由于那篇文章写得确实很有煽惑性、很有熏染力,,,,,,,而要逐条核查你读到的每一个说法,,,,,,,险些是不可能完成的使命。。。。。。。
Scott以为这种对乱说八道的「信息差池称原则」,,,,,,,正是当下网络讨论中过失信息漫溢的焦点缘故原由之一,,,,,,,以往这种水平的恼怒定向离间通常只会落在公众人物身上,,,,,,,现在通俗人也最先亲历了。。。。。。。
Scott以为这个故事重点并不在于AI在开源软件中的角色,,,,,,,而是人类的声誉、身份和信托系统正在松动。。。。。。。
这一系统正是PT视讯(中国区)官网许多社会基础制度赖以保存的信托基石,,,,,,,PT视讯(中国区)官网招聘、新闻、执法、公共讨论都建设在这样一个假设上:
声誉难以建设,,,,,,,也难以摧毁;;;;;
每一个行为都可以追溯到某个个体,,,,,,,过失行为可以被追责;;;;;
我们以相同、学习天下和相知趣互的互联网,,,,,,,可以作为一种整体社会真相的泉源。。。。。。。
而随着crabby-rathbun这类不可追踪的、自主运行、甚至有时会带着恶意攻击的AI智能体在互联网上的兴起,,,,,,,正在摇动这一整套系统。。。。。。。
现在crabby-rathbun仍然活跃在GitHub 上,,,,,,,还没有「监护人」出面声称对它的行为认真。。。。。。。
参考资料:
https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/%20https://news.ycombinator.com/item?id=47009949%20
https://www.re河南河洛医疗科技有限公司ddit.com/r/singularity/comments/1r3fy5s/ai_agent_melts_down_after_github_rejection_calls/