闻乐 发自 凹非寺量子位 |云南香格里拉文创科技有限公司 公众号 QbitAI
AI写论文这事儿确实不新鲜了，，，，，，，但天下苦假引用久矣。。。。。。
以往咱用大模子写个综述，，，，，，，看着像模像样的，，，，，，，效果一查参考文献——
好家伙，，，，，，，论文不保存、期刊不保存、作者也不保存（扶额）。。。。。。
现在不必愁了，，，，，，，Nature新揭晓了一篇研究，，，，，，，艾伦人工智能研究所（Ai2）和华盛顿大学开源了一个叫OpenScholar的AI系统，，，，，，，写文献综述绝不瞎编。。。。。。
背靠整整4500万篇科学论文库，，，，，，，直接把GPT-4o那种78%-90%的虚伪引用率给干翻了。。。。。。
那么问题来了，，，，，，，各人都在编，，，，，，，OpenScholar为啥不编？？？？？
自我反响推理
着实主要照旧由于LLM的底层逻辑就是展望下一个词泛起的概率。。。。。。
当你问它一个很是生僻的学术问题时，，，，，，，它为了维持语言的连贯性以及“我无所不知”的人设——
会强行凭证语料库里的作者名、期刊名、问题要害词，，，，，，，拼集出一个看起来最像真论文的…幻觉产品。。。。。。
尚有，，，，，，，通用AI缺乏事实锚点，，，，，，，读过万卷书效果全记串了。。。。。。
张教授写过超导，，，，，，，李教授写过质料，，，，，，，当你问它超导质料时，，，，，，，它能面不改色地给你编出一篇《张教授与李教授关于超导质料的巅峰对话》……
这种由于训练数据截断以及缺乏真实文献验证机制导致的假引用，，，，，，，真的太太太离谱了！
OpenScholar就纷歧样了，，，，，，，不再拍脑门展望下一个词，，，，，，，直接接入了一个名为ScholarStore的重大数据库。。。。。。
这是现在果真的最大科学领域段落索引，，，，，，，全开源可下载，，，，，，，任何人都能外地安排或者扩展。。。。。。
内里实打实地存了4500万篇论文的全文和摘要，，，，，，，再通过RAG手艺，，，，，，，让每个知识点都背靠一篇真实保存的论文。。。。。。
当你抛出一个科研难题，，，，，，，它会先在谁人拥有2.37亿个向量嵌入的超大数据库里猖獗检索，，，，，，，把相关的论文片断全翻出来。。。。。。
给出初稿之后，，，，，，，带着天生的“这里缺少讨论”“这里引文禁绝”“需要补搜最新希望”等反响再检索、再改稿，，，，，，，通过搜索、天生、自我审查、再搜索、再修正这套闭环，，，，，，，重复确认输出的内容是不是真有论文支持。。。。。。
这样一来显著降低了幻觉，，，，，，，提高了输出内容的笼罩度和引文精度，，，，，，，整个管道还会被用来天生高质量合成数据，，，，，，，反哺训练。。。。。。
有多强？？？？？
可是！若是只是搜得准，，，，，，，那它充其量是个高级搜索引擎，，，，，，，OpenScholar不止云云。。。。。。
它在知识合成的深度上，，，，，，，已经最先正面硬刚人类专家了。。。。。。
研发团队整了个叫Scholar QABench的测试集，，，，，，，涵盖了盘算机科学、物理、生物医药等最吃逻辑的领域，，，，，，，由3000个问题和250个长篇专家谜底组成。。。。。。
在自动测评上，，，，，，，OpenScholar-8B这个体量不算大的模子，，，，，，，在准确性上GPT-4o横跨5%，，，，，，，比专业的PaperQA2也横跨7%，，，，，，，引文准确度和人类专家持平。。。。。。
团队还搞了个“人机大战”双盲实验，，，，，，，把AI写的谜底和实打实的博士、研究员写的谜底放一起，，，，，，，然后让另一群顶级科学家来盲评打分。。。。。。
16位专家两两比照了108份学术谜底。。。。。。效果显示，，，，，，，OpenScholar-8B的回覆有51%比人类研究者亲手写的更好，，，，，，，升级组合版的OpenScholar-GPT4o胜率更是冲到70%，，，，，，，而通俗GPT-4o只有32%。。。。。。
评审专家们普遍反响！�。。。。�，，，OpenScholar的优势集中在信息笼罩更周全、结构更清晰、逻辑连贯性更强，，，，，，，适用价值也更高。。。。。。
作者团队
这篇研究的一作Akari Asai是艾伦人工智能研究所研究科学家，，，，，，，2026年秋起将任卡内基梅隆大学助理教授。。。。。。
在此之前她获得了东京大学电气工程与盘算机科学专业的学士学位，，，，，，，后在华盛顿大学完成博士学业，，，，，，，研究聚焦于自然语言处置惩罚和机械学习，，，，，，，尤其着重于大型语言模子。。。。。。
Jacqueline He现在在华盛顿大学读自然语言处置惩罚专业博士，，，，，，，本科结业于普林斯顿大学，，，，，，，曾是普林斯顿自然语言处置惩罚小组成员，，，，，，，主要导师是陈丹琦。。。。。。
读研之前，，，，，，，她还担当过Meta的软件工程师。。。。。。
Rulin Shao本科结业于西安交通大学，，，，，，，取得了数学的学士学位，，，，，，，后在卡内基梅隆大学完成了机械学习硕士学位，，，，，，，现为华盛顿大学博士生，，，，，，，同时也是Meta的会见研究员。。。。。。
团队的其他作者均来自伊利诺伊大学厄巴纳 - 香槟分校、卡内基梅隆大学、Meta、北卡罗来纳大学教堂山分校、斯坦福大学等高校和机构。。。。。。
论文地点：https://a云南香格里拉文创科技有限公司rxiv.org/abs/2411.14199