在 AI 编程领域 ，，，，，，各人似乎正处于一个认知错觉的极点：随着 Coding Agents 自力完成使命的难度和规模逐渐增添 ，，，，，，Coding 领域的 AGI 似乎就可以实现？ ？？？？？
然而 ，，，，，，真正的工程师都知道 ，，，，，，写代码的灵魂不在于file/function level的 code creation ，，，，，，而是 project level 的 code completion。。。。。写了很长时间的代码 ，，，，，，不代表项目做完 ，，，，，，更不代表项目做好了。。。。。
一个完整的项目开发要求开发者从一个空文件夹最先 ，，，，，，明确上万 token 的需求 ，，，，，，设计架构、治理多模态逻辑 ，，，，，，并产出可装置、可运行的代码客栈。。。。。然而现有代码评测基准主要集中在局部代码天生（如 HumanEval、MBPP）或在已有代码库上举行修复（如 SWE-bench）。。。。。
克日 ，，，，，，首个专门评估编码智能体端到端客栈天生能力的基准测试 ——NL2Repo-Bench 正式宣布。。。。。它由字节跳动 Seed、南京大学、北京大学等多家机构的研究者团结打造 ，，，，，，宣布后受到普遍关注。。。。。
论文问题：NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents论文主页：https://huggingface.co/papers/2512.12730项目链接：https://github.com/multimodal-art-projection/NL2RepoBenchArXiv 论文：https://arxiv.org/pdf/2512.12730
Show me your Repo ，，，，，，
NL2Repo 怎样考察 Coding Agent 从 0 到 1 事情能力？ ？？？？？
在 OpenAI 对通用人工智能（AGI）的界说中 ，，，，，，AGI 需要在大大都具有经济价值的使命上抵达或凌驾人类体现。。。。。在软件工程领域 ，，，，，，这种愿景意味着开发方法的倾覆式转变：人类只需提供需求 ，，，，，，Coding Agent 即可自力完成开发、调试、安排等所有环节 ，，，，，，人类不再需要直接写代码。。。。。
与以往依赖 LLM 评分或对已有代码客栈举行修改的基准差别 ，，，，，，NL2Repo-Bench 的设计亮点在于从 “人类不再需要直接写代码" 的最终愿景出发 ，，，，，，设计了极其严酷的 “零代码执行评估” 机制。。。。。该基准要求智能体面临完全真空的初始事情空间 ，，，，，，仅通过平均长度超 1.8 万 token 的长篇需求说明 ，，，，，，自主举行需求明确、开发、测试、多文件协同治理等全链路事情。。。。。
简朴来说 ，，，，，，NL2Repo 团队从 GitHub 挑选了 104 个拥有完整 pytest 测试用例的 Python 开源项目。。。。。实验历程中 ，，，，，，差别的 Coding Agent 需要凭证专家构建的高质量需求文档 ，，，，，，从零复现整个客栈 ，，，，，，并以项目原有的测试用例作为基准来评估复现效果。。。。。
NL2Repo-Bench 是怎样构建评测的？ ？？？？？
首先是使命选取。。。。。
构建 NL2Repo-Bench 这一基准评测数据集的主要挑战在于 ，，，，，，怎样从海量的 GitHub 开源客栈中萃取出具备高手艺含量且可验证的黄金样本。。。。。
为了使用可验证的真值（Ground Truth）评估客栈级代码天生能力 ，，，，，，NL2Repo-Bench 从具有模� ？？？？？榛芄购腿ㄍ� pytest 测试套件的真实 Python 库中提取使命。。。。。Coding Agent 仅吸收简单的自然语言规范 ，，，，，，必需从零最先重修完整的客栈 ，，，，，，包括文件结构和功效逻辑。。。。。准确性严酷通过在原始上游测试套件中运行天生的代码来权衡。。。。。
为了确保评测数据的现实意义与手艺深度 ，，，，，，团队在筛选流程设定了多维度的准入门槛：
活跃度：近 3 年内有至少一次更新。。。。。权威性：Github 星数至少为 10。。。。。完整性：包括清晰的目录结构、完整测试用例（pytest/unittest）。。。。。且源代码仓能够通过其自带的测试用例。。。。。高难度：代码总行数需在 300 行以上（绝大部分使命凌驾 1000 行 ，，，，，，部分使命过万行）。。。。。代表性：笼罩工具类（如数据洗濯库）、框架类（如轻量级 Web 框架）、算法类（如图像处置惩罚库）等多个差别类型的 python library。。。。。
选择 Python Library 级别的客栈作为目的 ，，，，，，正是由于其开源属性与规范化水平完善契合了这一验证机制 ，，，，，，带有完整的测试用例等特征 ，，，，，，为评估大模子在客栈级代码天生上的真实体现提供了科学的实验场。。。。。
评测构建流程图
使命笼罩方面 ，，，，，，NL2RepoBench 包括 104 个真实 Python 客栈级使命 ，，，，，，涵盖工具类、框架类、算法类等多个主流 Python 库种别 ，，，，，，严酷考察 Agent 从自然语言文档出发自力开发可直接运行、可安排的软件客栈能力。。。。。
怎样消除 Coding Agent 评估历程中的随机性？ ？？？？？
需求文档 + 评测情形 + 全流程 QC
在包管 NL2Repo-Bench 使命文档质量的历程中 ，，，，，，构建团队确立了一套严密的自动化工具与人工深度加入相团结的验证系统。。。。。
NL2Repo 使命文档示例
1. 为了精准锁定客栈的焦点功效节点 ，，，，，，手艺团队首先使用静态扫描工具对源代码举行拓扑剖析 ，，，，，，提取出支持项目运行的要害架构信息。。。。。
2. 在此基础上 ，，，，，，使命文档的编写追求极高的严谨性与周全性 ，，，，，，通过 “人工专家 + AI 工具” 的双重校验机制 ，，，，，，确保每一个焦点功效节点在需求形貌中均无遗漏 ，，，，，，为模子的代码天生提供准确的指引。。。。。
3. 评测情形的稳固性是确保效果可重复性的基石。。。。。为此 ，，，，，，团队对使命相关的镜像情形举行了细腻化设置 ，，，，，，通过最小化非功效性依赖 ，，，，，，消除了由于情形波动带来的滋扰项。。。。。
每一项使命从起源起草到最终收入评测集 ，，，，，，都必需强制通过人工文档审核、静态工具检测、镜像情形验证以及预实验验证这四个阶段。。。。。这种全生命周期的质量控制闭环 ，，，，，，有用扫除了低质量使命对基准测试信度的影响 ，，，，，，确保了 NL2Repo-Bench 能够真实反应 Coding Agent 在重大工程场景下的焦点竞争力。。。。。
Repo 一梭出 ，，，，，，
一线 Coding Agent 现实体现怎样？ ？？？？？
NL2Repo-Bench 团队首次完整测试了目今最强的 Coding Agent ，，，，，，效果显示即即是体现最佳的 Claude4.5 ，，，，，，整体通过率仍低于 40% ，，，，，，大都模子的整体体现仅在 20% 左右。。。。。
使命难度上升 ，，，，，，模子体现快速下降：真实重大项目开举事度有用体现。。。。。Claude 家族遥遥领先 ，，，，，，GPT5 意外落伍：交互战略的缺陷显着拖累了 GPT5 体现。。。。。
NL2Repo-Bench 团队进一步剖析了模子挪用工具的偏好与开发战略 ，，，，，，发明以下典范问题：
早停（Early-Stop）：部分模子缺乏长程妄想 ，，，，，，过早终止开发； ； ；；；未终止（Non-Finish）：模子频仍陷入期待用户指令的状态 ，，，，，，开发未完成； ； ；；；盲目编辑与导航陷阱：部分 Agent 缺乏系统性妄想 ，，，，，，铺张大宗轮次在无意义操作。。。。。
消融实验 1：轮次数对模子体现的影响
NL2Repo-Bench 团队发明 ，，，，，，交互轮次增添到 200 次左右可显著提高模子体现。。。。。别的 ，，，，，，即便在 “开卷考试”（提供测试用例）的条件下 ，，，，，，模子也难以突破 60 分 ，，，，，，足见真实客栈级开发使命难度之高。。。。。
claude4.5 得分转变趋势图
消融实验 2：泄露测试用例对模子体现的影响
主实验中 ，，，，，，CodingAgent 除了使命文档和指令外没有任何输入内容。。。。。 为了判断测试用例能否对模子的开发事情实现有用辅助 ，，，，，，NL2Repo-Bench 团队选取 Claude4.5+ClaudeCode ，，，，，，在执行使命的 workspace 中注入了测试阶段的所有测试文件。。。。。
实验效果：天生阶段提供测试用河南河洛医疗科技有限公司例后 ，，，，，，模子在各个难度使命的体现都有了显着的提升 ，，，，，，但总体得分仍然偏低（59.4 ，，，，，，低于 60 分） 。。。。。这一效果一方面批注提供测试用例的情形确实能够实现对模子开发的辅助 ，，，，，，另一方面 ，，，，，，依然较低的 all-pass rate 也批注晰目今的 coding-agent 纵然是在 “开卷考试” 的情形下也依然较难实现完整客栈的长程开发。。。。。