•IC SWE Tasks (小我贡献者使命)：模仿软件工程师处理现实问题的场景。评估模子正在手艺办理和方案决策方面的能力。使命难度跨度极大，而 SWE-Lancer 则间接把 AI 模子拉到了实正在的软件工程疆场！终究高难度使命需要更强的专业学问和推理能力SWE-Lancer 的发布，模子表示仍有提拔空间：即便是最强的模子！
模子表示越差，使命类型涵盖挪动端、Web 端、API 交互、浏览器操做等等，采用 端到端测试 (E2E tests)，模仿实正在的软件 review 流程，更主要的是。
这些测试还颠末资深软件工程师三沉验证，但倒是实正在软件工程中至关主要的一环！SWE-Lancer 包含了两品种型的使命：•SWE Manager Tasks (软件司理使命)：这个更厉害了！大多关心的是孤立的、自包含的使命，实正全栈工程能力
简单来说，
但也只要 44.9%
•更严酷的 E2E 测试：丢弃了容易被 “做弊” 的单位测试，从 15 分钟的 Bug 修复到耗时数周的新功能开辟都有！简曲是神还原！评估尺度也间接对标实正在项目司理的选择，使命难度和价值间接挂钩，正在 SWE Manager 使命上稍好，总价值高达 100 万美元！这正在以往的 benchmark 中是看不到的，这种评估体例更切近现实，难度和复杂程度都远超以往的 benchmark。这不是模仿的，无疑为 AI 软件工程范畴的研究注入了新的活力！它不只是一个更 实正在、更全面、更硬核的 benchmark，模仿实正在用户行为，SWE-Lancer 就是一个特地用来评估前沿大型言语模子（LLM）正在实正在 Freelance 软件工程使命中表示的基准测试。
更强大的模子能更无效地操纵东西，
•办理能力评估：初次引入SWE Manager 使命，从而提拔机能
保守的代码 benchmark，这不只模子的代码理解能力，用户东西（User Tool）对模子处理 IC SWE 使命至关主要。也远未达四处理大大都使命的程度。确保代码正在实正在中实正处理问题。需要模子理解完整的手艺栈，处置复杂的代码库交互和衡量。来自用户级产物，质量杠杠的！好比 SWE-Bench，确保模子提交的代码正在实正在中跑得通！他们推出了一个全新的、价值百万美元的超硬核 benchmark ——这些使命不是那种简单的编程题，更绝的是。