代码大模型是Copilot等代码智能化产品的核心“大脑”。模型代码能力的强弱直接关系到产品能力和市场竞争力。如今开源和企业内部训练的代码大模型种类和数量越来越多,能力也越来越强,如何给代码智能化产品选择合适且优秀的模型,并持续迭代模型使产品能力越来越强,这成为了代码智能化产品重点解决的问题之一。如何全面、准确、快速评测各个模型的代码能力,并通过评测准确反馈、推动下一轮模型迭代?是各个代码智能化产品团队都在探索实践的问题。
内容大纲
1. 代码大模型评测方法介绍
2. 代码能力评测数据集制作流程
3. 代码大模型评测反馈闭环实践
听众收益
1. 了解企业内代码大模型评测方法与评测数据集的建设经验
2. 了解当前代码大模型评测的难点与解决方案
3. 了解当前代码大模型评测的局限及突破方向