声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-1777/TP
国际刊号：1000-1239
发布日期:
作者：杨光,周宇,陈翔,张翔宇,
关键词：代码合成评估指标, 功能准确性, 鲁棒性, 代码合成, 神经网络,
评估指标在代码合成领域中至关重要.常用的代码评估指标可以分为3种类型：基于匹配、基于语义和基于执行.其中，基于执行的Pass@k指标通过执行测试用例，能够准确判断预测代码的功能准确性.然而，该指标的计算需要大量开销，因此亟需设计一种自动化评估指标，在无需测试用例时仍可评估预测代码的功能准确性.此外，好的评估指标应当具有鲁棒性，即预测代码发生微小改变时，评估指标仍能保持其准确性.为此，提出了一种基于UniXcoder和对比学习的自动化鲁棒指标CodeScore-R，用于评估代码合成的功能准确性.CodeScore-R采用草图化处理、语法等价转换和变异测试等技术手段，有效减轻了标识符、语法结构和运算符对评估结果的干扰.实验结果表明，在Java和Python语言上的代码生成和迁移任务中，CodeScore-R的表现优于其他无需测试用例的评估指标，且更接近Pass@k指标，并具有更强的鲁棒性.
来源：2024年第2期
《计算机研究与发展》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。