声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-1777/TP
国际刊号：1000-1239
发布日期:
作者：史宏志,赵健,赵雅倩,李茹杨,魏辉,胡克坤,温东超,金良,
关键词：大模型, 混合专家, 内存卸载, 分层通信, 专家放置, 专家激活预测, 自适应并行,
近年来，大模型推动自然语言处理、机器视觉等众多领域取得前所未有的进展.混合专家（mixtureofexperts，MoE）凭借在模型参数扩展、计算成本控制和复杂任务处理等方面的独特优势成为大模型的主流架构之一.然而，随着参数规模的持续增长，系统的执行效率和可扩展能力愈发难以满足需求，亟待解决.系统优化方法是解决这一挑战的有效途径，日益成为研究热点.故综述大模型时代MoE系统优化技术的研究现状，首先介绍MoE大模型的发展现状，并分析其在系统端面临的性能瓶颈；然后从内存占用、通信延迟、计算效率和并行扩展4个系统核心维度对最新的研究进展进行全面梳理和深入分析，并对其中涉及的关键技术、适用场景和待优化方向进行详细对比阐述；最后总结MoE系统优化的研究现状，并展望未来研究方向.
来源：2025年第5期
《计算机研究与发展》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。