声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-1777/TP
国际刊号：1000-1239
发布日期:
作者：许丹亚,王晶,王利,张伟功,
关键词：大数据, Spark, 内存管理, 跨层分析, 内存追踪,
大数据时代的到来为信息处理带来了新的挑战，内存计算方式的Spark显著提高了数据处理的性能.Spark的性能优化和分析可以在应用层、系统层和硬件层开展，然而现有工作都只局限在某一层，使得Spark语义与底层动作脱离，如操作系统参数对Spark应用层的性能影响的缺失将使得大量灵活的操作系统配置参数无法发挥作用.针对上述问题，设计了Spark存储系统分析工具SMTT,打通了Spark层、JVM层和OS层，建立了上层应用程序的语义与底层物理内存信息的联系.SMTT针对Spark内存特点，分别设计了针对执行内存和存储内存的追踪方式.基于SMTT工具完成了对Spark迭代计算过程内存使用，以及跨越Spark，JVM和OS层的执行/存储内存使用过程的分析，并以RDD为例通过SMTT分析了单节点和多节点情况下Spark中读和写操作比例，结果表明该工作为Spark内存系统的性能分析和优化提供了有力的支持.
来源：2020年第6期
《计算机研究与发展》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。