声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-1777/TP
国际刊号：1000-1239
发布日期:
作者：申毅杰,曾丹,熊劲,
关键词：数据分析, 大数据, Spark SQL, 重复计算, 数据重用, 收益模型,
通过数据分析发现海量数据中的潜在价值，能够带来巨大的收益.Spark具有良好的系统扩展性与处理性能，因而被广泛运用于大数据分析.SparkSQL是Spark最常用的编程接口.在数据分析应用中存在着大量的重复计算，这些重复计算不仅浪费系统资源，而且导致查询运行效率低.但是SparkSQL无法感知查询语句之间的重复计算.为此，提出了基于收益模型的、细粒度的自动数据重用机制Criss以减少重复计算.针对混合介质，提出了感知异构I/O性能的收益模型用于自动识别重用收益最大的算子计算结果，并采用Partition粒度的数据重用和缓存管理，以提高查询效率和缓存空间的利用率，充分发挥数据重用的优势.基于SparkSQL和TachyonFS，实现了Criss系统.实验结果表明：Criss的查询性能比原始SparkSQL提升了46%~68%.
来源：2020年第2期
《计算机研究与发展》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。