计算机研究与发展

作者：易建亮,陈志广,肖侬,卢宇彤,

关键词：代理服务器, 高并发, 高性能计算, 并行文件系统, 负载均衡,

在高性能计算环境中，并行文件系统面临百万量级的客户端，这些客户端往往在同一时间段内发出大量并发I/O请求，使元数据服务器承载巨大的压力.另一方面，这些客户端发出的并发读写请求往往指向同一目录，导致很难将元数据负载调度到多个服务器上.为此，提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy)，并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件，可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上，降低元数据服务器的负载；2)高性能计算程序的并发I/O往往指向同一目录，而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上，无法实现针对同一目录元数据操作的负载均衡，通过代理将针对同一目录的元数据操作调度到多个元数据服务器上，实现细粒度的负载均衡.

来源：2018年第2期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2018年第2期