科学计算环境文件传输和共享服务

新的科研和工程活动正在以越来越快的速度产出海量并且多样化的数据,这些数据带来巨大的计算需求并且迅速增长,数据传输时间占作业处理时间的比例越来越大.本文面向中国科学院科学计算环境,针对计算环境中几百MB到GB量级的数据文件传输耗时长、网络不稳定和数据共享等问题,设计和实现基于微服务架构的文件传输和共享服务,提供一组简单易用的REST开发接口,包括文件传输、管理、共享、统计等服务.该服务的目标是提升作业数据文件的传输效率和在线分享能力,为多学科领域的开发人员提供简单易用的数据开发服务,为用户提供简单灵活的数据传输和共享服务.理论分析和实验表明,该服务简单易用并具备良好的可扩展性,能够根据负载变化而动态扩展文件传输微服务.