GuardSpark:Spark访问控制增强机制

作为最流行的大数据分析工具之一,Spark的安全性却未得到足够重视.访问控制作为实现数据安全共享的重要手段,尚未在Spark上得以部署.为实现隐私或敏感数据的安全访问,本文尝试提出一种面向Spark的访问控制解决方案.由于Spark架构具有混合分析的特点,设计和实现一个可扩展支持不同数据源的细粒度访问控制机制具有挑战性.本文提出了一种基于声明式编程和Catalyst可扩展优化器的统一、集中式访问控制方法GuardSpark.GuardSpark可支持复杂的访问控制策略和细粒度访问控制实施.文章实验部分对所提访问控制方法在Spark上进行了原型实现,并对其有效性和性能开销进行了实验验证和评价.实验结果表明,GuardSpark可实现细粒度、支持复杂策略的访问控制机制.同时,该方法带来的性能开销可忽略,并且系统具有可扩展性.