基于对象代理的大数据共享可信数据湖平台

随着数据型科学研究的快速发展及数据共享理念的推动,科学数据管理平台的建设得到了越来越多的重视.然而,由于科研数据量的增加和形式的多样性,传统的科学数据管理平台已不能满足用户对于数据组织服务的个性化需求.此外,数据湖作为一种新型的数据集中式存储库受到了工业界和学术界的广泛关注,它允许从多个数据源中摄入数据,并以原生格式进行存储.在数据湖架构的支撑下,本文主要基于对象代理数据库设计并实现了一种个性化的大数据共享可信数据湖平台.该平台支持多源异构原生数据的存储,实现了元数据管理、数据集检索等高效的数据存储和管理功能;基于对象代理数据模型,设计了合适的基本类和代理类,并结合对象代理数据库的更新迁移机制,实现了个性化数据空间管理及数据自动推送功能;在数据安全方面,利用数据去重技术进行重复数据删除,大大减少了存储消耗.