基于Hadoop的海量医药电商数据存储系统设计与开发

为了解决海量医药电商数据的高效存储,使海量的医药电商数据得到高效利用,为医药数据挖掘提供基础服务等问题,这里提出了一种基于分布式存储技术来进行存储海量医药电商数据的方法,利用HBase分布式数据库技术,构建了一个基于Hadoop的海量数据存储系统.本系统采用了批量读写多线程并发的策略、预分区策略、RowKey设计与优化策略等,有效解决了热点存储问题和高并发时带来的系统性能下降的问题,系统功能模块的开发证明该系统具有较好的稳定性和可扩展性.