大数据技术专题讲座(二)第3讲 面向大数据处理的MapReduce优化技术
Journal of Military Communications Technology（2015）
摘要
随着大数据时代的到来,大规模数据的处理技术研究层出不穷.MapReduce计算框架的出现,暂时缓解了大数据的处理难题.虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈.针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究.文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望.
更多AI 理解论文
溯源树
样例
生成溯源树，研究论文发展脉络
Chat Paper
正在生成论文摘要