一种跨异构引擎的大数据生产任务调度框架
Information Technology（2023）
Abstract
行业数据资源往往分布在技术体制异构的物理数据中心,有多种类型的计算引擎,导致应用系统基于每类计算引擎进行大数据生产任务时,存在开发适配复杂、与特定平台紧耦合、生产任务工作流无法支持多类型计算引擎混合编排等问题.提出一种跨异构引擎的大数据生产任务调度框架,通过构建任务工作流统一描述模型、任务工作流可视化编排、任务工作流解析、分布式任务调度管理等,屏蔽大数据底层引擎差异性和复杂性,使用户专注于业务逻辑本身,提高工作效率.应用案例验证了该框架在实际项目中的有效性.
MoreAI Read Science
Must-Reading Tree
Example
Generate MRT to find the research sequence of this paper
Chat Paper
Summary is being generated by the instructions you defined