基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展, 越来越多的IT业务系统在油田各级单位普及应用. 由于油田应用数量庞大、种类复杂, 如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题. 在使用这些应用系统的同时, 一些访问信息会以日志的形式储存下来, 因此通过分析日志数据可以挖掘出用户访问喜好, 发觉业务系统潜在的安全问题, 进而为油田应用评估提供决策依据. 然而随着IT业务访问量剧增, 应用日志的数量、容量也随之增加, 仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求. 针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法, 同时设计了可视化平台完成对整个分析系统的管理.