您当前的位置:>  产品中心GloProc云处理

产品介绍

详细介绍

JobKeeper的背景


    在没有JobKeeper如此智能的调度平台辅助时,大数据处理时很不方便,因为在处理大数据时通常都会调用多个软件组件,而多个工具的使用当时只能依靠手动来调用,才能完成整个处理流程,这样大大的增加了处理成本,也浪费了很多时间、人工。针对这样的情况,亚博大数据经过多次针对性调研整理,研发出JobKeeper智能调度平台,成功解决这一难题,通过JoKeeper调度平台,在处理大数据时,可以很方便的按流程来自动调用所有的组件, 除此之外,智能的JobKeeper应用范围很广泛,不仅仅局限于大数据处理,而且各个方面都适用,并且可以对机器进行性能监控。



JobKeeper产品简介


    JobKeeper是亚博大数据自主研发的分布式调度平台(亦支持单机),具有超高的任务处理性能,而且具有超高的可靠性,可不间断接受任务。

    JobKeeper 是一种处理任务的超高性能分布式调度平台,JobKeeper可不间断接受从各台计算机提交的任务,再按照当前集群中所有机器的压力,智能进行分配任务,进而达到集群负载均衡,使得整个集群的性能始终保持最优。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控,对集群中所有的任务进行停止、删除等功能。



系统基本组成


JobKeeper的系统架构如图1所示:

图1 JobKeeper系统架构图

虚拟化资源层
将机器进行虚拟化,形成更大范围的服务集群。
存储层
存储数据的处理结果集或其他中间结果集的单元。

数据处理层
独立的数据处理程序,是对不同需求数据的统一处理方案,由JobKeeper调度平台进行统一的配置管理。
业务层
对于应用层的相关功能的业务化,数字化处理,用于将应用层的需求任务进行规则化划分,形成统一的处理化模式。

应用层
一组用于管理和结果反馈的显示组件。是整个系统面向用户和开发人员的基础承载。


JobKeeper的任务分发流程如图2所示:


图2 JobKeeper任务分发流程图

    当用户在应用层下发任务给管理节点,管理节点调度机器采集机器节点的信息,根据具体的算法选取最优节点并分发任务,接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点,管理节点整理汇总处理结果,而后返回给应用层。



服务器节点组
负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存,对应的信息镜像存储在基于cStor或者NFS服务的存储系统上。
处理节点组
通过RPC的远程调用获取各自节点的任务处理目标,并实时的和处理节点上的任务处理目标进行对比,控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次,报告节点存活状态。


JobKeeper系统故障处理机制


Jobkeeper的故障处理机制如图3所示:

图3 Jobkeeper故障处理机制图

     首先是任务处理节点宕机或者该任务初始化后出现错误,那么该任务返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误,那么该任务将返回到任务处理节点上 由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件 所以不需要担心做了一半的任务要从头开始做。



JobKeeper产品优势


高可靠性
平台采用“多主多备,负载均衡”的管理节点设计模式,和“处理实时跟踪”的处理节点设计模式,从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
低依赖性
平台采用模块化设计思想,通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发,何种处理方式,都可以交由平台进行统一的调度管理。

低干预性
平台采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力,还是单点故障的任务转移,又或者是任务的实时监控和动态分配,都将在系统无人值守的情况下自动完成。
高实时性
平台在高效率并行分布式软件的支撑下,可以实现对任务的实时分配,实时调度,实时处理。在机器性能允许的范围内,计算任务不会出现堆积的显现,所有任务的控制工作基本都在秒级完成,具有前所未有的高效性。

市场应用


应用范围
应用描述
成功案例
传媒行业 基于大量X86架构计算机构成的低成本云转码平台上进行高清视频转码。 某传媒视频云转码平台等
自动化研究 对分布式集群进行智能调度与性能监控。 某研究所大数据处理平台等
移动网络优化 对分布式集群进行智能调度与性能监控。 某运营商共享云平台等
医疗行业 海量数据处理的智能调配与集群性能监控。

产品规格

项目 技术指标
数量 1套
品牌 云任务调度系统知名品牌。
体系架构 高性能集群分布式架构多任务调度系统。
数据处理性能随节点数量的增加而线性增加,支持多节点自动负载均衡及故障转移。
横向扩展 支持在不停机情况下,通过向系统中增加节点的方式实现业务不中断情况下扩充容量和性能。
在线修复 任意节点发生故障、可在不间断业务的情况下进行修复。
支持主机系统 客户端支持Linux(CentOS、RedHat、Ubuntu)、FreeBSD、Windows、苹果MacOS X等主流操作系统。
高可用性

要求系统全冗余,节点必须是高可用配置。当元数据节点出现故障时,要能自动切换到备用元数据节点。任何一个节点出现故障,不影响数据的正常访问。

可用性 当任意1个节点(包括元数据节点)发生故障,存储系统仍然保持数据100%完整,并且不会停机中断服务。
服务 原厂商质保服务, 三年7×24×4,4小时用户现场响应服务。
可调度的任务总量 可高效调度一万个以上的任务。
数据存储 数据能够集中存储和处理。
负载均衡性 大规模并发任务处理时,能够根据节点负载进行动态分配处理任务,做到资源负载均衡。
调度管理 可对执行任务集中调度管理。
稳定性 1、系统连续运行7*24小时,无任何故障。
2、所有周期任务均正常执行,且执行结果正确。
可靠性 没有单点故障,任意节点宕机,系统工作正常,可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。
扩展性 既可以在很小规模机器上跑,也可以在成千上万台的机器上运行,而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。
分布式计算能力 集群能增加节点、并且能正常执行查询任务,在流量没变、资源增加的情况下,增加机器前后,查询任务耗时按比例降低。