源启数据集成平台优先采用原生工具进行数据集成,同时支持数据速递、DATAX、 BitSail、JDBC、Flink CDC等多种数据集成方式;支持文件、关系型数据库、MPP、大数据平台等双向集成;支持数据迁移、数据同步等场景;支持全量、增量抽取;支持分库分表等;支持自定义脚本模板以及动态配置脚本流程;支持SQL函数、动态脱敏。源启数据集成平台可为企业采集、存储、处理任意数据,实现数据完全共享、持久可用,并提供灵活适配,支持动态扩展。
帮助客户通过可视化任务配置,实现对多源异构的数据源采集,基于Flink CDC的实时数据采集,统一管理各类数据采集任务、统一调度批量采集任务、全流程监控数据采集过程,实现数据采集效率、安全性的提升,实现数据完全共享,发挥数据资产价值。
支持文件、关系型数据库、MPP、大数据平台等双向集成。
通过页面的任务信息配置、数据源配置、目标配置即可完成数据集成任务配置,保存配置之后会按照模板生成任务作业脚本,按模板编排生成完整的作业。同时支持对模板和模板编排的配置,可灵活定义数据采集过程。
在任务配置中统一对任务进行配置和管理,在调度平台中统一执行批量采集任务,在实时任务监控业务统一管理实时任务的执行。
源启数据集成平台主要包含参数配置、预处理配置、版本管理、任务监控等功能。
-
参数配置
包含动态参数的查询、新增、修改、删除,可以实现对动态参数的管理,并能够根据业务场景的需要来定义跟随任务配置的参数,满足客户灵活适配各类采集任务的需求。
-
预处理配置
包含预处理脚本配置和预处理组配置等,可以实现对文件类型的数据源进行数据清洗和数据处理,满足客户对文件类型的数据源进行数据预处理的需求。
-
版本管理
包含版本发布、版本比较、版本恢复等,可以实现对数据采集任务作业脚本版本管理的业务价值,满足客户对任务作业脚本的版本管理需求。
-
任务监控
包含批量任务监控和实时任务监控等,可以实现对批量数据采集任务全流程的状态和数据量进行监控,实现对实时任务的启停管理、任务状态查看、对应Flink作业状态查看,满足客户对数据采集任务状态监控和管理的需求。
-
可视化任务配置
批量任务、实时任务均可通过页面完成任务的配置和修改,所见即所得的任务配置方式极大地提高了数据采集任务的配置效率,从而提高整体的任务执行效率。
-
支持多源异构的数据采集
支持文件、关系型数据库、MPP、大数据平台等双向集成,支持MySQL、PG、Oracle、DB2、SQL Server、达梦、易鲸捷等多种国内外关系型数据库。
-
支持多种数据同步方式
支持多种数据同步方式,优先采用原生工具进行数据集成,同时支持数据速递、DATAX、BitSail、JDBC等方式。
-
支持动态参数配置
用户可以根据业务需要定义任务中需要的参数。这些自定义参数会在对应任务类型的任务配置页面显示,可以定义默认值或提供可选值。用户可以通过参数代码在脚本中引用该动态参数。
-
支持模板定制和模板编排定制
模板是处理数据采集任务中某一个步骤的脚本范例,模板编排是处理整个数据采集任务的一个脚本序列。数据采集任务单独的每一步和整体的序列都是可以定制的。用户可以根据业务需要定制自己的模板和模板编排,适配多种复杂的业务场景。
-
全流程任务监控
提供全流程的任务监控功能,在批量任务监控页面可以查看每一次任务执行的监控信息。任务执行的每一个节点、全程状态、各节点的数据量信息均有监控,在实时任务监控页面可实时查看实时任务的运行状态。