云上数据集成解决方案

提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的
数据传输交互服务,有效帮助您解决云环境、个人站点环境下异构
数据存储系统的数据互通难题,让您数据不再成为孤岛!助您实现
大数据分析和实时商务智能。

我们的优势

  • 支持多种异构数据源
    数据集成提供一套抽象化的数据抽取、写入插件,并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输之目的。
  • 支持多种同步方式
    批量同步主要应用场景为提供离线的批量数据进出通道。增量同步主要是指用户可以通过设置过滤条件和同步周期来实现数据的增量同步。实时同步则是支持消息管道到数据库的实时数据导入。
  • 调度&监控告警
    数据集成支持多时间维度(天,小时,分钟)的任务定时调度,只需简单几步便可完成配置。当任务出现错误时,数据集成支持通过预定义方式告知用户任务失败。用户可按照自己定义规则配置告警规则。
  • 整库迁移
    整库迁移是数据集提供的一种批量创建同步任务的快捷工具,可以快速完成把一个数据库(目前支持MySQL和Oracle)内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间。

方案架构

离线异构数据源同步
离线(批量)的数据同步主要通过定义数据来源和去向的数据
源和数据集,由数据集成提供一套抽象化的数据抽取插件(称
之为Reader)、数据写入插件(称之为Writer),并基于此框
架设计一套简化版的中间数据传输格式,从而达到任意结构化、
半结构化数据源之间数据传输的目的。这期间也会涉及到数据
源本身所处的网络,针对于各种复杂的网络,数据集成都提供
了相应的解决方案,是数据传输不受约束。
功能特点
20+种异构数据源
支持经典/专有等网络环境
支持监控报警
支持多种同步方式