TurboDX for BigData

高性能的大数据集成平台 

  

TurboDX for BigData 简介

        今天的企业/政府领导越来越意识到数据资源的重要性。面对日益增加的大数据量、以及复杂的异构环境,如何更快、更方便地获取原有沉积在各种异构应用系统孤岛(silos)中的数据,充分利用大数据平台的处理能力,以及通过梳理、分类、管理、整合成为有价值的数据资源,更有效地应用于实时分析报告(Real-Time Reporting)、商业智能(BI)、大数据智能AI应用,企业/政府需要方便易用的、透明化的、可统一管理的、可扩展和可靠的、高效的大数据集成平台的产品解决方案, 降低数据资源开发和使用的成本,避免陈旧传统ETL技术产品解决方案所带来的困扰和问题。对于陈旧的基于ETL(如Kettle等)的解决方案,我们常听到诸如“黑箱技术、易用性差、效率低、实时性差、本身又造成孤岛、缺乏集中统一管理”等许多来自用户的差评。

       公司自主研发的TurboDX for BigData高性能的大数据集成平台产品,采用新一代的基于Web、流处理和微服务容器的ELT架构,将EL和T分开,对比传统的ETL架构,具有更大的灵活性、更高的交换性能、以及数据的实时性。TurboDX for BigData采用内存多线程并行流式处理技术,优化的可扩展性和灵活性、以及方便易用的基于Web B/S的任务配置和监控管理界面。用户只需点击几下B/S界面,就能完成各种应用异构数据库快速抽取并加载到大数据平台的数据交换和集成,简单易用性及交换性能高是产品的重要特点。

主要功能:

        ○ 支持结构化、半结构化和非结化的异构数据源全量和CDC实时增量快速加载到各类MPP数仓、Hadoop(hdfs、hive、hbase)、Kafka、Doris、Starrocks、Clickhouse、Greenplum、Gbase8a、GaussDWS、MongoDB、ElasticSearch、以及CDH、HDP、星环TDH、华为FI等各厂商的大数据平台;

       ○ 支持无侵入性实时CDC增量数据获取功能。CDC功能支持的源端数据库包括Oracle(RAC)、SqlServer、MySql、MariaDB、PostgreSQL、Informix、GBase 8s、GaussDB、TiDB、TDSQL、Oceanbase、MongoDB、达梦DM、Kingbase等;

       ○ 目标库支持Hadoop(hdfs、hive、hbase)、Kafka、MongoDB、ElasticSearch等多种大数据存储数据库,以及各类MPP数仓,包括Greenplum、Vertica、GaussDWS、GBase 8a、Doris、Starrocks、Clickhouse等;

        ○ 支持表级、字段级映射转换及实例级的数据过滤Filter,提供各种预制函数或用户自定义函数处理;

        ○ 支持源数据库一对多分发到不同的目标库中;

       ○ 采用多线程内存流处理技术,交换性能高。数据库记录传输可达30000条/s或20M/s,文件传输40M/s;

       ○ 采用完全的B/S图形界面配置,简单易用;

       ○ 提供HA高可用集群版,实现负载均衡及故障转移;

       ○ 可无缝升级为企业级多租户(隔离)的SaaS服务平台;

 

系统架构

应用场景

 

本地数据库全量和实时增量抽取并快速加载到关系库/MPP数仓、Hdfs-Hive、HBase、Kafka、MongoDB等

本地数据快速上传并加载到云中数仓及大数据平台

云中RDS、DRDS数据快速抽取并加载到云中大数据平台(如AWS、Gauss、Greenplum、Vertica等)

 

联系我们 >>

功能特点

  • 支持全量FullLoad及增量CDC实时同步

    釆用Batch批处理和增量数据流(Stream)的统一处理框架。数据库日志扫描的非侵入式(CDC)数据增量获取技术,无需在应用系统数据库端部署任何“代理(Agent)”程序,对应用系统的运行影响降到几乎为零。

  • 完全基于B/S用户界面、简单易用

    直观易用的B/S用户界面是TurboDX BigData 区别于其它同类产品的重要特色。系统屏蔽了数据集成复杂的操作过程,无需高级DBA或技术人员提供咨询或编写不透明的定制脚本代码,通过点击几步界面操作,就可实现大数据集成的应用场景。

  • 基于内存多线程流处理交换性能高

    国内首创基于Web、内存多线程流处理技术,传输效率高。系统可以部署于本地或云中,是实现大数据集成不可少的系统工具平台。 

  • 支持多种异构数据源、MPP数仓、Hadoop及Kafka

    支持结构化、半结构化和非结化的异构数据源全量和CDC实时增量快速加载到各类MPP数仓、Hadoop(hdfs、hive)、Kafka、MongoDB、ElasticSearch等目标库。 

  • 提供图形化的统一监控和日志管理

    提供交换实时监控、及交换日志、数据日志、异常日志等功能,满足大数据集成应用场景的统一使用和监控管理需求。

  • 采用先进的数据虚拟化和元数据技术

    采用先进的数据虚拟化(Data Virtualization)和元数据(MetaData)技术,实现对数据的梳理、元数据目录、数据查看分析,形成数据目录管理与数据交换的统一管理和应用"一张皮”。

 


版权所有©️2016  北京数贝软件科技有限公司    京ICP备14032596号-1