Tapdata 实时数据开发平台产品是什么
Tapdata的实时数据开发平台产品系列可以帮助企业构建一站式实时数据开发及服务平台DaaS(Data as a service),为企业提供统一和完整的企业主数据层,能够在此基础上查询,分析和创新。Tapdata产品覆盖了企业数据使用过程中,所需要的各种步骤和工具。
产品系列结构图
Tapdata实时数据开发平台与传统数仓、以及Hadoop平台对比
Tapdata 实时数据开发平台
贴近市场的前端业务有着迫切需求,但技术人员花在编写业务逻辑的时间通常只占20～30%。其余时间都是用在数据准备上。导入/导出、编写调度命令/脚本、寻找出错的任务、开发服务接口、排查数据质量问题等等,正是这些看似不起眼的“细枝末节”导致需求的响应速度慢,因此加快响应速度的根本就在于数据准备。
Tapdata 数据产品帮助企业解决了数据准备的全链路工作,让企业专注于前台业务创新,提高快速响应能力。
Tapdata实时数据开发平台架构
Tapdata Replicator 数据同步
Tapdata Replicator包括任务调度设计、监控、告警,模式匹配,故障自动转移、日志管理、断点续传,同步验证等功能。能够从各种数据库,比如Oracle、MySQL、SQLSever、DB2等;不同的流数据,比如Kafka、MQTT、Log、Socket等;不同的文件,比如Excel、CSV、XML、Binary等中采集数据。
Tapdata Replicator特点
Tapdata 数据治理和建模
Tapdata将数据治理和建模以产品化的形式呈现,帮助企业实现数据治理。
主要包括以下几个功能:
Mapping设计器:系统会根据关系型结构自动推荐映射关系,用户也可以直观拖拽的方式来定制化从关系型到JSON结构的映射规则,更提供即时JSON结构预览功能。
元数据管理: 对所有的应用打上标签,包括数据是从哪个应用的哪个数据库来的,数据类型是什么,业务是什么,后面对接的应用是什么。一旦上层的应用发现数据有错误,可以通过数据编目来进行数据溯源,或者血缘分析,可以追溯到表级别、记录级别甚至是字段级别。
数据质量:针对在数据采集或者同步过程中,一些不符合规则和要求的脏数据,进一步进行处理。
Tapdata API Server 数据API发布
Tapdata API Server主要承担对外提供数据服务的职责,是快速生成API和统一管理的高效工具。
数据管理者可利用产品化的配置工具生成各类API服务,监控调用及使用情况,让数据资产价值对外输出的过程中,做到数据服务过程可见、可管、可控。与此同时,对于API消费者,可以根据不同权限看见相关API,根据需求自助选取合适的API,极大的提高了使用效率与易用性。 应用架构如下图所示:
Tapdata API Sever特点
图形化API 设计:图形化协助完成无代码API 设计
文档和测试:自动生成文档和测试
实时监测:谁使用了什么数据,频次。API 使用情况和状态一目了然
按需扩展:基于微服务的横向扩展架构
