一、数据集成当前困境
目前数据集成基础设施建设仅一个单一数据库，无法很好支持上层应用的建设步骤，继续采用当前设施跟随产品的策略，数据产品开发受限巨大，从目前实施的几个产品看，存在以下主要问题：
- 功能支持受限，新功能由于无 Infra 支持，大部分最终以比较畸形的形式存在。
- 开发成本难以预估，且都存在成本超预算的现象。
- 技术人力资源局限，使用激进的自主开发需要大量有丰厚大数据技术积累的人员，目前不具备这样的条件。
对于数据集成 “全平台数据打通，高效低代码开发” 的基本目标，迫切需要一个拥有较为完善基础设施(Infra)的“数据仓库”。
二、为什么需要数据仓库？
已经有了数据库，为什么还需要数据仓库？在宏观上，数据库通常是一种OLTP数据库，局限于单一的应用软件，构成数据库系统。虽然数据库的设计使事务型数据库运行得更有效率，但是事务型数据库不善于分析。也就是说，数据库的组织结构决定它的分析能力并不好，相对地，数据仓库的组织结构，能够让它快速简单地处理分析的请求，帮助决策者优化流程、节省成本和保障质量。
数据仓库（Data Warehouse，DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。细节对比如下：
同时数据仓库也是数据中台的基石，是必不可少的一个重要因子。
三、数据仓库基础架构
事务型数据库保存数据的瞬态信息，分析型数据仓库保存大量的历史数据。在实际业务处理中，除了事务型业务和分析型业务，还存在介于事务型和分析型之间的需求，即快速地分析短期的历史数据。这种分析需求无法在保存瞬态数据的事务型数据库中完成，也不能在保存大量历史数据的数据仓库中完成，形成 DB-ODS-DW 的三层体系结构。
四、技术选型
目前市面上关于数仓的技术已经非常成熟，类型也是五花八门。但是考虑开发人员所掌握的技术等原因，我们应当快速以成熟技术完成数据仓库的 Infra 设施部署和相关开发秩序的建立。选定成熟的大数据技术堆栈包含数据存储、数据开发、BI 服务、元数据服务，且各方面都需要有十分成熟的开源产品支持。
这样基于成熟的大数据开发栈，开发人员不需要了解各组件的部署、实现，可以以近似低代码（数据集成能力）形式接入各数据业务、完成数仓数据积累。比如七巧低代码通过预构建的连接器与多种数据源连接，拖拽组件设计ETL流程，对原始数据进行标准化处理与实时传输，将数据整合到数据仓库中。
- 数据积累
通过整套设施，快速完成各平台事实数据、Meta 数据的集中收纳，为数据开发业务提供真实可靠基础。同时基于整套设施，即使非开发人员，内部产品也可以快速低成本进行数据价值探索，快速验证数据业务。
- 商业 BI 产品
商业 BI 产品是体现当前数据集成的商业化价值的最有效手段之一。可以完成 MetaBase 这类开源商业化的成熟产品上靠拢。
五、设施列表
1. 基础设施
基础设施包含 3 种主要类型：统一数据存储、数据 ETL、数据 OLAP。
| 设施组件 | 作用范围 | 说明 |
| Hadoop - HDFS | 数据存储（ODS、DWD） | HDP 平台提供 |
| Hadoop - Hive | HDFS 数据查询（低速） | HDP 平台提供 |
| Hadoop - Yarn | 容器编排平台 | HDP 平台提供 |
| Flink | ETL 数据物化视图计算（On Yarn） | On Yarn 部署 |
| Kafka | 流式存储（Real-Time ODS） | HDP 平台提供 |
| TiDB（TiKV/TiFlash） | OLAP 计算（DWS）、Real-Time 存储 | 沿用旧设施 |
| ClickHouse（可选） | OLAP 计算 | 可选，作为 TiFlash 算力不足的补充 |
| Presto | BI Ad-Hoc 快速集成数据源 |
2. 应用设施
测试环境语义下，应用设施可灵活变更，用于演示数仓最终应有形态，提供快速开发辅助，鼓励灵活采用新组件。
主要围绕 3 大设施：元数据管理、ETL 调度平台、BI 服务。每个类型设施至少需要选择一种。
| 设施应用 | 作用范围 | 说明 |
| StreamX | Flink SQL 实时 ETL 快速开发 | |
| DolphinScheduler | 离线 ETL 调度，沿用旧设施 | |
| DataHub | 元数据平台，提供对全领域元数据的快速集成 | |
| Superset | 自由 BI | |
| MetaBase | 自由 BI，相比 Superset 产品成熟度更高，但 AGPL LICENSE 存在风险，可作为BI 产品形态参考 |
3. 功能流程
- 数据源通过数据同步将数据存储至Hive/Hbase形成数仓基石ODS层；
- DataHub：收集数据源、ODS、DWS元数据信息，做元数据管理；
- Streamx & Dolphinschedule：Flink SQL 实时 ETL 快速开发及调度平台；
- 数据集成：提供图形化的操作，客户可以低门槛形成主题数据，供BI层做数据展示；
本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！
转载请注明出处： 免费源码网-免费的源码资源网站 » 数据集成-缝合一套数据仓库Infra的臆想
发表评论 取消回复