项目背景
随着永达业务的发展,,指标体系日益庞大,,,,数据量攀升,,为了更好地满足用户及时获取数据、、快速访问以及高并发访问数据的需求,,,也为了统一规划数据中台、、、、保障系统稳定运行,,,数字神经底层数据库需要迁移升级。。。。
项目痛点
1. 派生指标跑批计算耗时久,,,部分指标计算无法顺利执行。。。
2. 数仓存在大量冗余数据,,占用存储空间。。。。
3. SAP HANA扩展费用高昂,,升级困难。。。。
4. 指标数据查询效率响应慢,,无法高效支撑运营管理。。。
解决方案
数字神经是永达集团用于辅助经营分析与支持战略决策的重要系统,,,它承载着永达集团的指标分析体系,,,,不仅可以多维度进行指标展示,,,而且可以进行指标的分解与追溯,,,任务下达与跟踪,,实现PDCA管理闭环流程。。。它帮助永达集团构建了公司可视化的战略管理地图,,,提高了公司经营层决策效率。。 因此,,对数字神经底层依赖的数据仓库进行升级。。。
1. 统一数据存储-开源CK升级为ByteHouse,,,提升指标数据查询的性能。。。
2. 调度工具升级-数据调度从开源工具Kettle及调度升级为DataLeap,,便于数据库管理员定期监控数据调度情况,,,,排查数据问题。。
3. 提升计算效率-经数字神经所使用的模型和存储过程迁移至Dataleap和BH,,,提升计算能力,,,,缩短跑批时间。。
4. 统一任务调度-后台计算指标开发接口给Dataleap统一调度
项目亮点
1.避免冗余数据:重跑指标历史数据时,,,,使用Bytehouse的insert语义进行模型指标和系统指标的数据删除,,避免dimp中数据冗余。。。。
2.使用dataleap实现统一调度,,按照数据的依赖关系和优先级调度,,,,避免冲突。。。
3.整体调度效率提升:跑批时间缩短一半,原先12点左右完成跑批完成,,,,现在6点前能顺利完成。。