您好!请问您是想了解达梦数据库的相关信息,还是有其他关于达梦的问题?达梦数据库是中国自主研发的关系型数据库管理系统,具有高性能、高可靠性等特点。如果您需要具体的信息或者帮助,请提供更详细的问题描述。

摘要:集团内部关于数据平台近期遇到了两次异构数据源的问题,洽好利用了开源工具简单应对,验证了自己目前工作的思路,正好总结一下分享过程中的收获也经验。
作者 | 三线程序员 Tags | MySQL Doris PG 达梦 金仓 关键词 | SeaTunnel、DolphinScheduler、信创、国产、达梦、人大金仓 适用版本:apache-seatunnel-2.3.8+、apache-dolphinscheduler-3.1.7、人大金仓8.6/9.x 预估阅读:10 min 目录一、为什么要写这篇二、整体需求三、前置条件四、安装测试运行1. 安装一个字,简单快捷。2. 这里有两个概念需要理解一下3.测试demo4. 小分享五、读Doris写达梦数据库操作步骤1. 正常情况2.我跳的坑(读Doris写达梦,流水帐形式就当小说看)2.1.SeaTunnel使用中遇到的问题(1) 表或视图不存在(2) 源与目标表名大小写方式不一致(3) 无法创建表2.2. 两头走不通的折中方案(1) 使用达梦迁移工具(2) 手动建表(3) 灵感闪现-直接删除表的注释2.3 最终可行方案-半手工方案(1) 在备份库上把所有注释去了(2) 使用备份库把数据第一次自动建表导进去。(3) 切回同步从库直接读取最新数据(4) 同时拼出来在达梦里需要追加的语句(5) 加工层导入时的遇到的新问题(ads层字段创建不规范导致)2.4 配个定时就OK3. 写达梦数据库的总结4. 另一时间线六、读写人大金仓数据库操作步骤(信创)1. 坑Kingbase初理解2. 预期设想3. 突变大转折4. 背叛5. 赌一把 一、为什么要写这篇 集团内部关于数据平台近期遇到了两次异构数据源的问题,洽好利用了开源工具简单应对,验证了自己目前工作的思路,正好总结一下分享过程中的收获也经验。以下只谈技术方案选择与经验分享,不讨论数据量、性能、安全等其它内容。 a) 数据中转归集:现有数据平台需要将部分数据数据上报给行业平台,同时还要将另一条第三方物联数据做数据归集中转后再进行上报行业平台。。 b) 国产化信创可控切换:明年技术平台指标项信创切换的前期验证工作,需要验证业务系统与数据平台一体信创国产化信创切换风险验证,将现有 MySQL → 达梦 / 人大金仓 之间做迁移。 根据二三线城市实际公司和技术水平情况、调研了数据采集/集成项目后,暂定 Apache SeaTunnel 的核心原因: 插件式架构,Source/Sink 支持 100+,新增国产库只需改 JDBC Driver; 考虑使用SeaTunnel 进行导入数据,同时考虑datax做为备用方案;(原则seatunnel支持自动建表,datax只支持导入无法自动建表,需要手动建表工作量较大。) 天然集成 DolphinScheduler,调度方便可观测性及管理运维易用性高; 笔者在整个过程中趟了不少坑,经验在四五六节中进行了总结,因此成文,给社区回流经验,也作为内部复盘的内容。 二、整体需求 利用 SeaTunnel 的 jdbc source和达梦专用sink实现数据数据上报,由于上报表比较多,需要利用seatunnel的自动建表和字段映射解决过程中兼容问题; 使用人大金仓数据库替换数据平台webDB和ds的调度持久化DB,同时验证seatunnel做为数据平台的数据采集模块的延伸方案(原有为doris jdbc catalog),读写kingbase数据库进行数据采集计算; 三、前置条件 内容项 要求说明 目标库 达梦数据库,人大金仓数据库 V8.6以上,账号具备 SELECT, SHOW VIEW等 权限 相关数据库jdbc驱动依赖jar包 connectors目录:connector-jdbc-2.3.12.jar lib目录:达梦DmJdbcDriver8.jar、金仓kingbase8-8.6.0.jar、mysql-connector-j-8.3.0.jar、postgresql-42.7.3.jar 四、安装测试运行 有经验的朋友可直接跳过,本节主要介绍个人遇到的一些安装注意事项。 1. 安装一个字,简单快捷。 步骤:下载、解压、安装连接器、测试。
阅读全文