Apache SeaTunnel实现 非CDC数据抽取实践记录

目录

• 01 SeaTunnel简介
• 1. Apache SeaTunnel整体介绍
• 2. Apache SeaTunnel技术特性
• 3. Apache SeaTunnel工作流程
• 4. Apache SeaTunnel环境依赖
• 5. Apache SeaTunnel用户使用情况
• 02 SeaTunnel应用场景
• 1. 交管行业数据简介
• 2. 交管行业数据特点
• 03 相关业务痛点
• 1. 数据抽取限制较多
• 04 选择SeaTunnel的原因
• 1. SeaTunnel的优势
• 2. SeaTunnel的安装部署
• 3. SeaTunnel配置文件
• 4. SeaTunnel插件支持
• 05 具体实现方案
• 1. 数据增量更新具体实现
• 2. 具体方法
• 06 具体实现流程
• 1. 确定运算资源
• 2. 确定数据来源
• 3. 数据转换
• 4. 数据输出
• 5. 脚本和调度执行