「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析

FineDataLink作为一款市场上的顶尖ETL工具，集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，进行了新的维护迭代。本文把FDL4.1.7最新功能作了介绍，方便大家对比：（产品更新详情：4.1.7最新功能体验）

定时任务区分开发模式和生产模式

对于定时任务，支持开发模式和生产模式，实现代码的隔离。

开发模式的任务可一键发布上线，将任务发布为生产模式。

详情：开发模式与生产模式

定时任务运行记录存储到logdb&支持清理 

fine_dp_work_exec_record表迁移到LogDB中，表名不变，后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。详情参见：LogDB 表结构

定时任务运行记录可直接使用日志清理功能进行手动/自动清理，如下图所示：

详情：日志简介

记录读写过程日志\异常和错误日志使用过程中产生的过程日志，支持将运行记录导出为文件，以供查看和使用

详情：定时任务运维—运行记录

定时任务JSON生成\SparkSQL+导入导出视觉优化

详情：JSON生成、SparkSQL、定时任务导入导出

定时任务编辑界面优化

• 支持界面搜索：可对节点/算子进行搜索，并快速定位选中节点/算子

• 支持导航器功能：显示画布内容的缩略图；支持拖拽移动视图；支持点击导航器其它区域，可快速定位画布内容

• 对搜索和视图导航功能提供新手引导

• 每次打开定时任务，画布内容居中

• 拖拽画布时，不关闭节点面板

详情：数据开发页面介绍

API输入、输出支持自定义响应解析的编码方式

「高级配置」中支持指定响应数据字符编码方式

详情：数据同步-API

数据管道同步标记时间戳优化

• 2.1 之后版本的 StarRocks，在管道任务中，支持「同步时标记时间戳」功能。

• 2.0 版本之后的 Doris，在管道任务中，支持「同步时标记时间戳」功能。

• 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段，实时同步时会屏蔽这些字段

• 目标表选择已存在表且已存在表包含「_fdl_marked_deleted」字段时，支持使用源端逻辑删除功能，支持「同步时标记时间戳」功能

同步时标记时间戳、源端删除数据详情：同步时标记时间戳、源端删除数据

升级版本支持上传更新

支持「上传更新」，即前端手动上传 JAR 包进行更新升级，解决每个月发布的中间版本不能提供一键升级的问题，如下图所示：

详情：FineDataLink一键升级

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值。

更新详情：4.1.7更新日志-FineDataLink帮助文档(fanruan.com)

功能体验链接

技术文档参考：FineDataLink文档