可视化数据流平台上线 | 支持流批一体、差异检测、零代码配置

上期回顾

我们用了无数本该陪伴对象的周末、节日，我们忽略了太多晨昏与四季，换来了数据操作的极致精准！如今每个流程都如算法般清晰，每个节点都如代码般严谨。我们做到像画流程图一样操作着数据，所见即所得！

产品支持任意并行、支持流批一体化。支持同步、接收外部系统数据、清洗、转换、报表数据生成、推送给外部系统数据集中在一个画布中。我们设计并规划30秒即可完成一个表的同步配置。

以下为批处理示例

你可以使用指定服务器，指定节点数运行，底层调度算法自动选择CPU、内存占用率较低的实例去执行，节点宕机等情况自动调度集群中其他可用节点。

任务可控，提供全套日志、监控、告警、权限、版本控制。

配置何时触发，以及策略对齐策略：数量一致、内容一致、随机数量。包含时间范围等等配置，甚至允许自动补齐、更新。

数据不一致时进行告警，并提供运行日志以及差异数据展示。

如果有差异，则可以查询差异数据，以及差异的具体字段明细。

我们提供了查询模板功能，支持密钥、权限、版本控制、限流、缓存、日志等。当对外提供接口，出报表接口等再也不用手写后端代码了。我们只需要关注具体查询SQL即可。

模板配置如下，支持分表算法以及动态SQL

扩展配置

发布预览页面方便快速查询测试等

更多功能关注此公众号，后续我们会编写各种场景的用法。以下功能我们都不值得一提。

传统数据同步方法，如自编代码定时任务或使用Flink CDC、DataX等工具，虽然能满足一定需求，但存在时间成本高和技术门槛的问题。这些方案要求开发者投入大量时间和精力学习技术细节，并持续维护以适应变化的数据环境，不够灵活高效。

为解决这些问题，我们开发出了一款新的实时数据同步工具。该工具简化了配置过程，几分钟内即可设置好从源表到目标表的同步规则，减少了准备工作的时间和复杂度。它还提供了用户友好的界面和丰富的功能选项，让非技术人员也能快速上手，显著降低了学习曲线和实施成本。

支持任意节点缩扩容，当资源使用率低的时候支持动态减少节点节约成本，当遇到大促等活动服务压力过大时增加节点数提高数据处理吞吐量。