kettle从入门到精通 第六十七课 ETL之kettle 再谈kettle阻塞,阻塞多个分支的多个步骤

news/2024/10/6 20:28:36

场景:ETL沟通交流群内有小伙伴反馈,如何多个分支处理完毕之后记录下同步结果呢?或者是调用后续步骤、存储过程、三方接口等。

解决:使用步骤Blocking step进行阻塞处理即可。

 1、 如下流程图中利用Blocking step步骤同时阻塞【模拟表输出1】和【模拟表输出2】两个步骤,只有当两个步骤都执行完毕之后数据才会通过Blocking step.

 

1) 表输出步骤加载数据,sql为select * from t1,t1表中有三条数据。

2)当前数据步骤为写日志步骤,打印数据读取记录。

3)延迟2秒和延迟3秒步骤可以暂停步骤立刻执行,添加为了演示执行顺序效果。

4)模拟表输出1和模拟表输出2实际上是写日志步骤,为了模拟表输出步骤,方便演示。

5)将模拟表输出1和模拟表输出2同时连接Blocking step步骤,之后打印日志记录最后一行数据。

注意:这里的最后一行数据不是表输入步骤中的最后一行数据,而是通过模拟表输出1和模拟表输出2两个步骤中的最后一条数据。

6)当前数据步骤使用的数据发送是Round-Robin轮询调度。

7)下面为执行的视频,需公众号查看。

2、上边的案例是采用Round-Robin轮询调度,下面我们调整数据发送为数据复制方式,该方式可以将当前数据的数据复制两份,每份的数据都是一样的。

这种情况适用于从A表读取数据,同时写入B表和C表,这种情况下Blocking step步骤依然有效。

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hjln.cn/news/42931.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

高考假+端午 集训

相当不充实的集训6.5 whk ? 水 本来是今天开始集训的来着 但是要去看牙,所以能多待一天 🥰 一年了,终于把被我妈爆破的电脑整好了 (原因是更新没空间了) 但是重置前让我体验一下米哈游的新启动器,我就下了 整完后把原下回来发现新启动器没了,恼了( 早上睡得晚了,我爸…

如何查看网络连接人数?为你介绍三种方法

方法一:通过命令提示符查看1. 打开命令提示符(Windows键+R键,输入cmd并回车)。2. 在命令提示符窗口中输入“netstat -an”命令,并按回车键执行。3. 观察输出的信息,找到本地地址和外部地址对应的TCP和UDP连接数。4. 根据连接数可以大致判断当前网络连接的人数。方法二:通…

SpringBoot 使用 Zookeeper 实现分布式锁

之前的博客介绍过 zookeeper 的分布式锁,只不过是基于 Spring 的实现(技术太老了),现在肯定使用 SpringBoot 进行实现,因此有必要再写一篇博客。 有关 zookeeper 的部署,以及分布式锁细节,这里不再赘述,可以访问我之前编写的博客。 zookeeper 的单机和集群部署:https:…

openwrt扩容相关

硬件:R2S 固件:openwrt(QiuSimons/YAOF) A:最近给R2S换了个带Docker的固件,目前大多数固件刷完之后都会多出一堆空闲空间。如何把这些空间给overlay和/opt/docker扩容? Q:系统->启动项->本地启动脚本 在 exit 0 前面加入脚本强行挂载mount /dev/mmcblk0p3 /opt/d…

LeetCode 974 Subarray Sums Divisible by K All In One

LeetCode 974 Subarray Sums Divisible by K All In One LeetCode 974 能被 K 整除的子数组之和LeetCode 974 Subarray Sums Divisible by K All In OneLeetCode 974 能被 K 整除的子数组之和errosfunction subarraysDivByK(nums: number[], k: number): number {// -5 / 0 / 5…

ansible高级操作 serial滚动更新

1.异步操作和轮询 默认情况下,剧本中的任务会一直处于打开状态,直到任务在每个节点上完成。这样可以会造成阻塞和超时,因此我们可以使用异步模式一次运行所有任务,然后轮询直到它们完成为止。Ansible本身就是采用的多线程来操作多个主机节点,可以使用-P来异步操作。现在所…

Scaling Memcache at Facebook

Memcached 是一种众所周知的、简单的内存缓存解决方案。本文描述了 Facebook 如何利用 memcached 作为构建块来构造和扩展一个分布式键值存储支持世界上最大的社交网络。 1.Introduction一个社交网络(FB)的基础架构通常需要以下允许实时通信(近似,允许一定的延迟), 动态地…

Body SweptSolid Composite Geometry

Body SweptSolid Composite Geometry 下图显示了应用此概念时使用的泛型类和关系。此外,概念可能对通用或标准化的行业实践和场景具有特别重要的意义。对于这些特定的使用场景,下表显示了用户可能采用的一般使用模式的推荐列表。 ##########################################…