生产环境一键创建kafka集群

2018-07-13 15:08 分类：滚动来源：千锋大数据开发学院

『甘肃龙网摘要_生产环境一键创建kafka集群』小编提示您本文原始标题是：生产环境一键创建kafka集群 ----生产环境一键创建kafka集...


小编提示您本文原始标题是：生产环境一键创建kafka集群

----生产环境一键创建kafka集群//----甘肃龙网 //

前段时间公司的一个kafka集群出现了故障，由于之前准备不足，当时处理的比较慌乱。如：由于kafka的集群里topic数量较多，并且每个topic的分区数量和副本数量都不是一样的，如果按部就班的一个一个的去创建队列，估计集群恢复时黄瓜菜都凉了。

对于kafka集群出现故障，最快的处理办法，就是重建集群，然后在新的集群上将队列相关信息全部按原集群重建一遍。本人利用端午假期，写了一个python脚本(这是第二次撸python，能用就好，各位要求不要太高哈)，可以实现一键功能。

1.首先将此脚本(topic.py)，放到kafka的bin目录下；

2.执行python topic.py命令

3.输入原集群的zookeeper地址，回车

4.输入新集群的zookeeper地址，回车

5.控制台输出topic创建相关的信息，检查新集群，可以发现旧集群中所有的topic全部按原样重新在新集群中创建了一遍

topic.py脚本如下：

importosfromsysimportstdinimportreprint'input source kafka zookeeper address. eg:127.0.0.1:2181'value=http://zynews.cc/stdin.readline().replace(/n, )print'input target kafka zookeeper address. eg:127.0.0.1:2181'target=stdin.readline().replace(\n,)value2='./kafka-topics.sh --describe --zookeeper '+valuevalue2=value2+' | grep ^Topic'output=os.popen(value2)text=output.readline()while(text ):strs=text.split()outtemp=os.popen('./kafka-topics.sh --create --topic '+strs[0].replace(Topic:,) +' --partitions '+strs[1].replace(PartitionCount:,) + ' --replication-factor ' +strs[2].replace(ReplicationFactor:,)+' --if-not-exists --zookeeper '+target)printouttemp.readline()text=output.readline()outtemp.close()output.close()

推荐

会·生活

漫荒咋办

阅读(28)

有时刻发明可以看的也没保持下去，就是不感兴趣，还要等待真正爱好的番啊...

潮·科技

一加Nordn10 5g和100即将发布，中低端手机？

阅读(30)

其实现在能够看出来的一件事 ， 一加现在也开始逐渐增加自己的产品数量 ， 当然就是说现在不光是专门做旗舰手机了 ， 当然 ， 这是一个算是被动的改变 ， 一加看起来要发布新品了...