Storm集群搭建的错误分析

点击上方“

程序人生

”,选择“置顶公众号”

第一时间关注程序猿(媛)身边的故事



首先 storm 集群的搭建不再赘述, 网上有很多, 在此推荐一个:

http://blog.csdn.net/lzm1340458776/article/details/45370381



这个是一个写的不错的, 或者说比较详细的搭建步骤, 不过里面有一些坑没有填, 也可能是我遇到了, 在此提出几个搭建过程中遇到问题的解决方案, 给大家参考:



1.

java .net .ConnectException

 

Storm集群搭建的错误分析



这是第一个错误, 因为目前已经测试成功, 所以就以日志的方式记录错误, 查看日志使我们开发人员必须要会的技能。



解析:一般来说这个问题就是我们的 zookeeper 出了问题, 这个是之前在搭 zookeeper 集群的时候, 二号机出了问题:



Storm集群搭建的错误分析



搭建好 zookeeper 的集群之后一定要先启动测试一下, 并查看每一台的 status, 确保 zookeeper 集群不要有问题。

查看状态的命令是:

../bin/zkServer.sh status



2.

java.net.NoRouteToHostException

 

Storm集群搭建的错误分析



这个问题相信大家应该能很容易的发现, 还是 kafka 连接 zookeeper 失败了

这里有两个点, 还是比较简单, 但是也容易写错:



一号机:

Storm集群搭建的错误分析

Storm集群搭建的错误分析

二号机:

Storm集群搭建的错误分析

Zookeeper.connect 是一样的, 三号机不写了, 区分 host.name 就行。



3.

拒绝连接

 

Storm集群搭建的错误分析

这个问题也是难住我了, 搜了很多资料没找到解决方案, 我简单总结一些之前的老师傅们的解决方案:



(1)

关闭防火墙

可是我的电脑是 centos7,firewall 原则上不会影响, 而且默认也是关闭的, 所以这一解决方案对我来说没用了;

(2)

有个老司机师父说是 zookeeper 配置了其他机器的信息, 我用的就是 zookeeper 集群啊, 当然要配其他机器的信息, 这和 storm 集群没什么冲突啊, 所以我按照他的方案试了一下, 依然没有解决问题;

(3)

我自己的解决方案了

这里要谢谢 captain_hwz 这位老师傅了, 并不是说他告诉我怎么样解决这个问题, 而是他也写了一篇搭建 storm 集群的文档, 然后里面恰巧有这么一句话

Storm集群搭建的错误分析

这句话我看了好多篇搭建的文章都没有找到, 所以一直没有注意, 因为我在实验阶段, 没有这句话也能连接上 (虽然报错了)

所以秘密就在这解开了, 把每一台服务器上的 storm.yaml 都复制一份到/root/.storm/storm.yaml, 这样的话, 项目启动就完美运行了, 上证物:

最终

 

Storm集群搭建的错误分析



写在最后:如果上述问题都已经解决了还是没有能够正常启动, 建议关闭 storm 集群及 storm-ui, 然后依次开启 storm-nimbus,storm-supervisor(1),storm-supervisor(2),storm-ui, 注意速度不要太快, 等每一个启动成功再进行下一个步骤, 因为涉及到系统性能的问题 (我电脑配置一般,cpu 不太给力), 所以说要考虑硬件原因. 



说到这, 祝大家能顺利搭建成功, 在大数据处理上再迈出一步!



点击图片get往期内容

Storm集群搭建的错误分析

Storm集群搭建的错误分析

Storm集群搭建的错误分析

Storm集群搭建的错误分析