怎样系统学习hadoop等大数据行业知识
引用我原创文章中的一段来回复你的问题!
原作者姓名:本人青牛原出处:海牛部落/青牛文章海牛部落原文链接: 从小白到大数据技术专家的学习历程原文链接:零基础小白成为大数据技术专家必知的学习历程
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了,这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了,让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了,只不过你现在还可能对"大数据"到底有多大还没有个太清楚的概念,听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据,到时候你就不会觉得数据大真好,越大越有你头疼的。
当然学习大数据不能只学hadoop,还有很多技术和知识点需要学习,我给你分享一份完整的大数据课程大纲供你参考
■网友的回复
多实践作重要,在工作中解决实际问题的过程中就会有慢慢的体会。首先,hadoop是离线分析的工具适合海量数据。其次,hive便于业务人员查询。pig方便开发人员做m/r的开发。对于数据挖掘方面可以通过mahout与hadoop整合来实现数据的分类,聚类以及预测等方面。其次,理论知识也很重要,尤其涉及到概率论与统计学。重点关注机器学习方面。我将自己的一些经验整理到我的blog,http://www.r66r.net
■网友的回复
纸上得来终归浅,绝知此事要躬行。去真实应用环境中实习、工作
■网友的回复
大数据三大件:存储、分布算法、调度管理,这是基础,先理解清楚这些,后面的东西就比较好理解了。
- 怎样评价最近走红的「康巴汉子」丁真的颜值这一长相真的是藏族人平均水平吗
- 工科硕士一年级在读,将赴美攻读工科博士,怎样在博士毕业之后曲线进入投行或者对冲基金
- 怎样成为一个灵魂高贵的人如果你有马云这么多财富,你愿意捐掉一半吗如果你是拾荒的,会捐掉一半馒头吗
- 怎样看待凹凸世界第三季下半部格瑞形象
- 有人说自己从没学过外语却能基本听懂人讲话,他们是怎样做到的呢
- 怎样看待日本的动漫如《东京飨种》《寄生兽》等在日本热播却在国内被河蟹
- 国产非子供向动画是怎样赚钱的
- 马克笔涂色怎样均匀
- 在泰国的文化,传统和生活习惯当中,有没有啥是值得我们中国人和华人去学习和参巧
- 玛雅文化以预言著名,其他文化怎样