长理职培窦老师|2021年国家电网招聘考试通信类高频考点：大数据

_本文原题：2021年国家电网招聘考试通信类高频考点：大数据
大数据：
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
【长理职培窦老师|2021年国家电网招聘考试通信类高频考点：大数据】

本文插图
1、Hadoop
是开源大数据项目的总称，是一个由Apache基金会所开发的分布式系统基础架构，主要是由HDFS和MapReduce组成， HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
MapReduce是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。例如，在一个关系数据库中，使用一种集合语言执行查询，如SQL 。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传统的语言(C++ ， Java) ，一步步地来解决问题。这是两种不同的编程模型， MapReduce就是另外一种。