2020年西藏国家电网招聘考试计算机专业考点：并行数据处理MapReduce

国家电网招聘考试QQ交流群：181095196   视频课程   书籍资料  考试题

 并行数据处理MapReduce
MapReduce是Google提出的一个软件架构，是一种处理海量数据的并行编程模式，用于大规模数据集（通常大于1TB）的并行运算。“Map（映射）”、“Reduce（化简）”的概念和主要思想，都是从函数式编程语言和适量编程语言借鉴来的。正式用于MapReduce有函数式和矢量编程语言的共性，使得这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等。
2.2.1 产生背景
MapReduce这种并行编程模式思想最早是在1995年提出的，文献[6]首次提出了“Map”和“fold”的概念，和现在Google所使用的“Map”和“Reduce”思想是相吻合的。
与传统的分布式程序设计相比，MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节还提供了一个简单而强大的接口。通过这个接口，可以吧大尺度的计算自动的并发和分布执行，从而使编程变得非常容易。还可以通过由普通PC构成的巨大群集来达到极高的性能。另外，MapReduce也具有较好的通用性，大量不同的问题都可以简单的通过MapReduce来解决。
MapReduce把对数据集的大规模操作，分发给一个主节点管理下的各分节点共同完成，通过这种方式实现任务的可靠执行与容错机制。在每个时间周期，主节点都会对节点的工作状态进行标记，一旦分节点状态标记为死亡状态，则这个节点的所有任务都将分配给其他分节点重新执行。
据相关统计，每使用一次Google搜索引擎，Google的后台服务器就要进行1011次运算。这么庞大的运算量，如果没有好的负载机制，有些服务器的利用率会很低，有些则会负荷太重，有些甚至可能死机，这些都会影响系统对用户的服务质量。而使用MapReduce这种编程模式，就保持了服务器之间的均衡，提高了整体效率。
2.2.2 编程模型
MapReduce的运行模型如图2-2所示。图中有M个Map操作和R个Reduce操作。
简单的说，一个Map函数就是对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据，因此Map与Map之间是互相独立的，这就使得它们可以充分并行化。一个Reduce操作就是对每个Map所残生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果进行合并操作，每个Reduce所处理的Map中间结果是互不交叉的，所有Reduce产生的最终结果经过简单连接就形成了完整的结果集，因此Reduce也可以在并行环境下执行。
在编程的时候，开发者需要编写两个主要函数：
Map:(in_key,in_value) -> {(key_j,value_j) | j = 1……k}
Reduce:(key,[value₁,……value_m]) -> (key,final_value)
Map和Reduce的输入参数和输出结果根据应用的不同而有所不同。Map的输入参数是in_key和in_value,它指明了Map需要处理的原始数据是那些。Map的输出结果是一组<key,value>对，这是经过Map操作后所产生的中间结果。在进行Reduce操作之前，系统已经将所有Map产生的中间结果进行了归类处理，使得相同key对应的一系列value能够集结在一起提供给一个Reduce进行归并处理，也就是说，Reduce的输入参数是(key,[value₁,……,value_m])的结果。这样，一个Reduce处理了一个key，所有Reduce的结果并在一起就是最终结果。
例如，假设我们想用MapReduce来计算一个大型文本文件中各个单词出现的次数，Map的输入参数指明了需要处理哪部分数据，以<在文本中的起始位置，需要处理的数据长度>表示，经过Map处理，形成一批中间结果<单词，出现次数>。而Reduce函数则是吧中间结果进行处理，将相同单词出现的次数进行累加，得到每个单词总的出现次数。

新中国成立后，革命英雄主义一直是新文化的主旋律。社会主义革命和建设的丰富实践，孕育出以黄继光、邱少云、罗盛教等为代表的“最可爱的人”，以王进喜、陈永贵等为代表的工农劳动模范，以焦裕禄为代表的为人民鞠躬尽瘁、死而后已的党的干部形象，以雷锋为代表的社会主义一代新人，以“两弹一星”功勋为代表的科技工作者……他们所表现出来的英雄主义精神，是建设和保卫社会主义祖国的中坚力量，是中华民族走向伟大复兴的坚强脊梁。

改革开放是一场革命，“这是一件很重要的必须做的事，尽管是有风险的事”。为了开创社会主义现代化新局面，从活跃农村经济的致富带头人到勇于改革的国企厂长，从岗位建功的新长征突击手到孔雀东南飞的青年农民工，从创立经济特区到建设自由贸易区，从千方百计引进外资到中国企业走向世界，从互联网冲浪到“一带一路”创业，从首艘航空母舰下水到天宫二号上天，从世界大赛摘金夺银到文学医学诺奖夺魁……当代中国无数优秀人士以敢为人先的勇气、锐意进取的精神、永不懈怠的状态，创造着前所未有的历史和更加可期的未来。

敬重英雄的民族才是一个有希望的民族

在“吹尽黄沙始到金”的历史画卷中，英雄榜样更升华为一种魂、一种骨、一种气节，成为一个国家和民族砥砺前行的精神图腾。放眼环球，没有哪一个屹立世界民族之林的国家不敬仰英雄，甚至可以说正是因为敬仰英雄才得以屹立世界民族之林。法国的先贤祠专以供奉为法兰西富强奋斗毕生的贤者，美国的总统山用以缅怀在崛起道路上奉献一切乃至生命的领袖……

2020年国家电网招聘信息，欢迎关注长理职培官方微信号(clzp66)，及时掌握考试资讯!
长理职培微信公众号二维码：