2020年山东国家电网招聘考试计算机专业考点：Google 云计算原理与应用

国家电网招聘考试QQ交流群：181095196   视频课程   书籍资料  考试题
 Google 云计算原理与应用
Google拥有全球最强大的搜索引擎。除了搜索业务以外Google还有Google Maps、Google Earth、Gmail、YouTube等各种业务，包括刚诞生的Google Wave。这些应用的公共性在于数据量巨大。而且要面向全球用户提供实时服务，因此Google必须解决海量数据存储和快速处理问题。Google的诀窍在于它发展出简单而又高效的技术 ，让多达百万台的廉价计算机协同工作，同时完成这些前所未有的任务，这些技术是在诞生几年之后才被计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统Bigtable等。其中，GFS提供了海量数据的存储和访问能力，MapReduce使得海量信息的并行处理变得简单易行，Chubby保证了分布式环境下并发操作的同步问题，Bigtable使得海量数据的管理和组织十分方便。本章将对这四种核心技术进行详细介绍。

2.1 Google文件系统GFS
Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密，处于所有核心技术的底层。由于GFS并不是一个开源的系统我们仅仅能从Google公布的技术文档来获得一点了解，而无法进行深入的研究。文献[1]是Google公布的关于GFS的最为详尽的技术文档，他从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。
 
当前主流分布式文件系统有RedHat 的GFS（Global File System）、IBM的GPFS、Sun的Lustre等。这些系统通常用于高性能计算或大型数据中心，对硬件设施条件要求较高。以Lustre文件系统为例，它只对原数据管理器MDS提供容错解决方案，而对于具体的数据存储节点OST来说，则依赖其自身来解决容错问题。例如，Lustre推荐OST节点采用Raid技术或SAN存储区域网来容错，但对于Lustre自身不能提供数据存储的容错，一旦OST发生故障就无法恢复，因此对OST的稳定性就提出了相当高的要求，从而大大增加了存储的成本，而且成本会随着规模的扩大线性增长。
正如李开复所说的那样，创新固然重要，但有用的创新更重要。创新的价值、取决于一项创新在新颖、有用和可行性这三个方面的综合表现。Google GFS的新颖之处并不在于它采用了多么令人惊讶的技术，而在于它采用了廉价的商用机器构建分布式文件系统，同时将GFS的设计与Google应用 的特点紧密结合，并简化其实现，使之可行，最终达到创意新颖、有用、可行的完美组合。GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，这样可以使得存储的成本成倍下降。由于GFS中服务器数目众多，在GFS中服务器死机是经常发生的事情，甚至都不能将其视为异常现象，那么如何在频繁的故障中确保数据存储的安全、保证提供不间断的数据存储服务是GFS最核心的问题。GFS的精彩在于它采用了多种方法，从多个角度，使用不同的容错措施来确保整个系统的可靠性。
2.1.1 GFS系统架构
GFS的系统架构如图2-1所示。GFS将整个系统的节点分为三类角色：Client（客户端）、Master（主服务器）和Chunk Server（数据块服务器）。Client是GFS提供给应用程序的访问接口，他是一组专用接口，不遵守POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。Master是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责整个文件系统的管理，是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责政府哦文件系统的管理，是GFS文件系统中的“大脑”。Chunk Server负责具体的存储工作。数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了GFS的规模。GFS将文件按照固定大小进行分块，默认是64MB，每一块成为一个Chunk（数据块）。每个Chunk都有一个对应的索引号（Index）。
 
图2-1 GFS体系结构
 
客户端在访问GFS是，首先访问Master节点，获取将要与之进行交互的Chunk Server 信息，然后直接访问这些Chunk Server完成数据存取。GFS的这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，这样就极大的降低了Master的负载，使之不成为系统性能的一个瓶颈。Client与Chunk Server之间直接传输数据流，同事由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得真个系统的I/O高度并行，系统整体性能的到提高。

最近有一部电视剧叫《可爱的中国》，讲的是方志敏烈士投身革命、为解放事业无私奉献的一生。《可爱的中国》是方志敏在狱中所写，其中有这样一段话：“假如我不能生存——死了，我流血的地方，或者我瘗骨的地方，或许会长出一朵可爱的花来，这朵花你们就看作是我精诚的寄托吧!在微风的吹拂中，如果那朵花是上下点头，那就可视为我对于为中国民族解放奋斗的爱国志士们在致以热诚的敬礼;如果那朵花是左右摇摆，那就可视为我在提劲唱着革命之歌，鼓励战士们前进啦!”读到这一信念如磐又柔情似水的亲切话语，即使是铁石心肠也会为之动容。

高山仰止，景行行止，虽不能至，心向往之。老一辈革命家心中装满人民，为人民利益鞠躬尽瘁、死而后已的政治本色、高风亮节，将永远激励和鼓舞一代又一代共产党人，以永不懈怠的精神状态和一往无前的奋斗姿态，朝着实现中华民族伟大复兴的宏伟目标奋勇前进。

举这几则故事，是想说明一个道理：共产党对人民群众的态度问题和同人民群众的关系问题，人民群众对党的态度问题和同党的关系问题，是首要政治问题，也是检验党的建设质量的首要尺度。

全面提高党的建设质量，必须始终尊重人民的历史主体地位，始终坚持以人民为中心，把人民放在心中最高位置，把人民作为执政的最大底气和最大底线，把人民高兴、人民赞成、人民满意、人民拥护作为共产党人一切言论和行动的最高追求、最高标准，靠为人民服务吃饭，想人民之所想，急人民之所急，办人民之所需，为人民之所盼，为了人民利益坚持好的、改正错的，建设人民衷心拥护的执政党。

 
2020年国家电网招聘信息，欢迎关注长理职培官方微信号(clzp66)，及时掌握考试资讯!
长理职培微信公众号二维码：