游侠云服务,国外稳定安全免备案的服务器

统一声明:

1.本站联系方式QQ:1754646538 TG:@UXWNET 如果有其他人通过本站链接联系您导致被骗,本站一律不负责!
2.需要付费搭建请联系站长QQ:1754646538 TG:@UXWNET
3.国外免备案服务器- 游侠云服务
4.免实名域名注册购买- 游侠云域名
5.免实名国外服务器购买- 游侠网云服务

资源名称:高可用性的HDFS——Hadoop分布式文件系统深度实践

内容简介:

《高可用性的hdfs—hadoop分布式文件系统深度实践》专注于hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoopbackup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha namenode等。其中有关backupnode方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案。

  《高可用性的hdfs—hadoop分布式文件系统深度实践》从代码入手并结合情景分析、案例解说对hdfs的元数据以及主流的hdfsha解决方案的运行机制进行了深入剖析,力求使读者在解决问题时做到心中有数,不仅知其然还知其所以然。

  本书光盘包含本书部分操作的视频教程以及所有源代码、脚本等开发文件。

  《高可用性的hdfs—hadoop分布式文件系统深度实践》读者主要为云计算相关领域的研发人员、云计算系统管理维护人员,也适合作为高校研究生和高年级本科生的专业课辅助教材。

资源目录:

第1章 hdfs ha及解决方案

 1.1 hdfs系统架构

 1.2 ha定义

 1.3 hdfs ha原因分析及应对措施

 1.3.1 可靠性

 1.3.2 可维护性

 1.4 现有hdfs ha解决方案

 1.4.1 hadoop的元数据备份方案

 1.4.2 hadoop的secondarynamenode方案

 1.4.3 hadoop的checkpoint ode方案

 1.4.4 hadoop的backupnode方案

 1.4.5 drdb方案

 1.4.6 facebook的avatarnode方案

 1.5 方案优缺点比较

第2章 hdfs元数据解析

 2.1 概述

 2.2 内存元数据结构

 2.2.1 inode

 2.2.2 block  

 2.2.3 blockinfo和datanodedescriptor

 2.2.4 小结

 2.2.5 代码分析——元数据结构

 2.3 磁盘元数据文件

 2.4 format情景分析

 2.5 元数据应用场景分析

第3章 hadoop的元数据备份方案

 3.1 运行机制分析

 3.1.1 namenode启动加载元数据情景分析

 3.1.2 元数据更新及日志写入情景分析

 3.1.3 checkpoint过程情景分析

 3.1.4 元数据可靠性机制

 3.1.5 元数据一致性机制

 3.2 使用说明

第4章 hadoop的backup node方案

 4.1 backup node概述

 4.1.1 系统架构

 4.1.2 使用原则

 4.1.3 优缺点

 4.2 运行机制分析

 4.2.1 启动流程

 4.2.2 元数据操作情景分析

 4.2.3 日志池(journal spool)机制

 4.2.4 故障切换机制

 4.3 实验方案说明

 4.4 构建实验环境

 4.4.1 网络拓扑

 4.4.2 系统安装及配置

 4.4.3 安装jdk

 4.4.4 虚拟机集群架设

 4.4.5 namenode安装及配置

 4.4.6 backup node安装及配置

 4.4.7 data node安装及配置

 4.4.8 clients安装及配置

 4.5 异常解决方案

 4.5.1 异常情况分析

 4.5.2 namenode配置

 4.5.3 backup node配置

 4.5.4 data node配置

 4.5.5 namenode宕机切换实验

 4.5.6 namenode宕机读写测试

 

第5章 avatarnode运行机制

 5.1 方案说明

 5.1.1 系统架构

 5.1.2 思路分析

 5.1.3 性能数据

 5.2 元数据分析

 5.2.1 类fsnamesystem

 5.2.2 类fsdirectory

 5.2.3 avatarnode的磁盘元数据文件

 5.3 avatarnode primary启动过程

 5.4 avatarnode standby启动过程

 5.4.1 avatarnode的构造方法

 5.4.2 standby线程的run()方法

 5.4.3 ingest线程的run()方法

 5.4.4 ingest线程的ingestfsedits ()方法

 5.4.5 standby线程的docheckpoint()方法

 5.5 用户操作情景分析

 5.5.1 创建目录情景分析

 5.5.2 创建文件情景分析

 5.6 avatarnode standby故障切换过程

 5.7 元数据一致性保证机制

 5.7.1 元数据目录树信息

 5.7.2 data node与block数据块映射信息

 5.8 block更新同步问题

 5.8.1 问题描述

 5.8.2 结论

 5.8.3 源码分析

第6章 avatarnode使用

 6.1 方案说明

 6.1.1 网络拓扑

 6.1.2 操作系统安装及配置

 6.2 使用avatar打补丁版本

 6.2.1 hadoop源码联机build

 6.2.2 hadoop源码本地build

 6.2.3 nfs服务器构建

 6.2.4 avatar分发与部署

 6.2.5 primary(namenode0)节点配置

 6.2.7 data node节点配置

 6.2.8 client节点配置

 6.2.9 创建目录

 6.2.10 挂载nfs

 6.2.11 启动ucarp

 6.2.12 格式化

 6.2.13 系统启动

 6.2.14 检查

 6.2.15 namenode失效切换写文件实验

 6.2.16 namenode失效切换读文件实验

 6.3 avatar facebook版本的使用

 6.3.1 hadoop facebook版本安装

 6.3.2 节点配置

 6.3.3 启动hdfs

 6.3.4 namenode失效切换

第7章 avatarnode异常解决方案

 7.1 测试环境

 7.2 primary失效

 7.2.1 解决方案

 7.2.2 写操作实验步骤

 7.2.3 改进写操作机制

 7.2.4 读操作实验步骤

 7.2.5 小结

 7.3 standby失效

 7.4 nfs失效(数据未损坏)

 7.4.1 解决方案

 7.4.2 写操作实验步骤

 7.4.3 读操作实验步骤

 7.4.4 小结

 7.5 nfs失效(数据已损坏)

 7.5.1 解决方案

 7.5.2 写操作实验步骤

 7.5.3 读操作实验步骤

 7.5.4 小结

 7.6 primary先失效,nfs后失效(数据未损坏)

 7.6.1 解决方案

 7.6.2 写操作实验步骤

 7.6.3 读操作实验步骤

 7.6.4 小结

 7.7 primary先失效(数据未损坏),nfs后失效(数据损坏)

 7.7.1 解决方案

 7.7.2 写操作实验步骤

 7.7.3 读操作实验步骤

 7.7.4 小结

 7.8 nfs先失效(数据未损坏),primary后失效

 7.8.1 解决方案

 7.8.2 写操作实验步骤

 7.8.3 读操作实验步骤

 7.8.4 小结

 7.9 nfs先失效(数据损坏),primary后失效(数据损坏)

 7.9.1 解决方案

 7.9.2 写操作实验步骤

 7.9.3 读操作实验步骤

 7.9.4 小结

 7.10 实验结论

第8章 cloudera ha namenode使用

 8.1 ha namenode说明

 8.2 cdh4b1版本hdfs集群配置

 8.2.1 虚拟机安装

 8.2.2 nn1配置

 8.2.3 dn1~dn3配置

 8.2.4 hdfs集群构建

 8.3 ha namenode配置

 8.3.1 nn1配置

 8.3.2 其他节点配置

 8.4 ha namenode使用

 8.4.1 启动ha hdfs集群

 8.4.2 第1次failover

 8.4.3 模拟写操作

 8.4.4 模拟active name node失效,第2次failover

 8.3.5 模拟新的standby namenode加入

 8.5 小结

资源截图:

高可用性的HDFS——Hadoop分布式文件系统深度实践
收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!17131833@qq.com 2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励! 3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负! 4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!

源雷 云计算教程 高可用性的HDFS——Hadoop分布式文件系统深度实践 https://www.mubanke.com/58498.html

linux教程windows教程云计算大数据

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长QQ:1754646538 提供付款信息为您处理。

源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认好 是您所需要的资源。