企业是如何解决HDFS单点问题的?
前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决Na企业meNode单点问题,接下来我们就来聊一聊。 解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode,但是真正对外服务只有一个,部署两个NameNode那他们之间的元数据信息是不是需要共享元是如数据信息呀,不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。 方案一、目录共享 目录共享是在appche社区中提出但是现在没有引用,目录共享也何解是一个单点问题,如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。 方案二、使用JournalNode方案 我们使用JN来保存元数据信息就不会造成单点问题,JN也是一个集群,我们一般部署JN决H一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于二分之一就是一个正常的服务。 注意:我们不要为了解决NameNode的单点问题选择的的组件也是单点问题,这个根本还是没有解决。 JN中的信息都是一样的DF,那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那? 其实NameNode也是有角色之分的写的为action读为standby,在高可用的架构中只有一个NameNode真正对外服务, 用户也只会S单对action的NameNode进行打交道,举个理解:假设我们在工作中有2个领导(平级的)我们去请假其中一个领导同意其中一个领导不同意那这个假到底修还是不修那?这不就乱套了吗?也就是在高可用架构中同一时间只点问有一个说的算。 方案三、使用zookeeper方案 其实企业中也有好多使用zookeeper来带代替了。我们来想一想JN解决了什么问题,不是就数据的一致性和单点故障我们在想想zookeepr是不是也有,于是企题的业中就把zookeeper的源码改了改就使用了这个方案。 总体架构 以上的解决方案是不是可以解决了NameNode单点问题,假设在凌晨的时候action的NameNode挂掉了是不是要进行切换我们是不是需要人工去切换企业。是不是切换不及时就到导致整个集群不可用。接下来我实现自动切换。 两个NameNode启动成功后都会去zookeeper注册自己zookeeper中会有一把锁那个NameNode注册成功了就是actio是如n当其他的NameNode在去注册是发现已经被注册了就变成了standby。 每个NameNode都部署了ZKFC 来监控NameNode的情况当action的NameNode发生故障时ActionZKF通过z何解ookeeper删除临时的zNode (释放锁)StandBy状态下的ZKF订阅了这个临时的zNode的变换,若zNode消失,StandBy状态的ZKFC立刻通过standby NameNode。Stand决HByNameNode远程登录actionNameNode执行kill-9 actionNameNode。StandByNameNode通知StandByZkfc去zookeeper上注册zNode,注册成功转换为acDFtion状态。这样就实现了自己转换 小结 上述给大家讲解了几种解决HDFS单点故障的问题,不知道大家吸收有多少,如果有不会的可以在下方留言或着私信我 我来给你解答。下期会分享NameNode内存受限该怎么解决。 我在S单这里为大家提供大数据的资料(企业面试题,简历模板等)需要的朋友可以去下面GitHub去下载,信自己,努力和汗水总会能得到回报的。
根据appche提出的解决方案目前有三种解决方案如下
- 最近发表
-
- 字节跳动否认火山引擎推公有云产品:对市场相关猜测不做评论
- 谷歌推出 Fitbit 全新 AI 教练:基于 Gemini 模型,打造个性化健身健康伴侣
- IDC:2020Q4苹果以36.5%市场份额领跑全球平板电脑市场
- 「基础」SQL-Hive中的Select From 解析
- 云计算开发:Python内置函数-str() 函数详解
- 蚂蚁百灵推出开源高效思考模型,推理成本大幅降低
- Market Research Future:到2023年量子计算市场将增长28.2亿美元
- AI对抗系列之--你的推荐算法被破防了吗?
- 标签: 香港航空 西捷航空 代码共享 国际航线
- 阿里云与零一万物成立“产业大模型联合实验室” 深耕ToB市场
- 随机阅读
-
- 位置、分区:随着云的增长如何克服延迟
- 标签: 阿里通义千问 林俊旸 高榕资本 红杉中国
- 标签: 佰维存储 华泰国际
- Qwen 发布全新 AI 模型 Qwen3-Max:不仅能写代码,还能自主思考
- 标签: 豪车市场
- 云安全日报220414:思科无线局域网控制器发现身份验证绕过漏洞,需要尽快升级
- NotebookLM视频概览新增支持80多种语言,支持中文
- 英伟达发布首款基于ARM架构的数据中心CPU 可能对英特尔构成威胁
- 意大利准备拨款40亿欧元支持芯片产业 利好英特尔
- 标签: Adobe 2026财年 AI-first ARR
- 大数据透露春节消费新趋势
- 阿里云与浙江“传播大脑”深化合作,打造全省媒体“一朵云一张网”
- Spotify前高管400万美元新作震撼登场!AI秒制课程颠覆传统教育,9种学习模式让知识获取变得像听音乐一样简单
- 标签: 元戎启行 阮翀 DeepSeek 基座模型
- 5分钟快速了解Docker的底层原理
- 标签: Abot-world 阿里巴巴高德 Agibot WorldArena
- 阿里云发布首个域名AI大模型应用:可一键生成创意域名
- 标签: 阿维塔 港交所上市 电动汽车 长安汽车
- 标签: 亚马逊 Bazaar Temu Shein
- 标签: 索尼 腾讯 荒野起源 地平线
- 搜索
-
- 友情链接