博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode
阅读量:3923 次
发布时间:2019-05-23

本文共 644 字,大约阅读时间需要 2 分钟。

HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。

一、NameNode(NN)

——基于内存存储 :不会和磁盘发生交换

·只存在内存中

·持久化

——NameNode主要功能

·接受客户端的读写服务

·收集DataNode汇报的Block列表信息

——NameNode保存metadata信息包括

·文件owership和permissions

·文件大小,时间

·(Block列表:Block偏移量),位置信息

·Block每副本位置(由DataNode上报)

二、NameNode持久化

——NameNode的metadate信息在启动后会加载到内存

——metadata存储到磁盘文件名为”fsimage”

——Block的位置信息不会保存到fsimage

——edits记录对metadata的操作日志。。。redis

三、DataNode(DN)

——本地磁盘目录存储数据(Block),文件形式

——同时存储Block的元数据信息文件

——启动DN时会向NN汇报block信息

——通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN

为回馈大家,想要学习java、Java架构、大数据等技术的朋友,可以加我微信好友Nancy007001,免费提供录播资料供大家学习。

感谢大家的支持!!!

本文为原创作品,禁止转载!

你可能感兴趣的文章
Github Actions 中 Service Container 的使用
查看>>
别在.NET死忠粉面前黑.NET5,它未来可期!
查看>>
Winform 进度条弹窗和任务控制
查看>>
部署Dotnet Core应用到Kubernetes(二)
查看>>
持续交付二:为什么需要多个环境
查看>>
FreeSql接入CAP的实践
查看>>
浅析 EF Core 5 中的 DbContextFactory
查看>>
听说容器正在吃掉整个软件世界?
查看>>
真实经历:整整一年了,他是这样从程序员转型做产品经理的
查看>>
netcore一键部署到linux服务器以服务方式后台运行
查看>>
还在犹豫是否迁移.NET5?这几个项目已经上线了!
查看>>
被 C# 的 ThreadStatic 标记的静态变量,都存放在哪里了?
查看>>
ASP.NET Core使用HostingStartup增强启动操作
查看>>
结合控制台程序和K8S的CronJob完成定时任务
查看>>
WPF开发的实用小工具 - 快捷悬浮菜单
查看>>
.Net orm 开源项目 FreeSql 2.0.0
查看>>
IdentityServer4系列 | 简化模式
查看>>
小试YARP
查看>>
如何使用 C# 中的 HashSet
查看>>
api-hook,更轻量的接口测试工具
查看>>