博客
关于我
基于Namespace内部partition来解决HDFS的扩展性问题方案
阅读量:394 次
发布时间:2019-03-05

本文共 733 字,大约阅读时间需要 2 分钟。

前言

HDFS NameNode(NN)在处理大量数据时面临着扩展性问题。其内部设计使用全局单一锁进行控制,在处理大量节点时导致性能瓶颈。针对这一问题,社区提出了基于Namespace的内部partition方案,以实现细粒度锁的拆分,进而优化扩展性。

HDFS NN的现有请求处理模式

HDFS NN的工作原理是使用一个大型的命名空间和全局锁进行元数据控制。任何写操作都需要获取全局锁,导致并发处理能力有限。尽管如此,当操作的数据文件无关时,仍可允许并发处理,避免不必要的锁控制。

基于Namespace的内部partition细粒度锁

为了解决全局锁的效率问题,提出了将Namespace划分为多个partition的方案。每个partition独立管理元数据,内部使用细粒度锁进行控制,进而支持并发操作。 - **partition标准**:可选择文件路径或INodeId作为划分依据。 - **INodeId划分**:使用ppId、pId和selfId作为键,确保相关文件目录分布在同一partition内。这种划分方式具有可扩展性和稳定性,且避免了路径重命名带来的问题。

NN新锁结构的调整

为支持细粒度锁,NN内部存储结构进行了优化: - 引入RangeMap存储结构,映射PartitionId到GSet。 - 每个GSet配备独立锁,确保线程安全。 - RangeMap本身也需线程安全锁,控制其操作流程。这种设计在不改变原有元数据结构的前提下,显著提升了锁粒度和扩展性。
总结
通过基于Namespace的内部partition和细粒度锁控制,HDFS NN的扩展性得到了显著提升。这种方案不仅保持了原有结构的简单性,还在锁粒度和性能上实现了优化。

转载地址:http://cqng.baihongyu.com/

你可能感兴趣的文章
MySQL中的ON DUPLICATE KEY UPDATE详解与应用
查看>>
mysql中的rbs,SharePoint RBS:即使启用了RBS,内容数据库也在不断增长
查看>>
mysql中的undo log、redo log 、binlog大致概要
查看>>
Mysql中的using
查看>>
MySQL中的关键字深入比较:UNION vs UNION ALL
查看>>
mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
查看>>
mysql中的字段如何选择合适的数据类型呢?
查看>>
MySQL中的字符集陷阱:为何避免使用UTF-8
查看>>
mysql中的数据导入与导出
查看>>
MySQL中的时间函数
查看>>
mysql中的约束
查看>>
MySQL中的表是什么?
查看>>
mysql中穿件函数时候delimiter的用法
查看>>
Mysql中索引的分类、增删改查与存储引擎对应关系
查看>>
Mysql中索引的最左前缀原则图文剖析(全)
查看>>
MySql中给视图添加注释怎么添加_默认不支持_可以这样取巧---MySql工作笔记002
查看>>
Mysql中获取所有表名以及表名带时间字符串使用BetweenAnd筛选区间范围
查看>>
Mysql中视图的使用以及常见运算符的使用示例和优先级
查看>>
Mysql中触发器的使用示例
查看>>
Mysql中设置只允许指定ip能连接访问(可视化工具的方式)
查看>>