首页 理论教育 数据节点:增强您的数据存储功能

数据节点:增强您的数据存储功能

时间:2023-06-30 理论教育 版权反馈
【摘要】:采用与集群中所有DataNode都一样的方式在新节点上安装Ha-doop并设置配置文件。手动启动DataNode的守护进程。它会自动联系NameNode并加入集群。当添加一个新的DataNode时,它最初会是空的,然而早先的DataNode已经存了一些内容,这时文件系统被认为是不平衡的。当所有DataNode的利用率处于平均利用率加减一个阈值的范围内时,集群就被认为是平衡的。

数据节点:增强您的数据存储功能

除了让离线维护的机器重新上线,可能还会在Hadoop集群中增加DataNode,以便有更多的作业来处理更多的数据。采用与集群中所有DataNode都一样的方式在新节点上安装Ha-doop并设置配置文件。手动启动DataNode的守护进程(bin/hadoop datanode)。它会自动联系NameNode并加入集群。还应把新节点添加到主服务器的conf/slaves文件中。脚本命令会识别到新节点。

当添加一个新的DataNode时,它最初会是空的,然而早先的DataNode已经存了一些内容,这时文件系统被认为是不平衡的。新的文件将有可能进入新节点,但其副本仍会进入先前的节点。我们应该主动地启动HDFS平衡器来获得最优性能。平衡器的运行脚本为bin/start-balancer.sh,该脚本将在后台运行,直到集群达到平衡为止。管理员还可以提前终止它,即运行bin/stop-balancer.sh。

当所有DataNode的利用率处于平均利用率加减一个阈值的范围内时,集群就被认为是平衡的。当启动一个平衡器脚本时,可以指定一个不同的阈值为10%,当启动平衡器脚本时,也可以指定一个与此不同的阈值。例如,要设置阈值为5%以便让集群达到更优的均匀分布,需这样启动平衡器:bin/start-balancer.sh-threshold 5。(www.xing528.com)

因为均衡操作会占用网络资源,建议在晚上或者周末做,此时集群可能不会太忙。或者,可以设置dfs.balance.bandwidthPerSec参数,以限制用于做均衡的带宽。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈