解决Hadoop集群zkfc服务无法启动
新建集群以后，由于fs.defaultFS的配置与hdfs-site.xml的配置不一致，后来集群运行以后用重新修改了配置，重启集群后发现zkfc服务无法启动，导致namenode不自动切换了。
解决办法：
原因是因为修改配置文件后，重启集群，会把zookeeper中的znode给删除，为什么会删除我也不清楚，反正我在zookeeper中没有发现这个目录。
只需要执行如下命令即可：
1 | hdfs zkfc -formatZK |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记！
wechat
alipay
相关推荐
2023-08-23
在Windows11上使用WSL安装Hadoop伪分布式
最近调试程序，由于各种原因把，不允许开发机器连接Hadoop集群，只能在本机部署了，我使用了Docker和WSL（适用于Linux的Windows子系统）两种方法，经过对比，最终决定用WSL，Docker还不算稳定，动不动就闪退了。 环境 Hadoop 3.2.2 JDK 1.8.221 WSL子系统，我选择的是Ubuntu22.04 LTS 如果没开启WSL子系统，可通过如下命令进行开启： 1Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux JDK 默认算你配好的，如果只使用Hadoop，那么JDK11也是阔以滴，但我还需要用Hive，所以只能用JDK1.8了。 部署Hadoop下载Hadoop安装包在WSL终端中（不是PowerShell），执行如下命令： 1wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz 如果提示证书有问题，可以添加--no-...
2021-09-01
如何查看HDFS默认的nameservices命名空间
查看HDFS的默认命名空间命令： 1hdfs getconf -confKey fs.default.name 或者 1hdfs getconf -confKey fs.defaultFS 或者查询core-site.xml中的dfs.nameservices的值。 1hdfs getconf -confKey dfs.nameservices
2018-05-21
Hadoop Timed out waiting 20000ms
今天发现测试环境Hadoop集群开始频繁宕掉，查看namenode日志发现有如下报错信息： 1java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond. 原因是因为namenode与journalnode通信时，超过20000ms，触发了默认设置的超时时长，解决办法：在hdfs-site.xml中加入如下配置 123456789101112<property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>90000</value></property><property> <name>dfs.qjournal.select-input-streams.timeout.ms</name> <value>90000</value></property&...
2023-06-20
Kerberos认证后访问HDFS提示Not attempting to re-login错误
场景CDH6.3.4集群，开通了Kerberos认证，在客户端得机器上已经通过了Kerberos得认证并且缓存了票据。 由于是新装的系统，安装了最新的jdk-8u371。 报错执行hdfs dfs -ls / 命令频繁的打印如下错误： 1org.apache.hadoop.security.UserGroupInformation Not attempting to re-login since the last re-login was attempted less than 600 seconds before 错误原因找了很久，忽然想到了曾经遇到过这种问题，是JDK版本太低导致的，但我安装了最新的JDK1.8，那就有可能是JDK版本太高导致的。 解决办法下载了一个jdk-8u221版本，完美解决问题。CDH虽然写了支持JDK1.8，但小版本也会影响到它的正常运行，所以以后遇到类似得情况先调整下JDK版本，别太高也别太低。最好是看下官方有没有推荐的版本。
2017-07-10
Hbase Shell list命令报错znode data == null的解决办法
修复hbase Shell里面的list命令不可用 进入Hbase Shell1hbase shell 使用list命令查看所有表时报错12345678910111213hbase(main):001:0> listTABLE ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expre...
2017-07-21
Hadoop命令-fsck
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 具体命令介绍： -move: 移动损坏的文件到/lost+found目录下-delete: 删除损坏的文件-openforwrite: 输出检测中的正在被写的文件-list-corruptfileblocks: 输出损坏的块及其所属的文件-files: 输出正在被检测的文件-blocks: 输出block的详细报告 （需要和-files参数一起使用）-locations: 输出block的位置信息 （需要和-files参数一起使用）-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用） 例如要查看HDFS中某个文件的block块的具体分布，可以这样写：hadoop fsck /your_file_path -files -blocks -locations -racks示例： 1234567891011121314151617181920212223242526#hdfs fsck /tmp/test/input...
评论
