解决Hadoop集群zkfc服务无法启动
新建集群以后，由于fs.defaultFS的配置与hdfs-site.xml的配置不一致，后来集群运行以后用重新修改了配置，重启集群后发现zkfc服务无法启动，导致namenode不自动切换了。
解决办法：
原因是因为修改配置文件后，重启集群，会把zookeeper中的znode给删除，为什么会删除我也不清楚，反正我在zookeeper中没有发现这个目录。
只需要执行如下命令即可：
1 | hdfs zkfc -formatZK |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记！
wechat
alipay
相关推荐
2017-07-13
关闭Hadoop集群时提示no xxx to stop
今天迁移机器的时候，需要手动关闭所有的机器。那么关机之前当然是要先安全的关闭hadoop的相关服务，但是由于这个集群不是我搭建的，发现有些机器在关闭集群的时候出现no xxx to stop，就我发现的来说有namenode，journalnode，jobtracker这三个。 问题的原因Hadoop在stop的时候依据的是启动是保存到pid文件的pid.而默认的进程号保存在/tmp下，Linux 默认会每隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉pid文件后，namenode自然就找不到datanode上的这个进程了。(不同的进程的进程id文件名会有变化) 解决办法临时解决针对这次集群关闭,我们需要做的是:首先保证集群没有负载,然后去手动杀死datanode/journalnode/zkfc最后去杀死namenode(注意顺序) 永久解决在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题。
2017-07-21
Hadoop命令-fsck
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 具体命令介绍： -move: 移动损坏的文件到/lost+found目录下-delete: 删除损坏的文件-openforwrite: 输出检测中的正在被写的文件-list-corruptfileblocks: 输出损坏的块及其所属的文件-files: 输出正在被检测的文件-blocks: 输出block的详细报告 （需要和-files参数一起使用）-locations: 输出block的位置信息 （需要和-files参数一起使用）-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用） 例如要查看HDFS中某个文件的block块的具体分布，可以这样写：hadoop fsck /your_file_path -files -blocks -locations -racks示例： 1234567891011121314151617181920212223242526#hdfs fsck /tmp/test/input...
2017-07-10
Hbase Shell list命令报错znode data == null的解决办法
修复hbase Shell里面的list命令不可用 进入Hbase Shell1hbase shell 使用list命令查看所有表时报错12345678910111213hbase(main):001:0> listTABLE ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expre...
2023-06-20
macOS使用brew安装Hadoop
前言通常我一直在虚拟机中安装Hadoop、Hive、Hbase等大数据相关的组件，但随着我的笔记本使用年限越爱越长，性能也下降的很快，已经达到开虚拟机就会开的地步，于是我就考虑直接将Hadoop安装到macOS上，避免了虚拟机对资源的消耗，为了更好的管理，我选择使用brew来安装。 安装Hadoop使用brew安装Hadoop非常方便，执行如下命令即可： 1brew install hadoop 安装前建议提前安装好JDK，并且配置JAVA_HOME。 为了方便使用，我还配置了hosts 123sudo vim /etc/hosts127.0.0.1 hadoop 配置Hadoop配置免密登录macOS默认是关闭了远程登入的功能，所以需要先打开它。打开系统偏好设置 -> 共享，左边勾选远程登录，右边选择仅这些用户，并且把当前用户添加进去。 然后生成秘钥和公钥 123456789# 生成公钥和私钥ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 将公钥追加到authorized_keys,实现免密登录c...
2019-09-13
Hadoop数据迁移
最近有个工作是把数据从CDH5.8迁移到新集群CDH6.1，数据迁移首先想到的就是hadoop distcp命令，distcp(distributed copy)是用于大型集群间/集群内复制的工具。它使用MapReduce来实现其分发，错误处理和恢复以及报告。它将文件和目录的列表扩展为映射任务的输入，每个任务都会复制源列表中指定的文件分区。 同版本集群间数据迁移对于Hadoop版本一致或差一两个小版本，可以使用HDFS协议即可,在target集群运行如下命令 1hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo 其中hdfs://nn1:8020/foo/bar为source集群，hdfs://nn2:8020/bar/foo为目标集群。 不同版本集群减数据迁移对于版本差距较大，互相不兼容的集群，可以使用hftp协议和webhdfs来实现数据迁移。 hftp协议在target集群运行如下命令: 1hadoop distcp hftp://nn1:8020/foo/bar hdfs://nn2:80...
2023-06-20
Kerberos认证后访问HDFS提示Not attempting to re-login错误
场景CDH6.3.4集群，开通了Kerberos认证，在客户端得机器上已经通过了Kerberos得认证并且缓存了票据。 由于是新装的系统，安装了最新的jdk-8u371。 报错执行hdfs dfs -ls / 命令频繁的打印如下错误： 1org.apache.hadoop.security.UserGroupInformation Not attempting to re-login since the last re-login was attempted less than 600 seconds before 错误原因找了很久，忽然想到了曾经遇到过这种问题，是JDK版本太低导致的，但我安装了最新的JDK1.8，那就有可能是JDK版本太高导致的。 解决办法下载了一个jdk-8u221版本，完美解决问题。CDH虽然写了支持JDK1.8，但小版本也会影响到它的正常运行，所以以后遇到类似得情况先调整下JDK版本，别太高也别太低。最好是看下官方有没有推荐的版本。
评论
WalineDisqus
