查看修复HDFS中丢失的块
发表于|更新于|Hadoop
|总字数:130|阅读时长:1分钟|浏览量:
检测缺失块
1 | hdfs fsck -list-corruptfileblocks |
1 | hdfs fsck / | egrep -v '^\.+$' | grep -v eplica |
查看上面某一个文件的情况
1 | hdfs fsck /path/to/corrupt/file -locations -blocks -files |
解决方法
如果文件不重要,可以直接删除此文件;或删除后重新复制一份到集群中
如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
参考
文章作者: Charles
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记!
相关推荐

2019-09-13
Hadoop数据迁移
最近有个工作是把数据从CDH5.8迁移到新集群CDH6.1,数据迁移首先想到的就是hadoop distcp命令,distcp(distributed copy)是用于大型集群间/集群内复制的工具。它使用MapReduce来实现其分发,错误处理和恢复以及报告。它将文件和目录的列表扩展为映射任务的输入,每个任务都会复制源列表中指定的文件分区。 同版本集群间数据迁移对于Hadoop版本一致或差一两个小版本,可以使用HDFS协议即可,在target集群运行如下命令 1hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo 其中hdfs://nn1:8020/foo/bar为source集群,hdfs://nn2:8020/bar/foo为目标集群。 不同版本集群减数据迁移对于版本差距较大,互相不兼容的集群,可以使用hftp协议和webhdfs来实现数据迁移。 hftp协议在target集群运行如下命令: 1hadoop distcp hftp://nn1:8020/foo/bar hdfs://nn2:80...

2017-07-21
解决Hadoop集群zkfc服务无法启动
新建集群以后,由于fs.defaultFS的配置与hdfs-site.xml的配置不一致,后来集群运行以后用重新修改了配置,重启集群后发现zkfc服务无法启动,导致namenode不自动切换了。 解决办法:原因是因为修改配置文件后,重启集群,会把zookeeper中的znode给删除,为什么会删除我也不清楚,反正我在zookeeper中没有发现这个目录。只需要执行如下命令即可: 1hdfs zkfc -formatZK 参考链接

2023-08-23
在Windows11上使用WSL安装Hadoop伪分布式
最近调试程序,由于各种原因把,不允许开发机器连接Hadoop集群,只能在本机部署了,我使用了Docker和WSL(适用于Linux的Windows子系统)两种方法,经过对比,最终决定用WSL,Docker还不算稳定,动不动就闪退了。 环境 Hadoop 3.2.2 JDK 1.8.221 WSL子系统,我选择的是Ubuntu22.04 LTS 如果没开启WSL子系统,可通过如下命令进行开启: 1Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux JDK 默认算你配好的,如果只使用Hadoop,那么JDK11也是阔以滴,但我还需要用Hive,所以只能用JDK1.8了。 部署Hadoop下载Hadoop安装包在WSL终端中(不是PowerShell),执行如下命令: 1wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz 如果提示证书有问题,可以添加--no-...

2017-07-10
Hbase Shell list命令报错znode data == null的解决办法
修复hbase Shell里面的list命令不可用 进入Hbase Shell1hbase shell 使用list命令查看所有表时报错12345678910111213hbase(main):001:0> listTABLE ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expre...

2017-09-05
hbase 异常 Server is not running yet
发现问题同步时间后,发现Hbase统统挂掉了,重启hadoop后,发现Hbase无法正常启动了,报如下错误: 123456789Caused by: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.regionserver.RSRpcServices.checkOpen(RSRpcServices.java:886)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:1956)at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.jav...

2017-07-24
关于DataXceiver error processing unknown operation的错误
接到监控同事电话,有一台datanode机器因为重启,导致无法启动datanode服务。后来启动以后,监控日志发现有如下报错: 1234562017-07-24 09:41:09,456 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: NDAPP-DATA-13:50010:DataXceiver error processing unknown operation src: /10.1.220.44:46565 dst: /10.1.0.52:50010java.io.EOFException at java.io.DataInputStream.readShort(DataInputStream.java:315) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:56) at org.apache.hadoop.hdfs.server.datanode.DataX...
评论
WalineDisqus
公告
收集笔记






