如何查看HDFS默认的nameservices命名空间
查看HDFS的默认命名空间命令：
1 | hdfs getconf -confKey fs.default.name |
或者
1 | hdfs getconf -confKey fs.defaultFS |
或者查询core-site.xml中的dfs.nameservices的值。
1 | hdfs getconf -confKey dfs.nameservices |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记！
wechat
alipay
相关推荐
2017-07-21
查看修复HDFS中丢失的块
检测缺失块1hdfs fsck -list-corruptfileblocks 1hdfs fsck / | egrep -v '^\.+$' | grep -v eplica 查看上面某一个文件的情况 1hdfs fsck /path/to/corrupt/file -locations -blocks -files 解决方法如果文件不重要，可以直接删除此文件；或删除后重新复制一份到集群中如果不能删除，需要从上面命令中找到发生在哪台机器上，然后到此机器上查看日志。 参考 http://centoshowtos.org/hadoop/fix-corrupt-blocks-on-hdfs/ http://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hadoop-hdfs
2017-07-21
Journal Storage Directory not formatted
Hadoop启动的时候发现JournalNode节点一直启动不起来，查看后台日志发现异常信息JournalNode not formatted,通常这种异常大概有如下三种情况导致的： 新搭建的集群，我配置的时候没有吧fs.defaultFS配置一致，导致执行hadoop命令的时候报错，后来修改了以后重启集群就出现这个问题了，此时需要重新格式化namenode，因为在格式化namenode的时候，就顺便把JournalNode格式化了。 如果是正在用运行的集群，其中一台机器的JournalNode没有被格式化，那么检查完权限没问题以后，从其他JournalNode复制一份到没有格式化的JournalNode。 如果是从no-HA更新到HA，只需要执行如下命令： 1hdfs namenode -initializeSharedEdits 也就是你可以不用格式化NameNode就可以格式化你的JournalNode目录
2017-09-05
hbase 异常 Server is not running yet
发现问题同步时间后，发现Hbase统统挂掉了，重启hadoop后，发现Hbase无法正常启动了，报如下错误： 123456789Caused by: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.regionserver.RSRpcServices.checkOpen(RSRpcServices.java:886)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:1956)at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.jav...
2019-09-13
Hadoop数据迁移
最近有个工作是把数据从CDH5.8迁移到新集群CDH6.1，数据迁移首先想到的就是hadoop distcp命令，distcp(distributed copy)是用于大型集群间/集群内复制的工具。它使用MapReduce来实现其分发，错误处理和恢复以及报告。它将文件和目录的列表扩展为映射任务的输入，每个任务都会复制源列表中指定的文件分区。 同版本集群间数据迁移对于Hadoop版本一致或差一两个小版本，可以使用HDFS协议即可,在target集群运行如下命令 1hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo 其中hdfs://nn1:8020/foo/bar为source集群，hdfs://nn2:8020/bar/foo为目标集群。 不同版本集群减数据迁移对于版本差距较大，互相不兼容的集群，可以使用hftp协议和webhdfs来实现数据迁移。 hftp协议在target集群运行如下命令: 1hadoop distcp hftp://nn1:8020/foo/bar hdfs://nn2:80...
2018-05-21
Hadoop Timed out waiting 20000ms
今天发现测试环境Hadoop集群开始频繁宕掉，查看namenode日志发现有如下报错信息： 1java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond. 原因是因为namenode与journalnode通信时，超过20000ms，触发了默认设置的超时时长，解决办法：在hdfs-site.xml中加入如下配置 123456789101112<property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>90000</value></property><property> <name>dfs.qjournal.select-input-streams.timeout.ms</name> <value>90000</value></property&...
2017-07-24
关于DataXceiver error processing unknown operation的错误
接到监控同事电话，有一台datanode机器因为重启，导致无法启动datanode服务。后来启动以后，监控日志发现有如下报错： 1234562017-07-24 09:41:09,456 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: NDAPP-DATA-13:50010:DataXceiver error processing unknown operation src: /10.1.220.44:46565 dst: /10.1.0.52:50010java.io.EOFException at java.io.DataInputStream.readShort(DataInputStream.java:315) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:56) at org.apache.hadoop.hdfs.server.datanode.DataX...
评论
