安科网

namenode的log时，散仙发现有如下的警告信息

whspringer

whspringer

2016-10-24

关注 关注

刚装完的hadoop集群，在查看namenode的log时，发现有如下的警告信息：

2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 2 secs  
2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 0 racks and 0 datanodes  
2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* UnderReplicatedBlocks has 0 blocks  
2014-10-30 16:49:18,485 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: NameNode RPC up at: fsedump00yw/192.168.223.163:8020  
2014-10-30 16:49:18,485 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Starting services required for active state  
2014-10-30 16:49:18,452 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting  
2014-10-30 16:49:18,454 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 8020: starting  
2014-10-30 16:49:25,377 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.168, storageID=DS-1779348018-192.168.223.168-50010-1414658969808, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-1779348018-192.168.223.168-50010-1414658969808  
2014-10-30 16:49:25,392 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.168:50010  
2014-10-30 16:49:25,983 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.168:50010 after starting up or becoming active. Its block contents are no longer considered stale  
2014-10-30 16:49:25,984 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.168, storageID=DS-1779348018-192.168.223.168-50010-1414658969808, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 15 msecs  
2014-10-30 16:49:25,998 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.163, storageID=DS-335820978-192.168.223.163-50010-1414658964818, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-335820978-192.168.223.163-50010-1414658964818  
2014-10-30 16:49:26,002 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.163:50010  
2014-10-30 16:49:26,409 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.163:50010 after starting up or becoming active. Its block contents are no longer considered stale  
2014-10-30 16:49:26,409 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.163, storageID=DS-335820978-192.168.223.163-50010-1414658964818, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 0 msecs  
2014-10-30 16:49:31,077 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.167, storageID=DS-563266444-192.168.223.167-50010-1414682451971, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-563266444-192.168.223.167-50010-1414682451971  
2014-10-30 16:49:31,078 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.167:50010  
2014-10-30 16:49:31,174 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.167:50010 after starting up or becoming active. Its block contents are no longer considered stale  
2014-10-30 16:49:31,174 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.167, storageID=DS-563266444-192.168.223.167-50010-1414682451971, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 0 msecs  
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.223.163  
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs  
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 1  
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 1 Number of transactions batched in Syncs: 0 Number of syncs: 2 SyncTimes(ms): 30   
2014-10-30 16:50:31,873 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 1 Number of transactions batched in Syncs: 0 Number of syncs: 3 SyncTimes(ms): 30   
2014-10-30 16:50:31,876 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /data/hadoop-nd/current/edits_inprogress_0000000000000000001 -> /data/hadoop-nd/current/edits_0000000000000000001-0000000000000000002  
2014-10-30 16:50:31,876 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 3  
2014-10-30 16:50:33,246 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://fsedump00yw:8021/getimage?getimage=1&txid=2&storageInfo=-47:1726826048:0:CID-0f002fcf-1b19-4004-a76e-a736b0b98df1  
2014-10-30 16:50:33,876 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Transfer took 0.63s at 0.00 KB/s  
2014-10-30 16:50:33,876 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000002 size 198 bytes.  
2014-10-30 16:50:33,888 INFO org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager: Going to retain 2 images with txid >= 0  
2014-10-30 16:53:22,379 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: trying to get DT with no secret manager running  
2014-10-30 16:53:23,180 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user dr.who  
2014-10-30 16:53:23,253 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user dr.who  
2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 2 secs
2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 0 racks and 0 datanodes
2014-10-30 16:49:18,340 INFO org.apache.hadoop.hdfs.StateChange: STATE* UnderReplicatedBlocks has 0 blocks
2014-10-30 16:49:18,485 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: NameNode RPC up at: fsedump00yw/192.168.223.163:8020
2014-10-30 16:49:18,485 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Starting services required for active state
2014-10-30 16:49:18,452 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-10-30 16:49:18,454 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 8020: starting
2014-10-30 16:49:25,377 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.168, storageID=DS-1779348018-192.168.223.168-50010-1414658969808, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-1779348018-192.168.223.168-50010-1414658969808
2014-10-30 16:49:25,392 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.168:50010
2014-10-30 16:49:25,983 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.168:50010 after starting up or becoming active. Its block contents are no longer considered stale
2014-10-30 16:49:25,984 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.168, storageID=DS-1779348018-192.168.223.168-50010-1414658969808, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 15 msecs
2014-10-30 16:49:25,998 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.163, storageID=DS-335820978-192.168.223.163-50010-1414658964818, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-335820978-192.168.223.163-50010-1414658964818
2014-10-30 16:49:26,002 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.163:50010
2014-10-30 16:49:26,409 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.163:50010 after starting up or becoming active. Its block contents are no longer considered stale
2014-10-30 16:49:26,409 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.163, storageID=DS-335820978-192.168.223.163-50010-1414658964818, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 0 msecs
2014-10-30 16:49:31,077 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.223.167, storageID=DS-563266444-192.168.223.167-50010-1414682451971, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0) storage DS-563266444-192.168.223.167-50010-1414682451971
2014-10-30 16:49:31,078 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.223.167:50010
2014-10-30 16:49:31,174 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 192.168.223.167:50010 after starting up or becoming active. Its block contents are no longer considered stale
2014-10-30 16:49:31,174 INFO BlockStateChange: BLOCK* processReport: from DatanodeRegistration(192.168.223.167, storageID=DS-563266444-192.168.223.167-50010-1414682451971, infoPort=50075, ipcPort=50020, storageInfo=lv=-47;cid=CID-0f002fcf-1b19-4004-a76e-a736b0b98df1;nsid=1726826048;c=0), blocks: 0, processing time: 0 msecs
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.223.163
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 1
2014-10-30 16:50:31,872 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 1 Number of transactions batched in Syncs: 0 Number of syncs: 2 SyncTimes(ms): 30 
2014-10-30 16:50:31,873 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 1 Number of transactions batched in Syncs: 0 Number of syncs: 3 SyncTimes(ms): 30 
2014-10-30 16:50:31,876 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /data/hadoop-nd/current/edits_inprogress_0000000000000000001 -> /data/hadoop-nd/current/edits_0000000000000000001-0000000000000000002
2014-10-30 16:50:31,876 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 3
2014-10-30 16:50:33,246 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://fsedump00yw:8021/getimage?getimage=1&txid=2&storageInfo=-47:1726826048:0:CID-0f002fcf-1b19-4004-a76e-a736b0b98df1
2014-10-30 16:50:33,876 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Transfer took 0.63s at 0.00 KB/s
2014-10-30 16:50:33,876 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000002 size 198 bytes.
2014-10-30 16:50:33,888 INFO org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager: Going to retain 2 images with txid >= 0
2014-10-30 16:53:22,379 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: trying to get DT with no secret manager running
2014-10-30 16:53:23,180 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user dr.who
2014-10-30 16:53:23,253 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user dr.who



注意上述代码的最后几行发出的警告信息，意思是说对于dr.who这个用户，没有有效的组归属，在hadoop的权限认证中，如果默认没有用户组声明，就会把当前的这个hadoop用户，归属于dr.who用户，当然这个用户在我们的用户组里面是不存在的，所以log里面就记录了这个warn信息。

解决方法如下：

方法（1），在core-site.xml里面添加如下配置：

<property>  
    <name>hadoop.http.staticuser.user</name>  
    <value>hadoop</value>  
</property>  
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>hadoop</value>
</property>


hadoop是散仙的用户名

方法（2），在当前的用户组里面添加一个dr.who的用户
gpasswd -a dr.who hadoop
将dr.who用户添加到hadoop用户组里面


如此就能通过linux的权限验证，改完之后，重启hadoop集群之后，就不会出现这样的警告了

apache hdfs hadoop

whspringer

whspringer

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

为什么Java仍将是未来的主流语言？

Java是一种通用编程语言，1995年由Sun Micro-systems公司开发。尽管已经有25年的历史，但它仍然统治着整个世界。根据Stack-overflow的开发者调查，它在2019年最受欢迎的语言中排名第5。超过41%的调查用户将Java标记为

minerd 2020-10-28

.NET Core下使用Kafka的方法步骤

# 修改每个topic的默认分区参数num.partitions，默认是1，具体合适的取值需要根据服务器配置进程确定，UCloud.ukafka = 3. Segment：partition物理上由多个segment组成，下面2.2和2.3有详细说明。pa

Kafka 2020-09-18

解决PHPstudy Apache无法启动的问题【亲测有效】

原因一是防火墙拦截，关闭防火墙。二是80端口已经被别的程序占用，如IIS，迅雷等；三是没有安装VC9运行库,php和apache都是VC9编译。解决以上三个问题，基本上都是可以一次安装完成的。但是，But，但是，上面的方法都试过之后还是无法启动呢？最有效，

Wepe0 2020-10-30

Web安全：文件解析漏洞

PHP是用C语言编写的，MySQL则是用C++编写的，而Apache则大部分是使用C语言编写的，少部分是使用C++编写的。所以，文件解析漏洞的本质还是需要我们挖掘C语言、C++的漏洞。文件解析漏洞是指中间件在解析文件时出现了漏洞，从而攻击者可以利用该漏洞实

杜倩 2020-10-29

终于有人把Nginx说清楚了，图文详解！

想必大家一定听说过 Nginx，若没听说过它，那么一定听过它的"同行"Apache 吧！这也使得各个 Web 服务器有着各自鲜明的特点。Apache 的发展时期很长，而且是毫无争议的世界第一大服务器。这些都决定了 Apache 不可能成

windle 2020-10-29

如何使用Apache Web服务器来安装和配置网站？

Apache可与MySQL、PHP及另外大量软件包无缝协作，以便您架设简单的静态或动态网站。如何安装和配置服务器?您将文件放置在哪里?不妨介绍这方面，每次一个步骤。我将在Ubuntu Server 20.04上进行演示。不过先介绍一点基础知识。比如说，在基

mengzuchao 2020-10-22

CentOS 8 Apache 安装后 SSL 重定向提示证书错误

在启用 SSL 后，我们也希望将主域名重定向到 www。如果我们按照 80 端口的 http 配置的，你可能会得到浏览器的安全配置。这是因为如果你在 HTTPS 的 SSL 中也这样配置是不允许的。因为这个可能会导致安全性问题和攻击。简单来说，出现这个问题

Junzizhiai 2020-10-10

如何使用 Apache Directory Studio 连接 JumpCloud

JumpCloud 是一个基于云的 LDAP 服务。如果你的项目小组成员在 10 个或者 10 个以下的话，你可以免费使用 JumpCloud 服务器。这篇文章假设的是你已经设置好了 JumpCloud 的云服务，并且已经注册了 JumpCloud 的管理

bxqybxqy 2020-09-30

初学者和专业技术人员使用的十大机器学习软件

现在，让我们详细讨论每个机器学习软件。Tensorflow是机器学习的免费开源工具。这些应用程序在高级C ++中执行。它用于图像识别，手写分类，递归神经网络等。Tensorflow可以在CPU和GPU上平稳运行。它提供了良好的库来防止长时间编码。它是全球

风之沙城 2020-09-24

每个Java开发人员都应该知道的10大Github仓库

Java是业务应用程序开发中排名第一的编程语言，它也是顶级编程语言之一。Java具有许多功能强大且丰富的仓库，尽管标准Java库功能强大，但是在专业软件开发领域你还需要其他Java库。它在业界广泛使用，如果你正在从事一个大型项目，并且没有使用任何Apach

kingszelda 2020-09-22

漫话：应用程序被拖慢？罪魁祸首竟然是Log4j！

之前一段时间，为我们发现的一个SaaS应用程序会间歇性地卡顿、变慢，因为很长时间都没有定位到原因，所以解决的办法就只能是重启。这个现象和之前我们遇到的程序变得卡顿不太一样，因为我们发现这个应用程序不仅在高流量期间时会变慢，有时在低流量时期也会变慢。所以这令

大唐帝国前营 2020-08-18

JSP动态网页开发原理详解

　 JSP全称是Java Server Pages，它和servle技术一样，都是SUN公司定义的一种用于开发动态web资源的技术。　　JSP这门技术的最大的特点在于，写jsp就像在写html，但它相比html而言，html只能为用户提供静态数据，而Jsp

yixu0 2020-08-17

centos8使用Apache httpd2.4.37安装web服务器的步骤详解

第四步：firewall-cmd --zone=public --add-port=80/tcp --permanent　　#开启防火墙的80端口，并永久生效，返回success 设置成功的意思。第六步：firewall-cmd --zone=public

TangCuYu 2020-08-15

Tomcat启动springboot项目war包报错：启动子级时出错的问题

今天公司springboot项目准备部署到测试服务器上进行测试，打包好war后放到tomcat里面启动后，前端文件能访问到，但是接口请求一直是404，一直找了很久的原因，tomcat启动是成功的，war打包的时候也提示build success了，tomc

xiaoboliu00 2020-08-15

如何通过Apache在本地配置多个虚拟主机

如何使用 Apache 在本地配置出多个虚拟主机呢？而且使用不同的“域名”来访问本地不同的站点呢？1，根目录中有一个 phpMyAdmin/ 的文件夹，它是一个网页版的数据库管理系统（肯定不会陌生的吧！），我想通过访问一个简单的:. 来进入这个系统；这样，

songshijiazuaa 2020-08-15

Apache Shiro 反序列化(CVE-2016-4437)复现

shiro默认使用CookieRememberMeManager，对rememberMe的cookie做了加密处理，在CookieRememberMeManaer类中将cookie中rememberMe字段内容先后进行序列化、AES加密、Base64编码操

xclxcl 2020-08-03

Apache Shiro 反序列化(CVE-2016-4437)复现

shiro默认使用CookieRememberMeManager，对rememberMe的cookie做了加密处理，在CookieRememberMeManaer类中将cookie中rememberMe字段内容先后进行序列化、AES加密、Base64编码操

zmzmmf 2020-08-03

Apache DolphinScheduler 诞生记

DolphinScheduler，简称”DS”, 中文名 “小海豚调度”。希望 DolphinScheduler 就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。DAG 全称Directed Acyclic Graph，简称DAG。工作流中的T

newfarhui 2020-08-03

【Shiro】05 自定义Realm认证实现

Shiro默认使用自带的IniRealm，IniRealm从ini配置文件中读取用户的信息，大部分情况下需要从系统的数据库中读取用户信息，所以需要自定义realm。public abstract class CachingRealm implements

likesyour 2020-08-01

Web容器Web服务器及常见的Web容器有哪些？

　　首先来理解一下简单的一个请求发送到响应的过程。而我们的服务器通常要分为两个部分，一部分是服务器硬件，有了硬件之后还有有硬件上对应运行的软件。其次，服务器的硬件部分接收到了这一段请求，将其递交给对应的进程，服务器软件。此时这个服务器软件即为Web服务器，

lantingyue 2020-07-30
whspringer

whspringer

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号