Hadoop環(huán)境搭建過程中遇到的問題及解決方法

1.啟動(dòng)hadoop之前，ssh免密登錄slave主機(jī)正常，使用命令start-all.sh啟動(dòng)hadoop時(shí)，需要輸入slave主機(jī)的密碼，說明ssh文件權(quán)限有問題，需要執(zhí)行以下操作：

1）進(jìn)入.ssh目錄下查看是否有公鑰私鑰文件authorized_keys、id_rsa、id_rsa.pub

2）如果沒有公鑰私鑰文件，則執(zhí)行ssh-keygen -t rsa生成秘鑰（master主機(jī)和slave主機(jī)都需要執(zhí)行）

3）公鑰私鑰文件生成完成后，執(zhí)行cat id_rsa.pub >> authorized_keys，將生成的公鑰添加到認(rèn)證文件中

4）將slave服務(wù)器公鑰寫入master服務(wù)器authorized_keys文件中

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

5）登錄slave服務(wù)器(ssh slave01），看是否需要輸入密碼，如果仍然需要輸入密碼，說明uthorized_keys文件權(quán)限有問題，則執(zhí)行下一步

6）使用ssh -vvv slave01調(diào)試命令，進(jìn)入到slave01調(diào)試界面

7）設(shè)置authorized_keys文件權(quán)限為600，chmod 600 ~/.ssh/authorized_keys

8）同理，slave01也要同樣進(jìn)行設(shè)置，在master主機(jī)的終端中繼續(xù)執(zhí)行步驟6和步驟7中的命令

9）設(shè)置完成后在master主機(jī)中，登錄slave01和slave02，如果不需要輸入密碼，則配置完成

10）停止hadoop的所有進(jìn)程：stop-all.sh

11）重新啟動(dòng)hadoop：start-all.sh

2.啟動(dòng)hadoop之后，使用jps查看，master服務(wù)器中沒有namenode服務(wù)，解決方案如下：

1）首先停止hadoop的所有進(jìn)程：stop-all.sh

2）格式化namenode：hdfs namenode -format

3）重新啟動(dòng)hadoop：start-all.sh

4）輸入jps查看，可以看到namenode進(jìn)程

3.啟動(dòng)hadoop之后，使用jps查看，slave服務(wù)器中沒有datanode服務(wù)，解決方案如下：

1）首先停止hadoop的所有進(jìn)程：stop-all.sh

2）進(jìn)入hadoop安裝目錄下：/software/hadoop中刪除hadoopdate文件夾

3）進(jìn)入hadoop安裝目錄下：/software/hadoop中的hadoop-2.7.3文件夾中刪除logs文件夾

4）在slave01主機(jī)和slave02主機(jī)的終端執(zhí)行步驟2和步驟3，確保步驟2和步驟3的文件夾都刪除干凈

5）格式化namenode：hdfs namenode -format

6）重新啟動(dòng)hadoop：start-all.sh

7）在slave01主機(jī)和slave02主機(jī)的終端輸入jps查看，可以看到datanode進(jìn)程

總結(jié)

以上所述是小編給大家介紹的Hadoop環(huán)境搭建過程中遇到的問題及解決方法 ,希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！