佳木斯湛栽影视文化发展公司

主頁(yè) > 知識(shí)庫(kù) > Hadoop環(huán)境搭建過(guò)程中遇到的問(wèn)題及解決方法

Hadoop環(huán)境搭建過(guò)程中遇到的問(wèn)題及解決方法

熱門標(biāo)簽:服務(wù)器配置 檢查注冊(cè)表項(xiàng) 鐵路電話系統(tǒng) 銀行業(yè)務(wù) 呼叫中心市場(chǎng)需求 智能手機(jī) 網(wǎng)站文章發(fā)布 美圖手機(jī)

1.啟動(dòng)hadoop之前,ssh免密登錄slave主機(jī)正常,使用命令start-all.sh啟動(dòng)hadoop時(shí),需要輸入slave主機(jī)的密碼,說(shuō)明ssh文件權(quán)限有問(wèn)題,需要執(zhí)行以下操作:

1)進(jìn)入.ssh目錄下查看是否有公鑰私鑰文件authorized_keys、id_rsa、id_rsa.pub

2)如果沒有公鑰私鑰文件,則執(zhí)行ssh-keygen -t rsa生成秘鑰(master主機(jī)和slave主機(jī)都需要執(zhí)行)

3)公鑰私鑰文件生成完成后,執(zhí)行cat id_rsa.pub >> authorized_keys,將生成的公鑰添加到認(rèn)證文件中

4)將slave服務(wù)器公鑰寫入master服務(wù)器authorized_keys文件中

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

5)登錄slave服務(wù)器(ssh slave01),看是否需要輸入密碼,如果仍然需要輸入密碼,說(shuō)明uthorized_keys文件權(quán)限有問(wèn)題,則執(zhí)行下一步

6)使用ssh -vvv slave01調(diào)試命令,進(jìn)入到slave01調(diào)試界面

7)設(shè)置authorized_keys文件權(quán)限為600,chmod 600 ~/.ssh/authorized_keys

8)同理,slave01也要同樣進(jìn)行設(shè)置,在master主機(jī)的終端中繼續(xù)執(zhí)行步驟6和步驟7中的命令

9)設(shè)置完成后在master主機(jī)中,登錄slave01和slave02,如果不需要輸入密碼,則配置完成

10)停止hadoop的所有進(jìn)程:stop-all.sh

11)重新啟動(dòng)hadoop:start-all.sh

2.啟動(dòng)hadoop之后,使用jps查看,master服務(wù)器中沒有namenode服務(wù),解決方案如下:

1)首先停止hadoop的所有進(jìn)程:stop-all.sh

2)格式化namenode:hdfs namenode -format

3)重新啟動(dòng)hadoop:start-all.sh

4)輸入jps查看,可以看到namenode進(jìn)程

3.啟動(dòng)hadoop之后,使用jps查看,slave服務(wù)器中沒有datanode服務(wù),解決方案如下:

1)首先停止hadoop的所有進(jìn)程:stop-all.sh

2)進(jìn)入hadoop安裝目錄下:/software/hadoop中刪除hadoopdate文件夾

3)進(jìn)入hadoop安裝目錄下:/software/hadoop中的hadoop-2.7.3文件夾中刪除logs文件夾

4)在slave01主機(jī)和slave02主機(jī)的終端執(zhí)行步驟2和步驟3,確保步驟2和步驟3的文件夾都刪除干凈

5)格式化namenode:hdfs namenode -format

6)重新啟動(dòng)hadoop:start-all.sh

7)在slave01主機(jī)和slave02主機(jī)的終端輸入jps查看,可以看到datanode進(jìn)程

總結(jié)

以上所述是小編給大家介紹的Hadoop環(huán)境搭建過(guò)程中遇到的問(wèn)題及解決方法 ,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
如果你覺得本文對(duì)你有幫助,歡迎轉(zhuǎn)載,煩請(qǐng)注明出處,謝謝!

您可能感興趣的文章:
  • 詳解從 0 開始使用 Docker 快速搭建 Hadoop 集群環(huán)境
  • 基于CentOS的Hadoop分布式環(huán)境的搭建開發(fā)
  • 使用Maven搭建Hadoop開發(fā)環(huán)境
  • Hadoop2.X/YARN環(huán)境搭建--CentOS7.0 JDK配置
  • Hadoop2.X/YARN環(huán)境搭建--CentOS7.0系統(tǒng)配置
  • linux下搭建hadoop環(huán)境步驟分享

標(biāo)簽:上海 河南 樂山 紅河 滄州 沈陽(yáng) 新疆 長(zhǎng)治

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Hadoop環(huán)境搭建過(guò)程中遇到的問(wèn)題及解決方法》,本文關(guān)鍵詞  ;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    密云县| 泸定县| 苗栗市| 兴宁市| 株洲市| 山阳县| 祁东县| 通海县| 永靖县| 东乡县| 嘉义县| 麟游县| 禄丰县| 池州市| 新津县| 台州市| 沙雅县| 旬邑县| 延津县| 清镇市| 天祝| 襄城县| 荆州市| 邵东县| 东至县| 兴国县| 乌兰浩特市| 萝北县| 安义县| 靖江市| 凤台县| 贵德县| 郴州市| 塔河县| 定安县| 吕梁市| 石门县| 时尚| 固镇县| 阿克陶县| 辉南县|