在企業(yè)生產(chǎn)環(huán)境中，由于安全要求或網(wǎng)絡(luò)限制，常需在離線環(huán)境下部署大數(shù)據(jù)平臺。Cloudera Manager（CM）與CDH（Cloudera's Distribution Including Apache Hadoop）作為業(yè)界廣泛使用的大數(shù)據(jù)平臺解決方案，其離線安裝需要系統(tǒng)化的準(zhǔn)備與步驟。本文將詳細(xì)闡述在CentOS系統(tǒng)中離線安裝Cloudera Manager 5及CDH 5.1.3的全過程。

一、 安裝前環(huán)境準(zhǔn)備

1. 系統(tǒng)要求：

• 操作系統(tǒng)：CentOS 6.x 或 7.x（64位）。CDH 5.1.3對CentOS 6.x系列支持更佳，建議使用CentOS 6.8或6.9。

• 所有節(jié)點(diǎn)需配置靜態(tài)IP，并確保主機(jī)名解析正確（可通過/etc/hosts文件配置）。

• 關(guān)閉所有節(jié)點(diǎn)的防火墻（或配置相應(yīng)端口規(guī)則）和SELinux。

• 確保所有節(jié)點(diǎn)間SSH免密登錄已配置。

• 確保系統(tǒng)時(shí)間同步（NTP）。

1. 軟件包準(zhǔn)備（關(guān)鍵離線資源）：

• Cloudera Manager 5 安裝包：cloudera-manager-el6-cm5.1.3<em>x86</em>64.tar.gz（對應(yīng)CentOS 6，若為CentOS 7則尋找el7版本）。

• CDH 5.1.3 Parcel文件：這是核心的軟件分發(fā)包。需要準(zhǔn)備三個(gè)文件：

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel（主軟件包）

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1（校驗(yàn)文件，需重命名為.sha）

• manifest.json（清單文件）

• JDK 1.7：Oracle JDK 1.7u67的Linux x64 RPM包（jdk-7u67-linux-x64.rpm）。

• MySQL JDBC驅(qū)動：mysql-connector-java-5.1.xx-bin.jar（用于CM元數(shù)據(jù)庫）。

• 依賴RPM包：在有網(wǎng)環(huán)境中，通過yum install或repotrack工具下載所有必需的依賴RPM包（如MySQL Server/Client, Python等），并創(chuàng)建本地YUM倉庫。

二、 主要安裝步驟

1. 基礎(chǔ)環(huán)境配置：

• 在所有節(jié)點(diǎn)上安裝準(zhǔn)備好的基礎(chǔ)依賴RPM包（通過創(chuàng)建的本地YUM倉庫）。

• 在所有節(jié)點(diǎn)上安裝Oracle JDK 1.7。

• 選擇一臺節(jié)點(diǎn)作為Cloudera Manager Server主機(jī)，安裝并配置MySQL數(shù)據(jù)庫作為CM的元數(shù)據(jù)庫。

1. 安裝Cloudera Manager Server：

• 在Server節(jié)點(diǎn)上，解壓CM安裝包：tar -xzvf cloudera-manager-el6-cm5.1.3<em>x86</em>64.tar.gz -C /opt/。

• 運(yùn)行初始化腳本：cd /opt/cm-5.1.3/share/cmf/schema/ && ./scm<em>prepare</em>database.sh mysql cm -hlocalhost -uroot -p密碼 --scm-host localhost scm scm scm。

• 將MySQL JDBC驅(qū)動JAR文件復(fù)制到/usr/share/java/目錄（并重命名為mysql-connector-java.jar）和/opt/cm-5.1.3/share/cmf/lib/目錄。

• 啟動CM Server服務(wù)：service cloudera-scm-server start。

• 通過瀏覽器訪問 http://<server-host>:7180，默認(rèn)用戶名/密碼：admin/admin。

1. 配置Parcel本地分發(fā)倉庫：

• 在CM Web界面，進(jìn)入“管理”->“設(shè)置”->“Parcel”。

• 將準(zhǔn)備好的CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel、重命名后的.sha文件及manifest.json文件，放置在一個(gè)可通過HTTP訪問的目錄下（例如，使用Apache/Nginx搭建一個(gè)簡單的靜態(tài)文件服務(wù)器，或直接使用CM Server節(jié)點(diǎn)的/opt/cloudera/parcel-repo/目錄）。

• 在CM設(shè)置中，將“遠(yuǎn)程Parcel存儲庫URL”指向此本地HTTP地址（例如http://<server-host>/cdh-parcels/）。

1. 通過Cloudera Manager安裝CDH：

• 在CM Web界面，點(diǎn)擊“群集”->“添加群集”，按照向?qū)Р襟E操作。

• 在“指定主機(jī)”環(huán)節(jié)，手動輸入或通過搜索添加所有已安裝好CM Agent的節(jié)點(diǎn)主機(jī)名。

• 在“選擇存儲庫”環(huán)節(jié)，選擇“使用Parcel”，系統(tǒng)應(yīng)能檢測到本地倉庫中的CDH 5.1.3 Parcel。

• 下載、分配并激活Parcel。

• 運(yùn)行主機(jī)檢查，并根據(jù)向?qū)нx擇要安裝的服務(wù)（如HDFS, YARN, ZooKeeper, Hive, HBase等），完成配置與啟動。

三、 注意事項(xiàng)與故障排查

• 版本一致性：確保CM版本、CDH Parcel版本、操作系統(tǒng)版本、JDK版本完全匹配，這是離線安裝成功的關(guān)鍵。
• 依賴完整性：離線環(huán)境下的RPM依賴必須完整，任何缺失都可能導(dǎo)致服務(wù)安裝或啟動失敗。建議使用yum deplist命令仔細(xì)檢查。
• 磁盤與內(nèi)存：確保所有節(jié)點(diǎn)有足夠的磁盤空間存放Parcel包和日志，以及足夠的內(nèi)存運(yùn)行服務(wù)。
• 日志排查：安裝過程中遇到問題，首要查看各節(jié)點(diǎn)的/var/log/cloudera-scm-agent/和Server節(jié)點(diǎn)的/var/log/cloudera-scm-server/目錄下的日志文件。

通過以上系統(tǒng)化的步驟，即使在完全離線的CentOS環(huán)境中，也能成功搭建起一個(gè)由Cloudera Manager統(tǒng)一管理的CDH 5.1.3大數(shù)據(jù)平臺，為后續(xù)的數(shù)據(jù)處理與分析任務(wù)奠定堅(jiān)實(shí)基礎(chǔ)。