Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 - dio 3

U ovom smo članku opisali korak po korak postupak instaliranja Cloudera Managera u skladu s industrijskom praksom. U 2. dijelu već smo prošli kroz Cloudera preduvjete, provjerite jesu li svi poslužitelji savršeno pripremljeni.

Zahtjevi

Najbolje prakse za implementaciju Hadoop poslužitelja na CentOS/RHEL 7 – 1. dio
Postavljanje preduvjeta za Hadoop i jačanje sigurnosti – 2. dio

Ovdje ćemo imati klaster od 5 čvorova gdje su 2 gospodara i 3 radnika. Koristio sam 5 instanci AWS EC2 da demonstriram postupak instalacije. Nazvao sam tih 5 poslužitelja kao u nastavku.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager je administrativni i nadzorni alat za cijeli CDH. Mi administratori to obično nazivamo alatom za upravljanje za Cloudera Hadoop. Pomoću ovog alata možemo implementirati, nadzirati, kontrolirati i mijenjati konfiguraciju. Ovo je vrlo bitno za upravljanje cijelim klasterom.

Ispod su važne upotrebe Cloudera Managera.

Implementirajte i konfigurirajte Hadoop klastere na automatiziran način.
Pratite zdravlje klastera
Konfigurirajte upozorenja
Rješavanje problema
Izvještavanje
Izrada izvješća o korištenju klastera
Dinamičko konfiguriranje resursa

Korak 1: Instalacija web poslužitelja Apache na CentOS

Koristit ćemo master1 kao web poslužitelj za Cloudera repozitorije. Također, Cloudera Manager je WebUI, tako da moramo imati instaliran Apache. Slijedite korake u nastavku da biste instalirali apache web poslužitelj.

yum -y install httpd

Nakon što instalirate httpd, pokrenite ga i omogućite kako bi se pokrenuo pri dizanju sustava.

systemctl start httpd
systemctl enable httpd

Nakon pokretanja httpd-a, provjerite status.

systemctl status httpd

Nakon pokretanja httpd-a, otvorite preglednik u vašem lokalnom sustavu i zalijepite IP adresu master1 u traku za pretraživanje, trebali biste dobiti ovu probnu stranicu kako biste bili sigurni da httpd radi dobro.

Korak 2: Konfigurirajte lokalni DNS za rješavanje IP-a i imena glavnog računala

Moramo imati DNS poslužitelj ili konfigurirati /etc/hosts za rješavanje IP-a i naziva hosta. Ovdje konfiguriramo /etc/hosts, ali u stvarnom vremenu, namjenski DNS poslužitelj bit će tu za proizvodno okruženje.

Slijedite korake u nastavku da biste unijeli sve svoje poslužitelje u /etc/hosts.

vi /etc/hosts

Ovo bi trebalo biti konfigurirano na svim poslužiteljima.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Korak 3: Konfigurirajte SSH prijavu bez lozinke

Cloudera Manager se instalira na master1 u ovoj demonstraciji. Moramo konfigurirati ssh bez lozinke od master1 do svih ostalih čvorova. Budući da će Cloudera Manager koristiti ssh za komunikaciju sa svim drugim čvorovima za instaliranje paketa.

Slijedite donje korake za konfiguraciju ssh-a bez lozinke s master1 na sve preostale poslužitelje. Imat ćemo korisnika 'tecmint' da nastavimo dalje.

Stvorite korisnika 'tecmint' sva 4 poslužitelja pomoću naredbe useradd kao što je prikazano.

useradd -m tecmint

Da biste korisniku 'tecmint' dali root privilegiju, dodajte donji redak u datoteku /etc/sudoers. Možete dodati ovaj redak pod root kao što je prikazano na snimci zaslona.

tecmint   ALL=(ALL)    ALL

Prebacite se na korisnika 'tecmint' i stvorite ssh ključ u master1 koristeći donju naredbu.

sudo su tecmint
ssh-keygen

Sada kopirajte stvoreni ključ na sva 4 poslužitelja pomoću naredbe ssh-copy-id kao što je prikazano.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Sada biste trebali moći ssh-om s master1 na preostale sve poslužitelje bez lozinke kao što je prikazano.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Korak 4: Instaliranje i konfiguriranje Cloudera Managera

Možemo koristiti repozitorij dobavljača (Cloudera) za instaliranje svih paketa pomoću alata za upravljanje paketima u RHEL/CentOS. U stvarnom vremenu, stvaranje vlastitog repozitorija najbolja je praksa jer možda nemamo pristup internetu na proizvodnim poslužiteljima.

Ovdje ćemo instalirati izdanje Cloudera Manager 6.3.1. Budući da ćemo koristiti master1 kao repo poslužitelj, pakete preuzimamo dolje navedenom stazom.

Napravite dolje navedene direktorije na master1 poslužitelju.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Možemo koristiti alat wget za preuzimanje paketa preko http-a. Dakle, instalirajte wget koristeći donju naredbu.

sudo yum -y install wget

Zatim preuzmite tar datoteku Cloudera Manager pomoću sljedeće naredbe wget.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Ekstrahirajte tar datoteku u /var/www/html/cloudera-repos/cm6, već smo napravili master1 kao web poslužitelj instaliranjem http i testirali smo na pregledniku.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Sada provjerite nalaze li se sve Cloudera rpm datoteke u direktoriju /var/www/html/cloudera-repos/cm6/RPMS/x86_64.

cd /var/www/html/cloudera-repos/cm6
ll

Stvorite datoteke /etc/yum.repos.d/cloudera-manager.repo na svim poslužiteljima u hostovima klastera sa sljedećim sadržajem, ovdje je master1 (65.0.101.148) web poslužitelj.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Sada je spremište dodano, pokrenite donju naredbu za pregled omogućenih spremišta.

yum repolist

Pokrenite donju naredbu da vidite sve dostupne pakete povezane s Cloudera u repozitoriju.

yum list available | grep cloudera*

Instalirajte cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Pokrenite donju naredbu da vidite sve instalirane Cloudera pakete.

yum list installed | grep cloudera*

Izvedite donju naredbu za pokretanje cloudera-scm-server-db koja je temeljna baza podataka za pohranu Cloudera Managera i metapodataka drugih usluga.

Prema zadanim postavkama, Cloudera dolazi s postgre-sql koji je ugrađen u Cloudera Manager. Instaliramo onu ugrađenu, u vanjsku bazu podataka u stvarnom vremenu koja se može koristiti. To može biti Oracle, MySQL ili PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Izvedite donju naredbu da provjerite status baze podataka.

sudo systemctl status cloudera-scm-server-db

Konfigurirajte db.properties za poslužitelj Cloudera Manager.

vi /etc/cloudera-scm-server/db.properties

Konfigurirajte vrijednost u nastavku na EMBEDDED kako bi Cloudera Manager koristio Ugrađenu bazu podataka.

com.cloudera.cmf.db.setupType=EMBEDDED

Pokrenite donju naredbu za pokretanje poslužitelja Cloudera Manager.

sudo systemctl start cloudera-scm-server

Pokrenite donju naredbu da provjerite status poslužitelja Cloudera Manager.

sudo systemctl status cloudera-scm-server

Pokrenite donju naredbu za pokretanje i provjeru statusa agenta Cloudera Manager.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Nakon što se Cloudera Manager Server uspješno pokrene i dobro radi, možete vidjeti WebUI (stranicu za prijavu) u pregledniku koristeći IP adresu i broj porta 7180 koji je broj porta Cloudera Manager.

https://65.0.101.148:7180

Sažetak

U ovom smo članku vidjeli korak po korak proces instaliranja Cloudera Manager na CentOS 7. Vidjet ćemo CDH i druge servisne instalacije u sljedećem članku.