Kako instalirati CDH i konfigurirati položaje usluga na CentOS/RHEL 7 - 4. dio
U ranijem članku objasnili smo instalaciju Cloudera Manager, u ovom ćete članku naučiti kako instalirati i konfigurirati CDH (Cloudera Distribution Hadoop) u RHEL/CentOS 7.
Tijekom instaliranja CDH paketa moramo osigurati kompatibilnost Cloudera Manager i CDH. Verzija Cloudera ima 3 dijela -
Na primjer, koristimo Cloudera Manager 6.3.1 i CDH 6.3.2. Ovdje je 6 glavna, a 3 manja verzija. Major i Minor moraju biti isti da bi se izbjegli problemi s kompatibilnošću.
- Najbolji primjeri za primjenu Hadoop poslužitelja na CentOS/RHEL 7 - 1. dio
- Postavljanje preduvjeta za Hadoop i sigurnosno učvršćivanje - 2. dio
- Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 - 3. dio
Uzet ćemo donja 2 čvora za instaliranje CDH. Već smo instalirali Cloudera Manager u master1, a također koristimo master1 kao repo poslužitelj.
master1.linux-console.net worker1.linux-console.net
Korak 1: Preuzmite CDH pakete na glavni poslužitelj
1. Prvo se povežite s poslužiteljem master1 i preuzmite datoteke CDH Parcels u direktorij/var/www/html/cloudera-repos/cdh. Moramo preuzeti dolje navedene 3 datoteke koje bi trebale biti kompatibilne s RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Prije preuzimanja ovih datoteka, napravite cdh direktorij pod/var/www/html/cloudera-repos/location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Zatim preuzmite gore spomenute 3 datoteke pomoću sljedeće naredbe wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Korak 2: Postavljanje Cloudera Manager Repo na radničkim klijentima
4. Sada se povežite s radničkim poslužiteljima i kopirajte repo datoteku (cloudera-manager.repo) s repo poslužitelja (master1) na sve preostale radničke poslužitelje. Ova repo datoteka osigurava poslužiteljima da će se sve potrebne pakete i RPM-ovi preuzeti s repo poslužitelja tijekom instalacije.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Jednom kad se repo doda, navedite omogućena spremišta kako biste bili sigurni da je omogućen repo upravitelja cloudera.
$ yum repolist
Korak 3: Instalirajte demone Cloudera Manager i agenta na Worker poslužitelje
6. Sada na sve preostale poslužitelje moramo instalirati cloudera-manager-daemons i cloudera-manager-agent.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Dalje, trebate konfigurirati agenta Cloudera Manager da izvještava o poslužitelju Cloudera Manager.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Zamijenite localhost IP adresom poslužitelja Cloudera Manager.
8. Pokrenite Cloudera Manager Agent i provjerite status.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Korak 4: Instalirajte i postavite CDH
CDH pakete imamo na master1 - repo poslužitelju. Provjerite imaju li svi poslužitelji repo datoteku Cloudera Manager u /etc/yum.repos.d/ ako slijedite automatsku instalaciju pomoću Cloudera Manager.
9. Prijavite se na Cloudera Manager koristeći URL u nastavku na portu 7180 i upotrijebite zadano korisničko ime i lozinku Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Nakon što se prijavite, dočekat će vas stranica dobrodošlice. Ovdje možete pronaći napomene o izdanju, Nove značajke Cloudera Manager.
11. Prihvatite licencu i nastavite.
12. Odaberite izdanje. Probna verzija odabrana je prema zadanim postavkama, možemo nastaviti s tim.
13. Sada slijedite korake za instalaciju klastera. Nastavite stranicu dobrodošlice.
14. Nazovite klaster i nastavite, nazvali smo ga „tecmint“. Postoje 2 vrste klastera koje možete definirati. Nastavljamo s redovnim klasterom.
- Redovni klaster: sastojat će se od čvorova za pohranu, računskih čvorova i ostalih potrebnih usluga.
- Računarski klaster: Sastojat će se samo od računskih čvorova. Vanjska pohrana može se koristiti za pohranu podataka.
15. Već smo instalirali agente Cloudera Manager na sve poslužitelje. Te poslužitelje možete pronaći u "Trenutno upravljanim hostovima". Za automatsku instalaciju morate unijeti FQDN ili IP poslužitelja u opciju "Novi hostovi" i pretražiti. Cloudera Manager automatski će otkriti hostove na koje trebamo instalirati CDH.
Ovdje kliknite "Trenutno upravljani hostovi", odaberite sve hostove odabirom "Ime hosta" i nastavite.
16. Odaberite Spremište - preporučeni način je korištenje Parcela. Kliknite "Više mogućnosti" da biste konfigurirali spremište.
17. Unesite URL lokalnog spremišta kako je spomenuto u nastavku. Uklonite sva preostala javna spremišta koja usmjeravaju na Web (Cloudera spremišta).
Ovo je URL lokalnog spremišta CDH koji imamo u master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Nakon unosa URL-a spremišta, ova će stranica prikazivati samo dostupne pakete. Nastavite ovaj korak.
19. Sad se paketi preuzimaju, distribuiraju, raspakiraju i aktiviraju na svim dostupnim poslužiteljima.
20. Kad su CDH paketi aktivirani, pregledajte klaster. Ovaj će korak obaviti zdravstveni pregled klastera. Ovdje preskačemo i nastavljamo.
Korak 5: Konfiguracija klastera
21. Ovdje moramo odabrati Usluge koje će se instalirati u klaster. Neke spakirane kombinacije bit će dostupne prema zadanim postavkama, idemo s prilagođenim uslugama.
22. U Custom Services u ovu demo svrhu instaliramo samo osnovne komponente (HDFS i YARN).
23. Dodijelite uloge poslužitelju. Možemo prilagoditi prema našim zahtjevima. Pronađite donji grafikon koji opisuje preporučenu distribuciju uloga za osnovni mali klaster s 5 do 20 čvorova s velikom dostupnošću.
24. Odaberite vrstu baze podataka, ime hosta, DB ime, korisničko ime i lozinku. Kako koristimo ugrađeni PostgreSQL, on će biti odabran prema zadanim postavkama. Testirajte vezu, trebala bi biti uspješna.
25. Ova će stranica prikazivati zadane konfiguracijske parametre HDFS-a i pređe, uključujući podatkovne direktorije. Pregledajte sve detalje o konfiguraciji i prema potrebi možete izvršiti promjene. Zatim nastavite s ovim.
26. Na ovoj će stranici biti prikazani detalji naredbe "Prvo pokretanje". Možete ga proširiti da biste vidjeli detalje o izvršavanju naredbi. Ako u klasteru postoje problemi s mrežom ili dozvolama, ovaj korak neće uspjeti. Ovaj korak obično odlučuje o glatkoj instalaciji zgrade klastera.
27. Kada je gornji korak dovršen, kliknite "Završi" da biste dovršili instalaciju. Ovo je nadzorna ploča Cloudera Managera nakon instalacije CDH-a.
http://104.211.95.96:7180/cmf/home
Uspješno smo dovršili instalaciju Cloudera Manager i CDH. Na nadzornoj ploči Cloudera Manager možete pronaći unaprijed definirani skup grafikona na kojima možete nadgledati CPU klastera, IO diska itd. Cjelokupnim klasterom možemo upravljati pomoću ovog Cloudera Manager. Sve administrativne radnje vidjet ćemo u sljedećim člancima.