Kako postaviti visoku dostupnost Namenode - 5. dio

Hadoop ima dvije osnovne komponente, a to su HDFS i YARN. HDFS je za pohranu podataka, YARN je za obradu podataka. HDFS je distribuirani datotečni sustav Hadoop, ima Namenode kao glavnu uslugu, a Datanode kao slave uslugu.

Namenode je kritična komponenta Hadoopa koja pohranjuje metapodatke podataka pohranjenih u HDFS-u. Ako Namenode padne, cijeli klaster neće biti dostupan, to je jedina točka kvara (SPOF). Dakle, proizvodno okruženje imat će visoku dostupnost Namenodea kako bi se izbjegao prekid u proizvodnji ako jedna Namenode padne zbog različitih razloga kao što su pad stroja, planirane aktivnosti održavanja itd.

Hadoop 2.x pruža izvedivost gdje možemo imati dvije Namenode, jedna će biti Active Namenode, a druga će biti Standby Namenode.

  • Aktivni Namenode - Upravlja svim operacijama klijenta.
  • Stanje čekanja - višak je aktivnog značenja. Ako Active NN padne, tada će Standby NN preuzeti svu odgovornost Active NN-a.

Omogućavanje visoke dostupnosti Namenode zahtijeva Zookeeper koji je obavezan za automatsko preusmjeravanje. ZKFC (Zookeeper Failover Controller) je Zookeeper klijent koji se koristi za održavanje stanja Namenode.

  • Najbolji primjeri za primjenu Hadoop poslužitelja na CentOS/RHEL 7 - 1. dio
  • Postavljanje preduvjeta za Hadoop i sigurnosno učvršćivanje - 2. dio
  • Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 - 3. dio
  • Kako instalirati CDH i konfigurirati položaje usluga na CentOS/RHEL 7 - 4. dio

U ovom ćemo članku omogućiti Namenode visoku dostupnost u Cloudera Manageru.

Korak 1: Instalacija čuvara zoološkog vrta

1. Prijavite se u Cloudera Manager.

http://Your-IP:7180/cmf/home

2. U odzivniku za akciju klastera (tecmint) odaberite "Dodaj uslugu".

3. Odaberite uslugu "Zookeeper".

4. Odaberite poslužitelje na kojima ćemo instalirati Zookeeper.

5. Imat ćemo 3 čuvara zoološkog vrta koji će formirati zvor čuvara zoološkog vrta. Odaberite poslužitelje kako je spomenuto u nastavku.

6. Konfigurirajte svojstva Zookeeper, ovdje imamo zadana. U stvarnom vremenu morate imati odvojene točke direktorija/montiranja za spremanje podataka Zookeeper-a. U 1. dijelu objasnili smo o konfiguraciji pohrane za svaku uslugu. Kliknite "Nastavi" za nastavak.

7. Instalacija započinje, nakon instaliranja Zookeeper-a započinje. Ovdje možete pogledati pozadinske operacije.

8. Nakon uspješnog dovršenja gornjeg koraka, status će biti 'Završen'.

9. Sada je Zookeeper uspješno instaliran i konfiguriran. Kliknite "Završi".

10. Uslugu Zookeeper možete pogledati na nadzornoj ploči Cloudera Manager.

Korak 2: Omogućavanje visoke dostupnosti Namenode

11. Idite na Cloudera Manager -> HDFS -> Radnje -> Omogući visoku dostupnost.

12. Unesite Nameservice Name kao “nameservice1” - Ovo je uobičajeni prostor imena kako za Aktivni tako i za stanje čekanja Namenode.

13. Odaberite Drugu Namenodu na kojoj ćemo imati Namenode u stanju čekanja.

14. Ovdje odabiremo master2.linux-console.net za pripravnost Namenode.

15. Odaberite čvorove Journal, to su obvezne usluge za sinkronizaciju aktivnog i stanja čekanja Namenode.

16. Izrađujemo Quorum Journal postavljanjem čvora Journal na 3 poslužitelja kako je spomenuto u nastavku. Odaberite 3 poslužitelja i kliknite "U redu".

17. Kliknite 'Nastavi' da biste nastavili.

18. Unesite stazu direktorija Čvora dnevnika. Samo moramo spomenuti put dok će instalacija ovog direktorija automatski stvoriti sama usluga. Spominjemo kao ‘/ jn’ . Kliknite "Nastavi" za nastavak.

19. Počet će omogućavati visoku dostupnost.

20. Kad završimo sve pozadinske procese, dobit ćemo status „Završeno“.

21. Napokon ćemo dobiti obavijest ‘Uspješno omogućena velika dostupnost’. Kliknite "Završi".

22. Potvrdite aktivni i pripravni Namenode odlaskom na Cloudera Manager -> HDFS -> Instance.

23. Ovdje možete postaviti dva Namenoda, jedan će biti u stanju "Aktivno", a drugi u stanju čekanja.

U ovom smo članku prošli korak po korak kako bismo omogućili Namenode visoku dostupnost. Preporučuje se da Namenode bude dostupan u svim klasterima u okruženju u stvarnom vremenu. Pošaljite svoje sumnje ako naiđete na pogrešku tijekom izvođenja ovog postupka. U sljedećem ćemo članku vidjeti visoku dostupnost Resource Manager-a.