Najbolji primjeri iz prakse za implementaciju Hadoop poslužitelja na CentOS/RHEL 7 - 1. dio

U ovoj seriji članaka pokrit ćemo cijelu zgradu Cloudera Hadoop Cluster Building s najboljim primjerima iz prakse Dobavljača i Industrije.

Instalacija OS-a i rad na razini OS-a Preduvjeti su prvi koraci za izgradnju Hadoop klastera. Hadoop može raditi na različitim verzijama Linux platformi: CentOS, RedHat, Ubuntu, Debian<, SUSE itd., U proizvodnji u stvarnom vremenu, većina Hadoop klastera izgrađena je na vrhu RHEL/CentOS, mi koristit će CentOS 7 za demonstraciju u ovoj seriji vodiča.

U organizaciji, instalacija OS-a može se obaviti pomoću kickstarta. Ako se radi o klasteru od 3 do 4 čvora, ručna instalacija je moguća, ali ako gradimo veliki klaster s više od 10 čvorova, zamorno je instalirati OS jedan po jedan. U ovom scenariju, metoda Kickstart dolazi na scenu, možemo nastaviti s masovnom instalacijom pomoću kickstarta.

Postizanje dobrih performansi iz Hadoop okruženja ovisi o postavljanju odgovarajućeg hardvera i softvera. Dakle, izgradnja proizvodnog Hadoop klastera uključuje puno razmatranja u vezi s hardverom i softverom.

U ovom ćemo članku proći kroz različite referentne vrijednosti o instalaciji OS-a i neke najbolje prakse za implementaciju Cloudera Hadoop poslužitelja klastera na CentOS/RHEL 7.

Važno razmatranje i najbolji primjeri iz prakse za implementaciju Hadoop poslužitelja

Sljedeće su najbolje prakse za postavljanje implementacije Cloudera Hadoop klaster poslužitelja na CentOS/RHEL 7.

  • Hadoop poslužitelji ne zahtijevaju standardne poslužitelje poduzeća za izgradnju klastera, to zahtijeva standardni hardver.
  • U proizvodnom klasteru preporuča se imati 8 do 12 podatkovnih diskova. O tome trebamo odlučiti prema prirodi opterećenja. Ako je klaster za računalno intenzivne aplikacije, najbolje je imati 4 do 6 pogona kako biste izbjegli probleme s I/O.
  • Podatkovne pogone treba particionirati pojedinačno, na primjer – počevši od /data01 do /data10.
  • Konfiguracija RAID-a ne preporučuje se za radne čvorove, jer sam Hadoop pruža toleranciju na pogreške na podacima tako što replicira blokove u 3 prema zadanim postavkama. Dakle, JBOD je najbolji za radne čvorove.
  • Za glavne poslužitelje, RAID 1 je najbolja praksa.
  • Zadani datotečni sustav na CentOS/RHEL 7.x je XFS. Hadoop podržava XFS, ext3 i ext4. Preporučeni datotečni sustav je ext3 jer je testiran na dobre performanse.
  • Svi poslužitelji trebaju imati istu verziju OS-a, barem isto manje izdanje.
  • Najbolja je praksa imati homogen hardver (svi radni čvorovi trebaju imati iste karakteristike hardvera (RAM, prostor na disku & Core itd.).
  • Prema radnom opterećenju klastera (uravnoteženo radno opterećenje, intenzivno računanje, intenzivno I/O) i veličini, planiranje resursa (RAM, CPU) po poslužitelju će se razlikovati.

U nastavku pronađite primjer za particioniranje diska poslužitelja od 24TB za pohranu.

Instaliranje CentOS 7 za implementaciju Hadoop poslužitelja

Stvari koje trebate znati prije instaliranja CentOS 7 poslužitelja za Hadoop poslužitelj.

  • Minimalna instalacija dovoljna je za Hadoop poslužitelje (radničke čvorove), u nekim slučajevima GUI se može instalirati samo za glavne poslužitelje ili upravljačke poslužitelje gdje možemo koristiti preglednike za web sučelja Alati za upravljanje.
  • Konfiguriranje mreža, naziva hosta i drugih postavki vezanih uz OS moguće je izvršiti nakon instalacije OS-a.
  • U stvarnom vremenu dobavljači poslužitelja imat će vlastitu konzolu za interakciju i upravljanje poslužiteljima, na primjer – Dell poslužitelji imaju iDRAC koji je uređaj ugrađen u poslužitelje. Korištenjem tog iDRAC sučelja možemo instalirati OS sa slikom OS-a u našem lokalnom sustavu.

U ovom smo članku instalirali OS (CentOS 7) u VMware virtualni stroj. Ovdje nećemo imati više diskova za izvođenje particija. CentOS je sličan RHEL (ista funkcionalnost), pa ćemo vidjeti korake za instalaciju CentOS.

1. Započnite s preuzimanjem CentOS 7.x ISO slike u vašem lokalnom Windows sustavu i odaberite je tijekom pokretanja virtualnog stroja. Odaberite ‘Instaliraj CentOS 7’ kao što je prikazano.

2. Odaberite jezik, zadani će biti engleski i kliknite nastavi.

3. Odabir softvera – Odaberite 'Minimalna instalacija' i kliknite 'Gotovo'.

4. Postavite korijensku zaporku onako kako će od nas tražiti da je postavimo.

5. Odredište instalacije – Ovo je važan korak na kojem treba biti oprezan. Moramo odabrati disk na koji će biti instaliran OS, namjenski disk treba odabrati za OS. Kliknite na 'Instalacijsko odredište' i odaberite Disk, u stvarnom vremenu bit će tamo više diskova, moramo odabrati, po mogućnosti 'sda'.

6. Ostale opcije pohrane – Odaberite drugu opciju (ja ću konfigurirati particioniranje) da biste konfigurirali particioniranje povezano s OS-om kao /var, / var/log, /home, /tmp, /opt, /swap.

7. Kada završite, započnite instalaciju.

8. Kada instalacija završi, ponovno pokrenite poslužitelj.

9. Prijavite se na poslužitelj i postavite naziv hosta.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Sažetak

U ovom smo članku prošli kroz korake instalacije OS-a i najbolje prakse za particioniranje datotečnog sustava. Sve su to opće smjernice, u skladu s prirodom radnog opterećenja, možda ćemo se morati usredotočiti na više nijansi kako bismo postigli najbolju izvedbu klastera. Planiranje klastera je umjetnost za Hadoop administratora. U sljedećem ćemo članku detaljno zaroniti u preduvjete na razini OS-a i sigurnosnu zaštitu.