Najbolji primjeri za primjenu Hadoop poslužitelja na CentOS/RHEL 7 - 1. dio

U ovoj seriji članaka pokrivat ćemo cijelu zgradu Cloudera Hadoop Cluster Building s najboljim praksama koje preporučuju dobavljači i industrija.

Instalacija OS-a i rad na razini OS-a Preduvjeti su prvi koraci za izgradnju Hadoop klastera. Hadoop može raditi na različitim okusima Linux platforme: CentOS, RedHat, Ubuntu, Debian, SUSE itd. U proizvodnji u stvarnom vremenu, većina klastera Hadoop izgrađena je na vrhu RHEL/CentOS, koristit ćemo CentOS 7 za demonstraciju u ovoj seriji tutorijala.

U organizaciji se instalacija OS-a može izvršiti pomoću kickstart-a. Ako se radi o klasteru od 3 do 4 čvora, moguća je ručna instalacija, ali ako izgradimo veliki klaster s više od 10 čvorova, zamorno je instalirati OS jedan po jedan. U ovom scenariju na scenu dolazi metoda Kickstart, možemo nastaviti s masovnom instalacijom pomoću kickstart-a.

Postizanje dobrih performansi iz okruženja Hadoop ovisi o osiguravanju ispravnog hardvera i softvera. Dakle, izgradnja proizvodnog klastera Hadoop uključuje puno razmatranja u vezi s hardverom i softverom.

U ovom ćemo članku proći kroz razna mjerila o instalaciji OS-a i neke najbolje primjere za primjenu Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

Važno razmatranje i najbolji primjeri za postavljanje Hadoop poslužitelja

Slijede najbolji postupci za postavljanje postavljanja Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

  • Hadoop poslužitelji ne trebaju poslovne poslužitelje za izgradnju klastera, potreban je robni hardver.
  • U proizvodnom klasteru preporučuje se 8 do 12 podatkovnih diskova. O prirodi radnog opterećenja moramo odlučiti o tome. Ako je klaster za računalno intenzivne aplikacije, posjedovanje 4 do 6 pogona najbolja je praksa za izbjegavanje I/O problema.
  • Pogon podataka treba podijeliti pojedinačno, na primjer - počevši od/data01 do/data10.
  • RAID konfiguracija se ne preporučuje za radne čvorove, jer sam Hadoop pruža toleranciju kvarova na podacima repliciranjem blokova u 3 prema zadanim postavkama. Dakle, JBOD je najbolji za radne čvorove.
  • Za glavne poslužitelje RAID 1 je najbolja praksa.
  • Zadani datotečni sustav na CentOS/RHEL 7.x je XFS. Hadoop podržava XFS, ext3 i ext4. Preporučeni datotečni sustav je ext3 jer je testiran na dobre performanse.
  • Svi poslužitelji trebali bi imati istu verziju OS-a, barem isto manje izdanje.
  • Najbolja je praksa imati homogen hardver (svi radni čvorovi trebali bi imati iste hardverske karakteristike (RAM, prostor na disku i jezgra itd.).
  • Prema opterećenju klastera (uravnoteženo radno opterećenje, intenzivno računanje, I/O intenzivno) i veličini, planiranje resursa (RAM, CPU) po poslužitelju bit će različito.

Pronađite donji primjer za particiju diska na poslužiteljima od 24TB za pohranu.

Instaliranje CentOS 7 za implementaciju Hadoop poslužitelja

Stvari koje morate znati prije instaliranja CentOS 7 poslužitelja za Hadoop Server.

  • Minimalna instalacija dovoljna je za Hadoop poslužitelje (radni čvorovi), u nekim se slučajevima GUI može instalirati samo za glavne poslužitelje ili upravljačke poslužitelje gdje možemo koristiti preglednike za web korisničko sučelje alata za upravljanje.
  • Konfiguriranje mreža, imena hosta i ostalih postavki povezanih s OS-om može se izvršiti nakon instalacije OS-a.
  • U stvarnom vremenu, dobavljači poslužitelja imat će vlastitu konzolu za interakciju i upravljanje poslužiteljima, na primjer - Dell poslužitelji imaju iDRAC koji je uređaj ugrađen u poslužitelje. Korištenjem tog iDRAC sučelja možemo instalirati OS koji ima OS sliku u našem lokalnom sustavu.

U ovom smo članku instalirali OS (CentOS 7) u VMware virtualni stroj. Ovdje nećemo imati više diskova za izvođenje particija. CentOS je sličan RHEL-u (ista funkcionalnost), pa ćemo vidjeti korake za instalaciju CentOS-a.

1. Započnite s preuzimanjem CentOS 7.x ISO slike u vaš lokalni sustav Windows i odaberite je tijekom pokretanja virtualnog stroja. Odaberite ‘Install CentOS 7’ kako je prikazano.

2. Odaberite jezik, zadani će biti engleski i kliknite na dalje.

3. Odabir softvera - odaberite „Minimalna instalacija“ i kliknite „Gotovo“.

4. Postavite root lozinku onako kako će nas tražiti da postavimo.

5. Odredište instalacije - Ovo je važan korak kako biste bili oprezni. Moramo odabrati disk na koji treba instalirati OS, a za OS treba odabrati namjenski disk. Kliknite "Odredište instalacije" i odaberite Disk, u stvarnom vremenu bit će više diskova, trebamo odabrati, poželjno "sda".

6. Ostale opcije pohrane - Odaberite drugu opciju (konfigurirat ću particioniranje) za konfiguriranje particija povezanih s OS-om poput/var,/var/log,/home,/tmp,/opt,/swap.

7. Kad završite, započnite instalaciju.

8. Nakon završetka instalacije, ponovno pokrenite poslužitelj.

9. Prijavite se na poslužitelj i postavite ime hosta.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

U ovom smo članku prošli korake instalacije OS-a i najbolje postupke za particioniranje datotečnog sustava. Sve su to opće smjernice, u skladu s prirodom radnog opterećenja, možda ćemo se trebati usredotočiti na više nijansi kako bismo postigli najbolje performanse klastera. Planiranje klastera je umjetnost za administratora Hadoopa. U sljedećem ćemo članku duboko zaroniti u preduvjete na razini OS-a i Učvršćivanje sigurnosti.