Instalirajte i konfigurirajte Apache Oozie raspored rada za CDH 4.X na RHEL/CentOS 6/5

Oozie je otvoreni izvor planera za Hadoop, koji pojednostavljuje tijek rada i koordinaciju između poslova. Možemo definirati ovisnost između poslova za ulazne podatke i stoga možemo automatizirati ovisnost o poslu pomoću ooze planera.

U ovom uputstvu instalirao sam Oozie na svoj glavni čvor (tj. master kao naziv hosta i tamo gdje su instalirani namenode/JT ), no u proizvodnom sustavu oozie bi trebao biti instaliran na zasebnom Hadoopu čvor.

Upute za ugradnju podijeljene su u dva dijela, nazivamo ih A i B.

  1. A. Oozie instalacija.
  2. B. Oozie konfiguracija.

Prvo provjerimo ime hosta sustava, koristeći sljedeću naredbu "hostname".

 hostname

master

Metoda A: Oozie instalacija na RHEL/CentOS 6/5

Za instalaciju CDH4 koristimo službeno spremište CDH s web mjesta cloudera. Idite u službeni odjeljak za preuzimanje CDH-a i preuzmite verziju CDH4 (tj. 4.6) ili također možete upotrijebiti sljedeću naredbu wget za preuzimanje spremišta i njegovo instaliranje.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Jednom, kada ste dodali spremište CDH u svoj sustav, možete upotrijebiti sljedeću naredbu za instaliranje Oozie u sustav.

 yum install oozie

Sada instalirajte oozie klijenta (gornja naredba treba pokriti dio za instalaciju klijenta, ali ako ne, onda pokušajte ispod naredbe).

 yum install oozie-client

Napomena: Gornja instalacija također konfigurira uslugu oozie za pokretanje pri pokretanju sustava. Dobar posao! Završili smo s prvim dijelom instalacije, prijeđimo na drugi dio za konfiguriranje oozie.

Metoda B: Oozie konfiguracija na RHEL/CentOS 6/5

Kako oozie ne stupa izravno u interakciju s Hadoopom, ovdje nam ne treba nikakva mapirana konfiguracija.

Oprez: Molimo konfigurirajte sve postavke dok oozie nije pokrenut, što znači da morate slijediti korake u nastavku dok oozie usluga nije pokrenuta.

Oozie ima zadani ugrađeni "Derby" u DB, međutim, preporučio bih da koristite Mysql DB. Dakle, instalirajmo MySQL bazu podataka pomoću sljedećeg članka.

  1. Instalirajte MySQL bazu podataka u RHEL/CentOS 6/5

Nakon što završite s instalacijskim dijelom, sljedeći korak dalje stvorite oozie DB i dodijelite privilegije kao što je prikazano u nastavku.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Dalje, konfigurirajte Oozie svojstva za MySQL. Otvorite datoteku „oozie-site.xml“ i uredite sljedeća svojstva kao što je prikazano.

 cd /etc/oozie/conf
 vi oozie-site.xml

Unesite sljedeća svojstva (samo zamijenite master [my hostname] vašim imenom hosta).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Preuzmite i dodajte MySQL JDBC pokretački program za povezivanje JAR u direktorij Oozie lib. Da biste to učinili, pokrenite sljedeću ozbiljnu naredbu na terminalu.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Stvorite shemu baze podataka oozie izvršavanjem naredbi u nastavku i imajte na umu da bi se ovo trebalo izvoditi kao oozie korisnik.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Morate preuzeti ExtJS lib s interneta da biste omogućili oozie web konzolu. Idite na službenu stranicu CDH ExtJS i preuzmite biblioteke ExtJS verzije 2.2 ili paket možete preuzeti pomoću sljedeće naredbe.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Napokon, pokrenite oozie poslužitelj izvođenjem sljedećih naredbi.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Otvorite oozie UI koristeći svoj omiljeni preglednik i pokažite na svoju IP adresu. U ovom je slučaju moj IP 192.168.1.129.

http://192.168.1.129:11000

Ako vidite ovo korisničko sučelje. Čestitamo!! Uspješno ste konfigurirali oozie.

Ovaj postupak je uspješno testiran na RHEL/CentOS 6/5. U svojim nadolazećim člancima podijelit ću kako konfigurirati i rasporediti hadoop poslove putem oozie-a. Ostanite povezani i potražite više i ne zaboravite komentirati svoje povratne informacije.