Kako instalirati Apache Kafka u CentOS/RHEL 7


Apache Kafka moćan je mehanizam za razmjenu poruka koji se naširoko koristi u BigData projektima i životnom ciklusu Data Analytics. To je platforma otvorenog koda za izgradnju cjevovoda za strujanje podataka u stvarnom vremenu. To je distribuirana platforma za objavljivanje i pretplatu s pouzdanošću, skalabilnošću i izdržljivošću.

Kafku možemo imati kao samostalnu ili kao klaster. Kafka pohranjuje podatke o strujanju i može se kategorizirati kao Teme. Tema će imati nekoliko particija tako da može obraditi proizvoljnu količinu podataka. Također, možemo imati više replika za otpornost na pogreške kao što imamo u HDFS. U Kafka klasteru broker je komponenta koja pohranjuje objavljene podatke.

Zookeeper je obavezna usluga za pokretanje Kafka klastera, jer se koristi za upravljanje koordinacijom Kafka brokera. Zookeeper igra ključnu ulogu između proizvođača i potrošača gdje je odgovoran za održavanje stanja svih posrednika.

U ovom ćemo članku objasniti kako instalirati Apache Kafka u jedan čvor CentOS 7 ili RHEL 7.

Instaliranje Apache Kafka u CentOS 7

1. Prvo morate instalirati Javu na svoj sustav kako biste pokrenuli Apache Kafku bez ikakvih grešaka. Dakle, instalirajte zadanu dostupnu verziju Jave pomoću sljedeće naredbe yum i provjerite verziju Jave kao što je prikazano.

yum -y install java-1.8.0-openjdk
java -version

2. Zatim preuzmite najnoviju stabilnu verziju Apache Kafke sa službene web stranice ili upotrijebite sljedeću naredbu wget da je izravno preuzmete i izdvojite.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Napravite simboličku vezu za kafka paket, zatim dodajte stazu okruženja Kafka u datoteku .bash_profile i zatim je inicijalizirajte kako je prikazano.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Zatim pokrenite Zookeeper, koji dolazi ugrađen s paketom Kafka. Budući da se radi o klasteru s jednim čvorom, možete pokrenuti zookeeper sa zadanim svojstvima.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Provjerite je li zookeeper dostupan ili ne jednostavnim telnetom na Zookeeper port 2181.


telnet localhost 2181

6. Pokrenite Kafku sa zadanim svojstvima.


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Provjerite je li Kafka dostupan ili ne jednostavnim telnet-om na Kafka port 9092


telnet localhost 9092

8. Zatim stvorite oglednu temu.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Navedite stvorenu temu.

kafka-topics.sh --zookeeper localhost:2181 --list

Zaključak

U ovom smo članku vidjeli kako instalirati Kafka klaster s jednim čvorom u CentOS 7. Vidjet ćemo kako instalirati višečvorni Kafka klaster u sljedećem članku.