Kafka tööriistade tutvustus
Kafka tööriistad on mitmesuguste tööriistade kogum, mille abil saame hallata oma Kafka klastrit. Tööriistad on enamasti käsuridadel põhinevad, kuid saadaval on ka kasutajaliidesepõhised tööriistad, mida saab alla laadida ja installida.
Saame Kafka tööriistu kasutada mitmesuguste toimingute tegemiseks, näiteks:
- Loetlege saadaolevad Kafka klastrid ja nende maaklerid, teemad ja tarbijad.
- Oskab printida standardväljundis erinevate teemade sõnumeid. Kasutajaliidesel põhinevad tööriistad pakuvad kindlasti paremat loetavust.
- Lisage maaklerite teemasid ja loobuge neist.
- Lisage partitsioonidesse uusi sõnumeid.
- Vaadake kõiki meie tarbijate kompenseerimisi.
- Looge meie teemade vaheseinad.
- Loetlege kõik tarbijarühmad, kirjeldage tarbijarühmi, kustutage tarbijarühmade teave ja lähtestage tarbijarühmade nihked.
Kui soovime kasutada kasutajaliidesel põhinevat tööriista, võime kasutada Kafka tööriista, mille saab alla laadida järgmiselt veebilehelt:
http://www.kafkatool.com/download.html
See rakendus on isiklikuks kasutamiseks saadaval tasuta, kuid me peame ostma litsentsi äriliseks kasutamiseks. Hea on selle kättesaadavus Macile, Windowsile ja Linuxi süsteemidele.
Kafka tööriistade 3 parimat tüüpi
Kafka tööriistad liigitatakse süsteemi- ja rakendustööriistadeks.
1. Süsteemi tööriistad
Süsteemi tööriistu saab käivitada järgmise süntaksi abil.
Süntaks:
bin/kafka-run-class.sh package.class - - options
Mõned süsteemi tööriistad on järgmised:
- Kafka migreerimistööriist: seda tööriista kasutatakse Kafka Brokeri migreerimiseks ühest versioonist teise.
- Tarbijanihete kontrollija: see tööriist saab kuvada määratletud teemakomplekti ja tarbijarühma Tarbijarühm, Teema, Sektsioonid, Väljas, LogSize, Omanik.
- Peegel tegija: Seda tööriista kasutatakse ühe Kafka klastri peegeldamiseks teisele.
2. Replikatsiooni tööriistad
Need on põhimõtteliselt kõrgetasemelised disainivahendid, mis tagavad vastupidavuse ja käideldavuse.
Mõned replikatsiooni tööriistad on järgmised:
- Teema loomise tööriist: seda tööriista kasutatakse teemade loomiseks vaikimisi partitsioonide arvu ja replikatsiooniteguriga.
- Teemaloendi tööriist: seda kasutatakse antud teemaloendi teabe loetlemiseks. Selle tööriista suurepäraseks küljeks on see, et kui ükski teema pole käsuribal juba saadaval, küsib see loomaaia pidajalt kõigepealt teemade loendi ja siis prindib nende kohta teabe. Selles loetletakse erinevad väljad, nagu teema nimi, vaheseinad, juht, koopiad jne.
- Lisa partitsioonitööriist: seda tööriista kasutatakse partitsioonide lisamiseks teemale, mida on vaja teema andmemahu kasvu käsitlemiseks. Kuid pange tähele, et teema loomisel peame määrama partitsioonid. See tööriist võimaldab meil lisada lisatud sektsioonide jaoks käsitsi koopiad.
3. Mitmesugused tööriistad
Nüüd arutame mõnda mitmesugust tööriista:
a. Kafka-teemade tööriist
Seda tööriista kasutatakse teemade loomiseks, loetlemiseks, muutmiseks ja kirjeldamiseks.
Näide: Teema loomine: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-konsooli-tarbija tööriist
Seda tööriista saab kasutada Kafka teemade andmete lugemiseks ja standardväljundisse kirjutamiseks
Näide: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Kafka-konsooli-tootja tööriist
Seda tööriista saab kasutada andmete kirjutamiseks standardväljundist Kafka teemaga.
Näide: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Kafka-tarbijarühmade tööriist
Seda tööriista saab kasutada kõigi tarbijarühmade loetlemiseks, tarbijarühma kirjeldamiseks, tarbijarühma teabe kustutamiseks või tarbijarühma nihke lähtestamiseks. Seda tööriista kasutatakse peamiselt tarbijarühmade kirjeldamiseks ja tarbijate tasakaalustamisega seotud probleemide silumiseks.
Näide: tagatiseta klastri bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name vaatamine: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka arhitektuur
Kafka Tööriistade erinevad komponendid
Kafka peamised komponendid on järgmised:
1. Maakler
Kafka klastri iga sõlm on vahendaja, kes andmeid salvestab. Tavaliselt on koorma õigeks tasakaalustamiseks mitu maaklerit. Maakler salvestab sõnumeid teemadena, millele pääsevad ligi tootjad (kirjutamiseks) ja tarbijad (lugemiseks). Teemad luuakse selleks, et eraldada ühe rakenduse andmed teisest. Kuna maaklerid on kodakondsuseta, vajavad nad klastri oleku säilitamiseks loomapidaja abi. Üks maakler saab TB-de sõnumitega hakkama ilma, et see mõjutaks toimivust. Kafka maakleri juhi valimised teeb loomaaednik.
2. Lavastaja
See on üksus, mis edastab maakleritele sõnumeid. Andmeid saab genereerida väga suure kiirusega ja üksteisest sõltumatult mitu tootjat. Tootjad ei saa maakleritelt kinnitust ja saadavad andmeid maakleritöötluse kiirusega. Nad saavad maakleritest otsida ja sõnumeid saata kohe, kui maaklerid tegutsevad. Produtsendil on kohustus valida, millise sõnumi teemale millisele sektsioonile määrata. Seda saab teha ümarhaaval lihtsalt koormuse tasakaalustamiseks või seda saab teha vastavalt mõnele semantilisele partitsioonifunktsioonile (ütleme mõne sõnumi võtme põhjal).
3. Loomaaednik
Maaklereid haldab ja koordineerib üksus. Loomaaiapidaja teatab tootjale või tarbijale maakleri lisamise või ebaõnnestumise korral. Iga maakler saadab loomaaia pidajale regulaarselt südametegevuse taotlusi, kuni ta on elus. Loomaaiapidaja säilitab teavet ka teemade ja tarbijate kompenseerimiste kohta.
4. Tarbija
See on üksus, mis loeb teemade sõnumeid. Tarbija saab tellida ja lugeda mitut teemat. Tarbija saab töötada paralleelselt teiste tarbijatega (sel juhul loeb iga sektsiooni ainult üks tarbija), moodustades tarbijarühma. See ei tööta sünkroonis tootjatega. Tarbija peab partitsioonihüvitise abil säilitama, kui palju sõnumeid ta on lugenud. Kui tarbija aktsepteerib konkreetset partitsiooni nihet, tähendab see, et partitsioonis olevad varasemad teated on juba ära kasutatud.
Järeldus
Selles artiklis oleme õppinud, kuidas kasutada erinevaid Kafka tööriistu Kafka klastri tõhusaks haldamiseks. Samuti oleme õppinud tundma Kafka ökosüsteemi erinevaid komponente ja seda, kuidas nad üksteisega suhtlevad.
Soovitatavad artiklid
See on Kafka tööriistade juhend. Siin käsitleme Kafka tööriistade tüüpe, Kafka erinevaid komponente koos Kafka arhitektuuriga. Lisateabe saamiseks võite vaadata ka järgmist artiklit -
- Parimad Kafka rakendused
- Suurandmete arhitektuuri selgitus
- Parimad andmeteaduse tööriistad
- Erinevused Kafka vs Spark vahel