Sissejuhatus Hadoopi graafikutesse

Kui räägime Hadoopist, siis esimene asi, mis meile meelde tuleb, on suured andmed. Kuid kas me oleme kunagi mõelnud, et Hadoop pole iseenesest lihtsalt tehnoloogia, vaid hõlmab endas paljusid tööriistu ja tehnikaid, kuidas me siis suudame Hadoopi kaudu automaatselt soovitud eesmärgi saavutada. Sellele küsimusele saab vastata Hadoopi ajakavade abil.

See võimaldab süsteemi kõrgetasemelist töötlemist ja on tuntud ka kui üldotstarbeline süsteem, mis toimib andmete ja teabe kogumi levitamise tasemel. See on multitegumtöötlussüsteem, mida kasutatakse paljude kasutajate ja tööde samaaegsete andmekogumite töötlemiseks. Kui varem kasutati kõigi toimingute jaoks ainult ühte ajakava, siis nüüd on Hadoopi ajastajad need, mida kasutatakse koos JobTrackeri loogikaga ja mida toetab ka Hadoop.

4 parimat Hadoopi graafikute tüüpi

Hadoopi planeerijaid on mitut tüüpi, mida me sageli kasutame:

1. Hadoop Esiteks esimesel plaanijal

  • Nagu nimigi ütleb, on see üks vanimaid tööde planeerijaid, mis töötab põhimõttel „esimene sisse ja esimene välja”. Põhimõtteliselt, kui me räägime sellisest protsessist nagu JobTracker, siis räägime töökohtade tõmbamisest järjekorrast, mida sageli öeldakse kui tööjärjekorda.
  • Selle tööjärjekorra järgi on töö, mis on kõige vanem, st esimene, kes on esimene, saab ka esimene, kes täidetakse.
  • See usuti alati olevat palju lihtsam lähenemisviis kui muud sõiduplaani koostamise tehnikad ja seetõttu ei mõelnud selle tehnika kraapimisele palju uuemate lähenemisviiside leidmiseks, millel on paremad sõiduplaani koostamise võimalused, kuna need hõlmasid ka mõisteid suuruse ja töö prioriteedi kohta.

2. Hadoopi mahtuvuse planeerija

  • Hadoopi mahu planeerija sarnaneb enam-vähem FIFO lähenemisviisiga, välja arvatud see, et ta kasutab ka töö tähtsuse järjekorda seadmist. Kui me räägime sõiduplaani mitme kasutaja tasemest, valib see lähenemisviisi pisut teisiti.
  • On teada, et see ajastab ja simuleerib iga organisatsiooni või kasutaja jaoks eraldi MapReduce klastrit ning seda tehakse koos FIFO tüüpi ajakavaga.

3. Hadoopi messi tüüpi planeerija

  • Kui on vaja eraldada eraldi ja mõistlik kogus klastri mahutavust koos aja ja perioodiga, kasutame Hadoopi messi ajakava. See on abiks kõigi klastrite saamiseks isegi siis, kui konkreetne töö on töökorras.
  • Lisaks sellele pakutakse klastri kõik tasuta teenindusajad kõigile töödele viisil, et iga kasutaja saaks oma klastri osast normaliseeritud osa, kuna rohkem töökohti muutub kasulikuks esitamiseks.
  • Kui on bassein, mis ei ole veel mõistliku aja ja perioodi jooksul saanud oma osa õiglasest osast ja normaliseeritud aktsiat, siis tuleb kasutusele eelisõigus, mis tapab kõik ühendatud ülesanded ja on suuteline neid kogumeid pakkuma teenindusajad läbilaskevõime all sõitmiseks.
  • Lisaks sellele nimetatakse seda ka kaastöötlusmooduliks, mis tähendab, et Hadoopi juhtimis- ja õiglase planeerimisega kataloogi kopeerimisega lib-põhisesse kataloogi ja JAR-faili sobivasse kohta paigutamisega saab selle ajastamistehnika lubada. Ainuke asi, mida on vaja teha, on toiminguajasti atribuudi seadistamine mapred.FairSchedulerile.

4. Muud lähenemisviisid seoses planeerijaga

  • Hadoop tagab virtuaalsete klastrite pakkumise pakkumise, mis tähendab, et füüsiliste tegelike klastrite olemasolu on võimalik minimeerida ja seda tehnikat tuntakse HOD-na (Hadoop on Demand).
  • See kasutab pöördemomendil põhinevat ressursihaldurit, et hoida sõlme üleval ja selle jaotust vastavalt virtuaalse klastri vajadusele.
  • Seda kasutatakse koormuse ja süsteemi initsialiseerimiseks, mis põhineb konkreetsetel sõlmedel virtuaalse ja mitte füüsilise klastri sees ning samuti koos eraldatud sõlmedega, ainult siis, kui konfiguratsioonifailid on automaatselt ette valmistatud.
  • Pärast algseadistamist saab HOD-klastrit kasutada ka suhteliselt sõltumatul viisil. Lühidalt - nende suurte Hadoopi klastrite juurutamiseks kasutatav lühike mudel on pilveinfrastruktuuris ja seda nimetatakse HOD-ks. See jagab suhteliselt väiksemat arvu sõlme ja pakub seetõttu suuremat turvalisust.

Hadoopi planeerijate kasutamise olulisus

  1. Hadoopi ajakava koostaja tüüpide põhjal peaks olema selge, kus on nende Hadoopi ajakava koostaja tähtsus. Kui teil on koos mitme kliendiga suur klaster, millel on erinevad töö tüübid, erinevad prioriteedid ja suurused, valides oluliseks õige Hadoopi ajastaja.
  2. See on oluline, kuna see tagab tagatud juurdepääsu kasutamata võimsuse tasemele ja ressursside optimaalse kasutamise, eelistades töökohti järjekordades tõhusalt. Hadoopi ajastajate see osa on suhteliselt lihtne, kuna õiglaste ajakavade kasutamine on enamasti õige valik, kui ühes organisatsioonis töötavate klastrite arv ja tüüp on erinev.
  3. Seda õiglast planeerijat saab endiselt kasutada töökohtade kogumahu tagamiseks ja ebaühtlaseks jaotamiseks ning seda tehakse palju lihtsamalt ja konfigureeritumalt. Messide planeerimine tuleb appi ka siis, kui räägime mitmekesiste töökohtade olemasolust, kuna seda saab kasutada suurema reageerimise aja tagamiseks suhteliselt väiksemate töökohtade jaoks, mis on segatud suuremate töödega, ja nende tugi sisaldub mudelite interaktiivne kasutamine.
  4. Mahtuvuse planeerijad on abiks, kui muretsete tekkivate kogumite taseme asemel järjekordade pärast ning saadaval on ka kaardi konfigureeritav tase ja töökohtade vähendamise tüüpi teenindusajad ning järjekord võib endale lubada klastri garanteeritud mahu saavutamist.

Järeldus

Selles postituses lugesime Hadoopi planeerijate kohta, nende tähenduse, sissejuhatuse, Hadoopi ajastajate tüüpide, nende funktsioonide kohta ja õppisime ka nende Hadoopi ajastajate tähtsuse kohta. Kui tegemist on suurandmete ökosüsteemi ja keskkonnaga, siis on Hadoopi planeerijatest asi, millest sageli ei räägita, kuid millel on ülim tähendus ja mida ei saa endale lubada jätta selliseks, nagu ta on. Loodetavasti teile meeldis meie artikkel.

Soovitatavad artiklid

See on Hadoopi ajakava koostamise juhend. Siin käsitleme Hadoopi ajakava tutvustamist ja 4 parimat tüüpi koos selle kasutamise olulisusega. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -

  1. Kiigekomponendid Java-s
  2. JTabbedPane Java
  3. Kaitstud märksõna Java-s
  4. JTextArea Java

Kategooria: