Siit saate teada 10 parimat erinevust MapReduce vs lõnga vahel

Erinevus kaardi vähendamise ja lõnga vahel

Lõng tähistab veel ühte ressursi läbirääkijat, see on uus ressursside (mälu ja protsessori) haldamise raamistik. See aitab meil arendada mis tahes tüüpi hajutatud rakendusi, pakub meile vajalikke deemoneid ja API-sid. Lõnga veel üks oluline omadus on see, et see haldab ja ajastab rakenduse ressursinõudeid ning aitab protsessil taotlust täita. YARN on üldine platvorm mis tahes hajutatud rakenduste käitamiseks, Map Reduce versioon 2 on hajutatud rakendus, mis töötab YARNi peal. Kui Map reduct on Hadoopi komponendi töötlemisüksus, töötleb see andmeid paralleelselt hajutatud keskkonnas. Nii et põhimõtteliselt vähendab tohutu andmekomponendi töö kaardistamine, töötleb see andmeid ja talletab HDFS-is selliselt, et väljavõtmine on lihtsam kui traditsiooniline salvestus.

Võrrelge MapReduce'i ja lõnga vahel (infograafika)

Allpool on esitatud MapReduce'i ja lõnga 10 parimat võrdlust

Põhiline erinevus MapReduce'i ja lõnga vahel

Rakenduses Hadoop 1 on sellel kaks komponenti, millest esimene on HDFS (Hadoopi hajutatud failisüsteem) ja teine on Map Reduce. Kui Hadoop 2-l on sellel ka kahekomponendiline HDFS ja YARN / MRv2 (tavaliselt kutsume YARNi kui Map redigeeri versiooni 2).
Kui funktsioon Map Reduce lõpetab Map-redukti töö, siis lakkab automaatselt töötamast kõik tema alluv sõlmed - see on üks stsenaarium, kus töö täitmine võib katkeda ja seda nimetatakse üheks tõrkepunktiks. YARN ületab selle probleemi oma ülesehituse tõttu, YARNil on nii aktiivse nimesõlme kui ka ooterežiimi nimesõlm. Kui aktiivne sõlm mõneks ajaks lakkab töötamast, alustab passiivne sõlm aktiivse sõlme tööd ja jätkab täitmist.
Map redigeerimisel on üks põhi- ja mitmekordne alamarhitektuur. Kui ülem-alluv läheb alla, lõpetab kogu ori töötamise, see on HADOOP1 rikke üksikpunkt, samas kui lõnga YARN arhitektuuril põhinev HADOOP2 on sellel mitme pea- ja alamsüsteemi mõiste, kui üks meister alla läheb, jätkab teine meister oma protsessi ja jätkab täitmist.
Nagu näeme alloleval diagrammil, on erinevus nii ökosüsteemides HADOOP1 kui ka HADOOP2. Komponentide tark lõngaressursside haldus haldab Map-csökkent ja HDFS-i.

Nii et põhimõtteliselt vastutab YARN ressursside haldamise vahendite eest, millise töö täidab see, mille järgi süsteem saab otsustada, samas kui map vähendamine on programmeerimisraamistik, mis vastutab konkreetse töö täitmise eest, nii et põhimõtteliselt map-reduktsioonil on kaks komponenti mapper ja reduktor programmi täitmiseks.

Kaardis vähendage iga andmesõlme käitamist eraldi, samas kui lõngas töötab iga andmesõlme sõlmehaldur.
Kaardi vähendamine kasutab töö jälgija abil tööülesannete jälgijale ülesande loomiseks ja määramiseks andmete tõttu, ressursi haldamine ei ole muljetavaldav, kuna osa andmetesõlmedest jääb jõude jõude ja pole mingit kasu, samas kui rakenduses YARN on iga ressursihaldur klastrisse ja iga andmesõlm juhib sõlmehaldurit. Iga töö jaoks töötab üks alamsõlm rakenduseülemana, jälgides ressursse / ülesandeid.

MapReduce vs lõnga võrdlustabel

Võrdluse alus	Lõng	Kaart Vähenda
Tähendus	YARN tähistab veel ühte ressursiläbirääkijat.	Map Reduce on ise määratletud.
Versioon	Tutvustage Hadoopis 2.0	Tutvustage Hadoopis 1.0
Vastutus	Nüüd vastutab ressursside haldamise eest YARN.	Varasem Map redukt vastutas ressursside haldamise ja andmetöötluse eest
Täitmismudel	Lõnga täitmise mudel on üldisem, kui võrrelda programmi Map vähendamisega	Võrreldes lõngaga vähem üldist.
Taotluse täitmine	Lõng saab käivitada ka neid rakendusi, mis ei järgi Map Reduce mudelit	Map Reduce saab käivitada oma mudelipõhise rakenduse.
Arhitektuur	YARN tutvustatakse MR2-s tööotsija ja ülesande jälgija peal. Tööotsija ja ülesandejälgija rakenduse asemele tuleb pilt kapten.	MR1 varasemas versioonis lõnga YARN ei ole. Lõnga asemel on töölõng ja tööülesannete jälgija, mis aitavad rakenduse või tööde täitmisel
Paindlikkus	Lõng on isoleeritum ja mastaapsem	Võrreldes lõngaga vähem skaleeritav.
Deemonid	YARN-il on nimesõlm, andmesõlm, teisene nimesõlm, ressursihaldur ja sõlmehaldur.	Kaardil Vähenda on nimesõlm, andmesõlm, teisese nime sõlm, töö jälgija ja töö jälgija.
Piirang	LÕNNAS puudub üksiku tõrkepunkti kontseptsioon, kuna sellel on mitu meistrit, nii et kui üks ebaõnnestus, võtab teine meister selle üles ja jätkab täitmist.	Üks rikkepunkt, madal ressursikasutus (YAHOO poolt maksimaalselt 4200 klastrit) ja vähem mastaapsust, võrreldes JUHNIGA
Suurus	Vaikimisi on YARN-i andmesõlme suurus 128 MB	Vaikimisi on Map redigeerimise andmesõlme suurus 64 MB.

Järeldus - MapReduce vs lõng

Hadoop 1-s, mis põhineb Map Reduce'il, on mitu probleemi, mis Hadoop 2-s lõngaga üle saada. Nagu Hadoopis 1, vastutab ressursside haldamise eest töö jälgija, kuid YARN-il on ressursside halduri ja sõlmehalduri kontseptsioon, mis võtab ressursside haldamise. Map redigeerimisel on üks tõrkepunkt, st tööotsija. Kui tööotsija lakkab töötamast, peame kogu oma klastri taaskäivitama ja uuesti oma ülesande täitma. Päris stsenaariumi korral ei taha ükski organisatsioon sellist riski võtta, eriti pangakaitsesektoris. Selline organisatsioon, mis töötab andmete sujuvamaks muutmise nimel, ei ole valmis sellist riski võtma. Mõne minuti pärast kaotavad nad oma andmed ja võivad avaldada ettevõttele kriitilist mõju. Nii et rakendusel YARN on Map-vähendamisega võrreldes parem tulemus.

Soovitatav artikkel

See on olnud juhend MapReduce vs lõnga kohta, nende tähendus, võrdlus pea vahel, peamised erinevused, võrdlustabel ja järeldus. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -