Sissejuhatus TA-sse
Elastsete hajutatud andmete (RDD) komplekti põhifunktsioonide mõistmiseks on oluline teada Sparki põhitõdesid. See on Sparki peamine komponent. Spark on andmetöötlusmootor, mis pakub kiiremat ja lihtsamat analüüsi. Spark töötleb mälusiseseid elastsete hajutatud andmekogumite abil. See tähendab, et see püüab suurema osa andmetest mällu. See aitab hallata andmete hajutatud töötlemist. Pärast seda saab hoolitseda ka andmete ümberkujundamise eest. Iga RDD andmestik jagatakse esiteks loogilisteks osadeks ja seda saab arvutada klastri erinevatel sõlmedel.
Definitsioon
Elastsed hajutatud andmekogumid on Sparki põhikomponent. Iga andmekogum on jagatud loogilisteks osadeks ja neid saab hõlpsalt arvutada klastri eri sõlmedes. Neid saab juhtida paralleelselt ja need on tõrkekindlad. RDD-objekte saab luua Pythoni, Java või Scala abil. See võib hõlmata ka kasutaja määratletud klasse. Kiirema, tõhusa ja täpse tulemuse saamiseks kasutab Spark RDD-d. RDD-sid saab luua kahel viisil. Sellega saab paralleelselt ühendada oma Spark Context draiveri programmi olemasoleva kollektsiooni. Teiseks viisiks võib olla andmestiku viitamine välisele salvestussüsteemile, milleks võib olla HDFS, HBase või mis tahes muu Hadoopi failivorminguga allikas.
Mõistmine
Selle paremaks mõistmiseks peame teadma, kuidas need erinevad ja mis on eristavad tegurid. Allpool on toodud mõned tegurid, mis eristavad RDD-sid.
1. Mälus: see on RDD kõige olulisem omadus. Loodud objektide kogum salvestatakse ketta mällu. See suurendab Sparki täitmiskiirust, kuna andmeid tõmmatakse mälus olevatelt andmetelt. Ühegi toimingu jaoks pole vaja andmeid kettalt tõmmata.
2. Laisk hinnang: Sparki transformatsioon on laisk. RDD-s saadaolevaid andmeid ei täideta enne, kui nendega on tehtud mõni toiming. Andmete saamiseks saab kasutaja kasutada RDD-l toimingut count ().
3. Vahemälu lubamine: kuna RDD-d hinnatakse laiskalt, tuleb hinnata nende suhtes tehtavaid toiminguid. See viib kõigi teisenduste jaoks RDD-de loomiseni. Andmed võivad püsida ka mälus või kettal.
Kuidas teeb RDD töötamise nii lihtsaks?
RDD võimaldab teil hoida kõiki sisendfaile nagu iga teine olemasolev muutuja. Map Reduce'i abil pole see võimalik. Need RDD-d jaotatakse saadaolevas võrgus automaatselt partitsioonide kaudu. Kui toiming teostatakse, käivitatakse ülesanne partitsiooni kaupa. See soodustab parallelismi, seda enam, kui palju partitsioone on, seda rohkem paralleelsust. Vaheseinad määrab automaatselt Spark. Kui see on tehtud, saavad RDD-d teha kaks toimingut. See hõlmab toiminguid ja muutusi.
Mida saate teha RDD-ga?
Nagu eelmises punktis mainitud, saab seda kasutada kahe toimingu jaoks. See hõlmab toiminguid ja muutusi. Ümberkujundamise korral luuakse olemasolevast andmekogumist uus andmekogum. Iga andmekogum edastatakse funktsiooni kaudu. Tagastamisväärtusena saadab see uue RDD.
Teisest küljest tagastavad toimingud programmi väärtuse. See arvutab vajaliku andmekogumi. Siin toimingu tegemisel uut andmekogumit ei looda. Seetõttu võib neid nimetada RDD operatsioonideks, mis tagastavad mitte-RDD väärtused. Need väärtused salvestatakse kas välistes süsteemides või draiverites.
Töö RDD-ga
Tõhusaks tööks on oluline järgida järgmisi samme. Alustades andmefailide hankimisest. Neid saab hõlpsasti importimiskäsu abil. Kui see on tehtud, on järgmine samm andmefailide loomine. Tavaliselt laaditakse andmed RDD-sse faili kaudu. Selle saab luua ka paralleelimiskäsu abil. Kui see on tehtud, saavad kasutajad hõlpsalt hakata erinevaid ülesandeid täitma. Teisendused, mis hõlmavad filtri teisendamist, kaardi teisendamist, kus kaarti saab kasutada ka eelnevalt määratletud funktsioonidega. Samuti saab läbi viia erinevaid toiminguid. Nende hulka kuulub tegevuste kogumine, toimingute loendamine, toimingute tegemine jne. Kui RDD on loodud ja põhilised teisendused on tehtud, võetakse RDD-st proovid. Selle teostamiseks kasutatakse proovi teisendamist ja proovi võtmist. Transformatsioonid aitavad järjestikuste transformatsioonide rakendamisel ja toimingud aitavad antud proovi hankida.
Eelised
Järgmised on peamised omadused või eelised, mis eristavad RDD-sid.
1. Muutumatu ja jaotatud : kõik kirjed jagunevad ja seetõttu on RDD paralleelsuse põhiüksus. Iga partitsioon on loogiliselt jagatud ja muutumatu. See aitab saavutada andmete järjepidevust.
2. Jämedateralised toimingud: neid toiminguid rakendatakse kõigile andmestikus sisalduvatele elementidele. Täpsustamiseks, kui andmekogumil on toiminguga kaart, filter ja rühm, siis teostatakse need kõigi selles partitsioonis olevate elementidega.
3. Ümberkujundamine ja toimingud: pärast toimingute loomist saab andmeid lugeda ainult stabiilsest salvestusruumist. See hõlmab HDFS-i või muutes olemasolevaid RDD-sid. Toiminguid saab teha ja eraldi salvestada.
4. Veatolerants: see on selle kasutamise peamine eelis. Kuna luuakse teisenduste komplekt, logitakse kõik muudatused ja pigem ei eelistata tegelikke andmeid muuta.
5. Püsivus: seda saab uuesti kasutada, mis muudab nad püsima.
Vajalikud oskused
RDD jaoks peab teil olema põhiline idee Hadoopi ökosüsteemi kohta. Kui teil on idee, saate Sparkist hõlpsasti aru saada ja RDD mõisteid tundma õppida.
Miks peaksime RDD-d kasutama?
Teadus- ja arendustegevus on linna jutt peamiselt seetõttu, et see töötleb tohutul hulgal andmeid. RDD-d on püsivad ja tõrketaluvused, mis muudab andmed vastupidavaks.
Reguleerimisala
Sellel on palju ulatusi, kuna see on üks tärkava tehnoloogiaid. RDD-st aru saades saate hõlpsalt teadmisi tohutu hulga andmete töötlemise ja talletamise kohta. Kuna tegemist on ehitusplokiga, on RDD-le jäämine kohustuslik.
Vajadus RDD järele
Andmetoimingute kiireks ja tõhusaks teostamiseks kasutatakse RDD-sid. Mälusisene kontseptsioon aitab andmeid kiireks saada ja korduvkasutatavus muudab selle efektiivseks.
Kuidas aitab TTA karjäärikasvu edendada?
Seda kasutatakse laialdaselt andmetöötluses ja analüütikas. Kui olete RDD õppinud, saate töötada Sparkiga, mis on tänapäeval tehnoloogia jaoks väga soovitatav. Saate hõlpsalt paluda tõsta ja taotleda ka kõrgepalgalisi töökohti.
Järeldus
Kokkuvõtteks võib öelda, et kui soovite jääda andmemajandusse ja analüütikasse, on see kindlasti plusspunkt. See aitab teil töötada paindlikkusega ja tõhususega uusimate tehnoloogiatega.
Soovitatavad artiklid
See on olnud teemaks Mis on RDD ?. Siin arutasime TTA kontseptsiooni, ulatust, vajadust, karjääri, mõistmist, töötamist ja eeliseid. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Mis on virtualiseerimine?
- Mis on suurandmete tehnoloogia
- Mis on Apache Spark?
- OOP eelised