Sissejuhatus tarude käskudesse

Hive-käsk on andmelao infrastruktuuri tööriist, mis asub Hadoopi kohal suurte andmete kokkuvõtmiseks. See töötleb struktureeritud andmeid. See muudab andmete pärimise ja analüüsimise lihtsamaks. Taru käsku nimetatakse ka „lugemise skeemiks“. Taru ei kontrolli andmeid laadimisel, kinnitamine toimub ainult päringu väljastamisel. See taru omadus muudab selle kiire laadimise kiireks. See on nagu faili kopeerimine või lihtsalt teisaldamine ilma piiranguid ja kontrollimisi seadmata. Taru töötas esmakordselt välja Facebook. Apache Tarkvara Sihtasutus võttis selle hiljem kasutusele ja arendas edasi.

Siin on käsu Hive komponendid:

Joonis 1. Taru komponendid

https://www.developer.com/

Siin on allpool loetletud käsu Taru omadused:

  1. Tarude kauplused on Hadoopis töötlemata ja töödeldud andmestik.
  2. See on loodud veebipõhiseks tehingute töötlemiseks (OLTP). OLTP on süsteemid, mis hõlbustavad suure hulga andmete edastamist väga vähese ajaga ilma ühe serveri lootuseta.
  3. See on kiire, skaleeritav ja usaldusväärne.
  4. Siin pakutavat SQL-tüüpi päringkeelt nimetatakse HiveQLiks või HQL-ks. See muudab ETL-i ülesanded ja muu analüüsi lihtsamaks.

Joonis 2. Taru omadused

Allikate pildid: - Google

Taru käsklusel on ka mõned piirangud, mis on loetletud allpool:

  1. Taru ei toeta alamsüüdimisi.
  2. Taru toetab kindlasti ülekirjutamist, kuid kahjuks ei toeta see kustutamist ja värskendusi.
  3. Taru pole OLTP jaoks mõeldud, kuid seda kasutatakse selleks.

Taru interaktiivse kesta sisestamiseks toimige järgmiselt.

$ HIVE_HOME / prügikast / taru

Tarude põhikäsud

  1. Loo

See loob tarus uue andmebaasi.

  1. Tilk

Tilk eemaldab laua Tarust

  1. Alter

Käsk Alter aitab teil tabeli või tabeli veerud ümbernimetada.

Näiteks:

taru> ALTER TABLE töötaja RENAME TO töötaja1;

  1. Näita

Kuva käsk näitab kõiki tarus asuvaid andmebaase.

  1. Kirjelda

Käsk Kirjelda aitab teavet tabeli skeemi kohta.

Tarude vahelised käsud

Taru jagab tabeli veergude põhjal erinevalt seotud partitsioonideks. Neid sektsioone kasutades on andmete küsimine lihtsam. Need partitsioonid jagunevad veelgi ämbriteks, et tõhusalt päringuid andmetele käivitada.

Teisisõnu jaotavad ämbrid andmed klastrite komplekti, arvutades päringus mainitud võtme räsikoodi.

  1. Partitsiooni lisamine

Partitsiooni lisamise saab teha tabeli muutmisega. Oletagem, et teil on tabel „EMP”, väljadega nagu ID, nimi, palk, osakond, määramine ja yoj.

taru> ALTER TABLE töötaja

> LISA OSAKOHT (aasta = '2012')

asukoht '/ 2012 / part2012';

  1. Partitsiooni ümbernimetamine

taru> ALTER TABLE töötajate OSALUS (aasta = '1203')

RENAME PARTITION (Yoj = '1203');

  1. Drop vahesein

taru> ALTER TABLE töötaja tilk (kui on)

> OSAKOND (aasta = '1203');

  1. Suhteoperaatorid

Suhtekorraldajad koosnevad teatud operaatorite komplektist, mis aitab asjakohast teavet hankida.

Näiteks: öelge, et teie EMP-tabel näeb välja selline:

Teostame taru päringu, mis toob meile töötaja, kelle palk on suurem kui 30000.

taru> VALI * EMP-st, kus palk> = 40000;

  1. Aritmeetikaoperaatorid

Need on operaatorid, kes aitavad operandidel aritmeetilisi toiminguid teostada, ja tagastavad omakorda alati numbritüübid.

Näiteks: kahe numbri lisamiseks, näiteks 22 ja 33

taru> SELECT 22 + 33 ADD FROM temp;

  1. Loogiline operaator

Need operaatorid peavad teostama loogilisi toiminguid, mis vastutasuks tagastavad alati tõese / vale.

taru> VALI * EMP-st, kus palk> 40000 && Dept = TP;

Tarude täpsemad käsud

  1. Vaade

Vaate kontseptsioon tarus on sarnane nagu SQL-is. Vaate saab luua SELECT-avalduse täitmise ajal.

Näide:

taru> CREATE VIEW EMP_30000 AS

VALI * EMP-st

KUS palk> 30000;

  1. Andmete laadimine tabelisse

Taru> Laadige tabelisse olekutesse lokaalne sissejuhatus '/home/hduser/Desktop/AllStates.csv';

Siin on „Riigid” tarus juba loodud tabel.

https://www.tutorialspoint.com/hive/

Tarul on mõned sisseehitatud funktsioonid, mis aitavad teil tulemust paremal viisil tuua.

Nagu ümar, põrand, BIGINT jne.

  1. Liitu

Liitumisklausel võib aidata sama veeru nime põhjal kahe tabeli ühendamisel.

Näide:

taru> VALI c.ID, c.NAME, c.AGE, o.AMOUNT

KLIENTIDEST c ÜHINENUD TELLIMUSTEGA o

SEES (c.ID = o.CUSTOMER_ID);

Taru toetab igasuguseid liitumisi: Vasak väline liitumine, parem väline liitmine, täielik väline liitumine.

Nõuanded tarude käskude kasutamiseks

Hive muudab andmetöötluse lihtsaks, arusaadavaks ja laiendatavaks, et kasutaja pööraks taru päringute optimeerimisele vähem tähelepanu. Kuid kui taru päringu kirjutamisel tähelepanu pöörata mõnele asjale, toob see kindlasti töökoormuse haldamisel ja raha säästmisel kindlasti suurt edu. Allpool on mõned näpunäited selle kohta:

  1. Vaheseinad ja kopad: taru on suur andmetööriist, mis saab päringuid teha suurtest andmekogumitest. Päringu kirjutamine domeenist aru saamata võib Hive'is aga suurepäraseid vaheseinu tuua.

Kui kasutaja on andmestikust teadlik, võib vastavad ja laialt kasutatud veerud grupeerida samasse sektsiooni. See aitab päringut kiiremini ja ebatõhusamalt käitada.

Lõppkokkuvõttes ei. Samuti väheneb kaardistaja ja I / O operatsioonide arv.

Joonis 3. Jaotumine

Allikate pildid: Google'i pilt

Joonis 4 Koppimine

Allikate pildid: - Google'i pilt

  1. Paralleelne täitmine: taru töötab päringut mitmes etapis. Mõnel juhul võivad need etapid sõltuda teistest etappidest, seega ei saa alustada, kui eelmine etapp on lõpule viidud. Üldise tööaja kokkuhoidmiseks võivad iseseisvad ülesanded siiski toimida paralleelselt. Paralleelsõidu lubamine tarus:

sea ​​hive.exec.parallel = true;

Seega suurendab see klastri kasutamist.

  1. Valimi blokeerimine: tabelist andmete valimine võimaldab uurida andmete päringuid.

Vaatamata koputamisele soovime pigem proovida andmekogumit juhuslikumalt. Plokkide proovivõtmisel on kaasas erinev võimas süntaks, mis aitab andmete valimist mitmel viisil.

Proovivõtteid saab kasutada u. teave andmestikust, näiteks keskmine vahemaa lähte ja sihtkoha vahel.

Kui küsite 1% suurandmetest, saate täpse vastuse. Uurimine muutub lihtsamaks ja tõhusamaks.

Järeldus - tarude käsud

Taru on kõrgema taseme abstraktsioon HDFS-i peal, mis pakub paindlikku päringkeelt. See aitab hõlpsamalt päringuid teha ja andmeid töödelda.

Taru saab oma funktsionaalsuse täieõiguslikuks kasutamiseks koondada teiste suurte andmeelementidega.

Soovitatavad artiklid

See on olnud tarude käskude juhend. Siin oleme arutanud nii taru põhikäske kui ka täiustatud käske ja mõnda vahetut taru käsku. Lisateabe saamiseks võite vaadata ka järgmist artiklit -

  1. Taru intervjuu küsimused
  2. Hive VS Hue - 6 parimat kasuliku võrdlust
  3. Tableau käsud
  4. Adobe Photoshopi käsud
  5. Funktsiooni ORDER BY kasutamine tarus
  6. Laadige taru alla ja installige samm-sammult

Kategooria:

Suured andmed