Mis on taru funktsioon?
Nagu me täna teame, on Hadoop üks suurandmetes kasutatavaid mitmekülgseid tehnoloogiaid. Hadoop suudab hakkama saada suure andmestikuga, kuid kuna andmete kasv on proportsionaalne, siis kaardistamise vähendamise programmide kirjutamine muutub keeruliseks. HDFS-is esineva SQL-i päringute tegemiseks võttis Hadoop kasutusele ühe sellise tehnoloogia, mille nimi on apache Hive, mille käivitas Facebook. Tarusid kasutab andmeanalüütik väga. Neid kasutatakse kolme funktsiooni jaoks: nimelt andmete kokkuvõte, hajutatud faili andmete analüüs ja päring. Taru pakub SQL-i päringuid, mida nimetatakse HQL - kõrge päringuga keel toetab DML-i kasutaja määratletud funktsioone. Tarude kompilaator teisendab selle päringu sisemiselt kaardi vähendamise töödeks, mis lihtsustab Hadoopi tööd keerukate programmide kirjutamisel. Taru võiksime leida sellistes rakendustes nagu andmelaondus, andmete visualiseerimine ja ad-hoc analüüs, google analytics. Peamine eelis on see, et nad kasutavad SQL-teadmisi, mis on põhioskused, mida rakendavad kõik andmeteadlased ja tarkvaraasjatundjad.
Taru erinevad funktsioonid detailselt
Taru toetab erinevaid andmetüüpe, mida teistes andmebaasisüsteemides ei leidu. see sisaldab kaarti, massiivi ja struktuuri. Tarul on mõned sisseehitatud funktsioonid mitmete eriotstarbeliste matemaatiliste ja aritmeetiliste funktsioonide täitmiseks. Taru funktsioonid võib liigitada järgmistesse tüüpidesse. Need on sisseehitatud funktsioonid ja kasutaja määratletud funktsioonid.
A) Sisseehitatud funktsioonid
Need funktsioonid eraldavad andmed tarude tabelitest ja töötlevad arvutusi. Mõned sisseehitatud funktsioonid on:
1. Matemaatilised / numbrilised funktsioonid
Neid funktsioone kasutatakse peamiselt matemaatiliste arvutuste tegemiseks. Neid funktsioone kasutatakse SQL-i päringutes.
| Funktsiooni nimi | Näide | Kirjeldus |
| ABS (topelt x) | Taru> valige tmp hulgast ABS (-200); | See tagastab arvu absoluutse väärtuse. |
| CEIL (topelt x) | Taru> valige tmp hulgast CEIL (8.5); | See toob väikseima täisarvu, mis on suurem või võrdne väärtusega x. |
| Rand (), rand (int seeme) | Taru> vali tmp hulgast Rand ();
Rand (0–9) | See tagastab juhusliku arvu, olenevalt seemne väärtusest, et genereeritud juhuslikud numbrid oleksid deterministlikud. |
| Pow (topelt x, topelt y) | Taru> vali tmp hulgast Pow (5, 2); | See tagastab y-väärtusele tõstetud x-väärtuse. |
| KORRUS (kahekordne y) | Taru> vali tmp alt korrus (11.8); | Tagastab maksimaalse täisarvu, mis on väiksem või võrdne, et anda väärtus y. |
| EXP (topelt a) | Taru> valige tmp hulgast Exp (30); | Tagastab eksponendi väärtuse 30. loodusliku algoritmi väärtused. |
| PMOD (int a, int b) | Taru> vali tmp hulgast PMOD (2, 4); | See annab numbri positiivse mooduli. |
2. Kogumise funktsioonid
Kõigi elementide koondamine ja üksikute elementide tagastamine sõltub kaasatud andmetüübist.
| Funktsiooni nimi | Näide | Kirjeldus |
| Map_values (kaart) | Taru> valige kaardi väärtused ('hi', 45) | See tõmbab järjestamata massiivi elemente. |
| Suurus (kaart) | Taru> vali suurus (kaart) | Tagastab elementide arvu andmetüübi kaardil. |
| Array_contains (massiiv b) | Taru> vali massiiv_konteinerid (a (10)) | Tagastab väärtuse TRUE, kui massiiv sisaldab väärtust. |
| Sort_array (massiiv a) | Taru> valige sortimismass ((10, 3, 6, 1, 7)) | Sorteerib sisendmassiivi kasvavas järjekorras vastavalt massiivi elementide loomulikule järjestamisele ja tagastab väärtuse. |
3. Keelte funktsioonid
Stringifunktsioonide abil toimub andmete analüüs suurepäraselt.
| Poolita (stringid, stringid) | Taru> valige jagatud ('Educba ~ taru ~ Hadoop, ' ~ ') väljund: („izglītba”, „taru”, „Hadoop”) | See jagab stringi pat-avaldiste ümber ja tagastab massiivi. |
| koormus (nöörid, int Len, keelpadi) | Taru> valige koormus ('EDUCBA', 6, 'H') | Tagastab stringi pikkusega parempoolse polstriga stringid. (padi märk). |
| Pikkus (stringi stringi) | Taru> valige pikkus ('izglītba') | See funktsioon tagastab stringi pikkuse. |
| Rtrim (string a) | Taru> vali rtrim ('TEEMA');
Väljund: 'teema' | See tagastab tulemuse, kärpides tühikuid paremast otsast. |
| Concat (nöör m, nöör n) | Taru> valige concat ('andmed', 'nõud') Tulemus: andmetöötlus | Selle tulemuseks on string, ühendades kaks stringi, see võib võtta suvalise arvu sisendeid. |
| Tagurpidi (stringid) | Taru> vali tagurpidi ('mobiil') | Tagastab vastupidise stringi tulemuse. |
4. Kuupäeva funktsioon
Tarus peab olema andmevorming, et väljundis ei tekiks viga. Taruga tutvustatud kuupäevafunktsioonidega on vajalik kuupäeva ühilduvus.
| Unix_timestamp (Stringi kuupäev, stringi muster) | Taru> valige Unix_ ajatempel ('2019-06-08', 'aaaa-kk-pp'); Tulemus: 124576 400 aeg: 0, 146 sekundit | See funktsioon taastab kuupäeva kindlale vormingule ja tagastab sekundid kuupäeva ja Unixi aja vahel. |
| Unix_timestamp (stringi kuupäev) | Taru> valige Unix_ ajatempel ('2019-06-08 09:20:10', 'aaa-kk-pp'); | See tagastab kuupäeva vormingus 'aaaa-kk-pp HH: mm: ss' Unixi ajatemplisse. |
| Tund (stringi kuupäev) | Taru> valige tund ('2019-06-08 09:20:10'); tulemus: 09 tundi | Tagastab ajatempli tunni |
5. Tingimuslikud funktsioonid
| Kui (tõeväärtuse test, T väärtus tõene, t vale) | Taru> valige IF (1 = 1, 'TRUE', 'FALSE') kui IF_CONDITION_TEST; | See kontrollib tingimusega, kas väärtus tõene tagastab 1 ja vale tagastab 0. |
| Ei ole olematu (b) | Hive> Select ei ole olematu (null); | See ei tõmba tühiseid avaldusi. kui null tagastab vale. |
| Ühenda (väärtus1, väärtus2) | Näide: taru> valige ühiskasutus (null, null, 4, null, 6). see tagastab 4. | See tõmbab kõigepealt väärtuste loendist mitte nullväärtusi. |
B) Kasutaja määratletud funktsioon (UDF)
Taru kasutab kasutajapõhiseid funktsioone vastavalt kliendi nõudmistele, mis on kirjutatud Java programmeerimisse. Seda rakendavad kaks liidest, nimelt lihtne API ja keeruline API. Neid kutsutakse tarupäringust. Kolm tüüpi UDF-sid:
1. Tavaline UDF
See töötab ühe reaga laual. Selle loomiseks luuakse Java-klass, seejärel pakitakse need .jar-faili, järgmine samm on kinnitamine taru klassiteega. siis viies nad lõpuks läbi tarupäringu.
2. Kasutaja määratletud agregaatfunktsioon
Nad kasutavad liitfunktsioone nagu avg / keskmine, rakendades viit meetodit init (), iterate (), osaline (), merge (), terminate ().
3. Kasutaja määratletud tabel funktsioonide genereerimiseks
See töötab tabelis ühe reaga ja tulemuseks on mitu rida.
Järeldus
Kokkuvõtteks oleme selle artikli kaudu õppinud, kuidas töötada sisseehitatud funktsioonide ja kasutaja määratletud funktsioonidega taruplatvormil. Enamikul organisatsioonidel on serveripoolsel protsessil töötamiseks programmeerijad ja SQL-i arendajad, kuid apache-taru on võimas tööriist, mis aitab neil kasutada Hadoopi raamistikku, millel pole eelnevaid teadmisi programmide kohta ja kaardistada. Taru aitab uutel kasutajatel takistusteta andmete analüüsimist alustada ja uurida.
Soovitatavad artiklid
See on taru funktsiooni juhend. Siin käsitleme kontseptsiooni, kahte erinevat tüüpi funktsioone ja alamfunktsioone tarus. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Peamised keelpillifunktsioonid tarus
- Taru intervjuu küsimused
- Mis on RMAN Oracle?
- Mis on jugamudel?
- Sissejuhatus taruarhitektuuri
- Taru tellija