Sissejuhatus Hadoop FS käskude loendisse

Hadoop töötab oma failisüsteemis, mis on olemuselt levitatud kui Hadoopi hajutatud failisüsteem HDFS. Hadoop tugineb hajutatud salvestusele ja paralleelsele töötlemisele. Seda faili klastris hajutatud kohtadesse salvestamise viisi nimetatakse Hadoopi hajutatud failisüsteemiks ehk HDFS. Erinevate toimingute tegemiseks faili tasemel pakub HDFS oma käskude komplekti, mida tuntakse Hadoopi failisüsteemi käskudena. Uurime neid käske. Selles teemas tutvume Hadoopi FS-i käsuga.

Hadoop FS käsud

Mis tahes HDFS-i käsul on eesliide “hdfs dfs”. See tähendab, et täpsustame, et vaikimisi failisüsteem on HDFS. Uurime käske ükshaaval

1. Versioonid

Versioonikäsku kasutatakse süsteemi installitud Hadoopi versiooni leidmiseks.

Süntaks: Hadoop version

2. ls käsk

Hadoopi käsku ls kasutatakse nimetatud tee kataloogis olevate kataloogide täpsustamiseks. Käsk ls võtab parameetriks hdfs tee ja tagastab tees olevate kataloogide loendi.

Süntaks: hdfs dfs -ls

Näide: hdfs dfs -ls / kasutaja / harsha

Rekursiivses režiimis saame kasutada ka -lsr

Süntaks: hdfs dfs –lsr

3. Kassi käsk

Käsu Cat kasutatakse faili sisu kuvamiseks konsoolil. See käsk võtab argumendina hdfs-faili tee ja kuvab faili sisu.

Süntaks: hdfs dfs -cat

Näide: hdfs dfs -cat /user /harsha/empnew.txt

4. käsk mkdir

käsku mkdir kasutatakse uue kataloogi loomiseks hdfs-failisüsteemis. See võtab argumendina hdfs tee ja loob määratud tee uue kataloogi.

Süntaks: hdfs dfs -mkdir

Näide: hdfs dfs -mkdir / kasutaja / näide

Ülaltoodud ekraanipildil on selgelt näidatud, et loome uue kataloogi nimega “näide”, kasutades käsku mkdir, ja sama näidatakse ka käsu ls abil.

Ka käsu mkdir jaoks võime anda valiku '-p'. See loob teele vanemkataloogid, kui need puuduvad.

Näide: hdfs dfs -mkdir -p / kasutaja / test / näide2

Ülaltoodud ekraanipildil on üsna ilmne, et meil on -p võimalus ja tee / kasutaja / test / näide2 jaoks luuakse nii testid kui ka näidete kataloogid.

5. pane käsk

pane käsk HDFS-i kasutatakse failide kopeerimiseks antud lähtekoha asukohast sihtkoha hdfs-i asukohta. Lähtekoht võib siin olla kohaliku failisüsteemi tee. käsk put paneb kaks argumenti, millest esimene on lähtekataloogi tee ja teine ​​on suunatud HDFS-i tee

Süntaks: hdfs dfs -put

Näide: hdfs dfs -put /home/harsha/empnew.txt / kasutaja / test / näide2

Ülaltoodud ekraanipildil näeme selgelt, et fail kopeeritakse lähtest sihtkohta.

6. käsk copyFromLocal

HDFS-i käsku copyFromLocal kasutatakse failide kopeerimiseks lähteteelt sihtpunkti. Selle käsu allikas on piiratud kohaliku failisüsteemiga

Süntaks: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example

Erinevus put käsu ja copyFromLocal käsu vahel: Nende kahe hdfs-i kestakäsu vahel pole suurt vahet. Neid mõlemaid kasutatakse kohalikust failisüsteemist kopeerimiseks, et sihtida HDFS-i failitee.

Kuid käsk put on kasulikum ja jõulisem, kuna see võimaldab mitu faili või kataloogi HDFS-i sihtkohta kopeerida

hdfs dfs -put

7. saada käsk

käsku get hdfs kasutatakse antud hdfs-faili või kataloogi kopeerimiseks sihtrühma lokaalsesse failisüsteemi teesse. See võtab kaks argumenti, üks on lähteteksti hdfs-tee ja teine ​​on sihtkoha kohaliku failisüsteemi tee

Süntaks: hdfs dfs -get

Näide: hdfs dfs -get / kasutaja / test / näide2 / kodu / harsha

8. käsk copyToLocal

hdfs-i käsku copyToLocal kasutatakse hdfs-faili või kataloogi kopeerimiseks kohalikku failisüsteemi. Selles käsus on sihtkoht fikseeritud kohalikku failisüsteemi. See käsk copyFromLocal sarnaneb käsu saamiseks.

Süntaks: hdfs dfs -copyToLocal

Näide: hdfs dfs -copyToLocal / kasutaja / harsha / näide / kodu / harsha

9. loendamise käsk

Hdfs-i käsku count kasutatakse antud tee kohal olevate kataloogide arvu loendamiseks. count-käsk võtab argumendina etteantud tee ja annab sellel teel olevate kataloogide arvu.

Süntaks: hdfs dfs -count

Näide: hdfs dfs -count / user

10. mv käsk

hv-failide käsku mv kasutatakse faili teisaldamiseks hdfs-i vahel. mv-käsk võtab faili või kataloogi antud hdfs-i lähteteelt ja teisaldab selle hdfs-i sihtrühma.

Süntaks : hdfs dfs -mv

Näide : hdfs dfs-mv / kasutaja / test / näide2 / kasutaja / harsha

Ülaltoodud ekraanipildil näeme, et kataloog2 on nüüd kataloogis / user / harsha

11. käsk setrep

käsku setrep hdfs-is kasutatakse antud faili replikatsioonifaktori muutmiseks. Vaikimisi on hdfs-i replikatsioonitegur '3'. Kui antud tee on kataloog, muudab see käsk kõigi selles kataloogis leiduvate failide replikatsioonifaktorit.

Süntaks: hdfs dfs -setrep (-R) (-w)

-w: see lipp täpsustab, et käsk peaks ootama replikatsiooni valmimist.

rep: replikatsioonitegur

Näide: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt

12. du käsk

du käsk hdfs-is näitab ketta kasutamist antud hdfs-raja jaoks. See võtab sisendina hdfs-i tee ja tagastab ketta kasutamise baitides.

Süntaks : hdfs dfs -du

Näide: hdfs dfs -du /user/harsha/empnew.txt

13. rm käsk

hdfs-i käsku rm kasutatakse failide või kataloogide eemaldamiseks antud hdfs-tees. See käsk võtab sisendina hdfs-i tee ja eemaldab sellel teel olevad failid.

Süntaks : hdfs dfs -rm

Näide : hdfs dfs -rm / kasutaja / harsha / näide

Järeldus - Hadoopi FS-i käsk

Oleme siin teada saanud erinevatest hdfs-käskudest, nende vastavatest süntaksitest koos näidetega. Peaksime tähele panema hdfs-käskude käivitamise, vajame skripti bin / hdfs. hdfs-ile järgneb suvand, mida tuntakse dfs-na, mis näitab, et töötame Hadoopi hajutatud failisüsteemiga. Ülalnimetatud käskude abil saame pidada läbirääkimisi HDFS-failisüsteemiga.

Soovitatavad artiklid

See on Hadoopi FS-i käsu juhend. Siin käsitleme kõige sagedamini kasutatavaid HDFS-i käske. Lisateabe saamiseks võite vaadata ka järgmist artiklit -

  1. Hadoopi arhitektuur
  2. HADOOPi raamistik
  3. Installige Hadoop
  4. Hadoopi tööriistad
  5. Tableau versioonid
  6. Unixi kesta käskude loendi juhend

Kategooria:

Suured andmed