Sissejuhatus Hadoopi fs käskudesse

Selles artiklis tutvume HADOOP-i failikäsitluse käskudega, mida kasutatakse failide haldamiseks konsooli kaudu.

Teil on vaja Linuxi süsteemi ja uusimat Hadoopi versiooni. Hadoopi versiooni printimiseks ja selleks, et teada saada, kelle poolt väljaanne on loodud, kontrollsumma väärtus peame pärast Hadoopi platvormi sisselogimist täitma alltoodud käsu.

Käsk: Hadoopi versioon

Hadoopi fs käsud

Nüüd õpime HADOOP fs-käskude kasutamist.

Alustame põhitõdedest. Sisestage need käsud lihtsalt PUTTY või mõnda muusse konsooli.

1. hadoop fs -ls

Kataloogi puhul tagastab see failide ja kataloogide loendi, faili puhul aga faili statistika.

hadoop fs -lsr: see on kataloogide ja failide rekursiivseks loetlemiseks kindlate kaustade alla.

  • Näide : hadoop fs -ls / või hadoop fs -lsr
Märkus : hadoop fs -ls (-d) (-h) (-R)
  • -d: Seda kasutatakse kataloogide loetlemiseks tavaliste failidena.
  • -h: seda kasutatakse failide suuruse vormindamiseks inimesele loetaval viisil, mitte ainult baitide arvu järgi.
  • -R: Seda kasutatakse kataloogide sisu rekursiivseks loetlemiseks.
2. hadoop fs -mkdir

See käsk võtab argumendina tee ja loob hdfs-is kataloogid.

  • Näide : hadoop fs -mkdir / kasutaja / datahub1 / data
Märkus. Kui proovime luua alamkatalooge, peab vanemkataloog olema olemas. Kui see tingimus pole täidetud, kuvatakse teade „Sellist faili või kataloogi pole”.
3. hadoop fs -touchz

See loob tühja faili ja ei kasuta ruumi

  • Näide: hadoop fs -touchz URI
4. hadoop fs -rm

Kustutage argumendiks määratud failid. Kogu kataloogi kustutamiseks peame määrama suvandi -r. Ja kui suvand -skipTrash on täpsustatud, jätab see prügi vahele ja fail kustutatakse kohe.

  • Näide : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir

See eemaldab kataloogide ja alamkataloogide failid ning õigused. Põhimõtteliselt on see Hadoop fs -rm laiendatud versioon.

6. hadoop fs-cp

See kopeerib faili ühest asukohast teise

  • Näide : hadoop fs -cp /user/data/abc.csv / user / datahub
7. hadoop fs -copyFromLocal

See kopeerib faili servasõlmest HDFS-i.

8. hadoop fs -put

See kopeerib faili servasõlmest HDFS-i, see sarnaneb eelmisele käsule, kuid paneb ka standardse sisendi stdin-i sisestuse ja kirjutab HDFS-i

  • Näide : hadoop fs -put abc.csv / kasutaja / andmed
Märkus :
hadoop fs -put -p: Lipp säilitab juurdepääsu, muutmise aja, omandiõiguse ja režiimi.
hadoop fs -put -f: see käsk kirjutab sihtkoha üle, kui fail on juba enne koopiat olemas.
9. hadoop fs -moveFromLocal

See sarnaneb lokaalsest kopeerimisega, kuid lähtefail kustutatakse kohalikust servasõlmest pärast selle kopeerimist HDFS-i

  • Näide : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -copyToLocal

See kopeerib faili HDFS-ist servasõlme.

  • Näide : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod

See käsk aitab meil muuta faili või kataloogi juurdepääsu

  • Näide : hadoop fs -chmod (-R) (tee)
12. hadoop fs -kootud

See käsk aitab meil muuta faili või kataloogi omanikku

  • Näide : hadoop fs -kootud (-R) (Omanik) (: (rühm)) PATH
13. hadoop fs -cat

See prindib terminalile HDFS-faili sisu

  • Näide : hadoop fs -cat /user/data/abc.csv
14. hadoop fs-saba

See kuvab stardivälja HDFS-faili viimase KB

  • Näide : hadoop fs -tail / in / xyzfile
15. hadoop fs -test

Seda käsku kasutatakse HDFS-faili testitoimingute jaoks, see tagastab 0, kui see on tõene.

  • - e: kontrollib, kas fail on olemas.
  • -z: kontrollib, kas faili pikkus on null
  • -d / -f: kontrollib, kas tee on vastavalt kataloog / fail

Siin arutame üksikasjalikult näidet

  • Näide : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du

Kuvab antud kataloogis sisalduvate failide ja kataloogide suuruse või faili pikkuse, kui see on fail

17. hadoop fs -df

See kuvab vaba ruumi

18. hadoop fs -kontroll

Tagastab faili kontrollsumma teabe

19. hadoop fs -getfacl

See kuvab konkreetse faili või kataloogi juurdepääsu kontrollloendi (ACL)

20. hadoop fs -loendus

See loeb kataloogil, failidel ja baitidel selle tee all asuva arvu, mis vastab määratud failimustrile.

21. hadoop fs -setrep

Muudab faili replikatsioonitegurit. Ja kui tee on kataloog, muudab käsk kõigi kataloogis olevate failide replikatsioonifaktorit.

  • Näide : hadoop fs -setrep -R / user / datahub: seda kasutatakse tagasiulatuva võime aktsepteerimiseks ja sellel pole mingit mõju.

hadoop fs - setrep -w / user / datahub : ootab replikatsiooni lõpuleviimist

22. hadoop fs -getmerge

See ühendab lähtekoodis olevad HDFS-failid kohalikku sihtfaili

  • Näide : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile

Lisab sihtkohale ühe või mitu allikat kohalikust failisüsteemist.

  • Näide : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat

See prindib faili või kataloogi statistika.

  • Näide : hadoop fs -stat (vorming)

Järeldus - Hadoop fs käsud

Niisiis, oleme läbinud peaaegu kõik failide käsitsemiseks vajalikud käsud ja vaatame failides olevaid andmeid. Nüüd saate oma faile ja andmeid sisestada Hadoopi platvormile.

Soovitatavad artiklid

See on Hadoop fs Commands juhend. Siin käsitleme üksikasjalikult Hadoop fs-i käskude sissejuhatust koos selle näitega. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -

  1. Installige Hadoop
  2. Hadoopi tööriistad
  3. Hadoopi arhitektuur
  4. Hadoopi komponendid
  5. Hadoop fs käsud

Kategooria:

Suured andmed