Sissejuhatus HDFS-i käskudesse
Suurandmed on sõna andmekogude jaoks, mis on nii suured või liitlikud, et tavapärasest andmetöötlusrakenduste tarkvarast ei piisa nendega kokkuleppe sõlmimiseks. Hadoop on avatud lähtekoodiga Java-põhine programmeerimisraamistik, mis aheldab tohutult mahukate andmekogumite töötlemis- ja salvestusruumi hajutatud arvutuskeskkonnas. Apache tarkvara sihtasutus on Hadoopi installimise võti
HDFS-i omadused:
- HDFS töötab ülem / alluv arhitektuuril
- HDFS kasutab faile kasutajaga seotud andmete salvestamiseks
- omab tohutut hulka katalooge ja faile, mida hoitakse hierarhilises vormingus.
- Seestpoolt on fail väiksemateks plokkideks riputatud ja need plokid on salvestatud Datanodes-komplekti.
- Namenode ja Datanode on tarkvara osa, mis on ette nähtud kasutamiseks GNU / Linux OS-is klassikaliselt töötavatel tootemasinatel.
Namenode:
- Siin hoiab failisüsteemi nimesõlm
- Namenode vastutab ka kõigi failisüsteemi muudatuste logimise eest. Lisaks säilitab mälu kujutist täielikust failisüsteemi nimeruumist ja faili plokkkaardist
- Kontrollpunktid toimuvad perioodiliselt. seega on lihtne lavale naasta enne, kui siin on võimalik krahhi saavutada.
Datanode:
- Datanode edastab andmed oma kohaliku failisüsteemi failides
- Selle olemasolu lähenemiseks saadab andmesõlm namenoodile südamelöögi
- Iga 10. vastuvõetud südamelöögi kohta koostatakse blokeerimisaruanne
- Nendes andmesõlmedes salvestatud andmete jaoks tehakse replikatsioon
Andmete kopeerimine:
- Plokkide jadad moodustavad siin faili vaikimisi plokiga 128 MB
- Kõik faili plokid peale lõpliku on sama suurusega.
- Kõigist klastri andmesõlmedest võtab namenoodi element südamelööke
- BlockReport sisaldab kõiki Datanode'i plokke.
- omab tohutut hulka katalooge ja faile, mida hoitakse hierarhilises vormingus.
- Seestpoolt on fail väiksemateks plokkideks riputatud ja need plokid on salvestatud Datanodes-komplekti.
- Namenode ja Datanode on tarkvara osa, mis on ette nähtud kasutamiseks GNU / Linux OS-is klassikaliselt töötavatel tootemasinatel.
Tööotsija: JobTracker arutab nime NameNode andmete asukoha kindlaksmääramiseks. Samuti leidke andmete asukoha põhjal põhinevate ülesannete täitmiseks parimad TaskTrackeri sõlmed
Ülesannete jälgija: TaskTracker on klastris olev sõlm, mis võtab JobTrackerist vastu ülesandeid - kaardistamine, vähendamine ja segamine.
Sekundaarse nime sõlme (või) kontrollpunkti sõlm: hangib regulaarse intervalliga nimesõlmest EditLogi ja rakendub selle FS-pildile. Ja kopeerib valmis FS-pildi nimesõlme selle taaskäivitamise ajal tagasi. Teisese nime sõlme kogu eesmärk on omada kontrollpunkti HDFS-is.
Lõng:
- YARNil on keskne ressursijuhi komponent, mis haldab ressursse ja määrab ressursid igale rakendusele.
- Ressursihaldur on kapten, kes otsustab klastriga seotud ressursid, ressursihaldur koosneb kahest komponendist - rakendusehaldurist ja planeerijast - need kaks komponenti haldavad koos klastrisüsteemide töökohti. teine komponent helistab sõlmehaldurile (NM), mis vastutab kasutajate töökohtade ja töövoogude haldamise eest antud sõlmes.
- Andmete täpset kopeerimist aktiivses namenoodis hoiab ooterežiimi nimemood. See toimib orjana, säilitab piisavalt olekut, et pakkuda kiiret tõrkefunktsiooni, kui see on hädavajalik.
Põhilised HDFS-käsud:
|
HDFS-i põhikäsud |
||
| Sr.Ei | HDFS-i käskluse atribuut | HDFS-i käsk |
| 1 | Trüki hadoopi versioon | $ hadoopi versioon |
| 2 | Loetlege juurkataloogi sisu HDFS-is | $ hadoop fs -ls |
| 3 | Teatage kasutatava ja saadaoleva ruumi suurusest praegu ühendatud failisüsteemis | $ hadoop fs -df hdfs: / |
| 4 | HDFS-i tasakaalustaja tasakaalustab andmeid DataNodes uuesti, liigutades plokid ületarbitud aladelt alakasutatud sõlmedeni. | $ hadoopi tasakaalustaja |
| 5 | Abikäsk | $ hadoop fs -help |
Vahepealsed HDFS-käsud:
|
Vahepealsed HDFS-käsud |
||
| Sr.Ei | HDFS-i käskluse atribuut | HDFS-i käsk |
| 6 | loob kataloogi määratud HDFS-i asukohas | $ hadoop fs -mkdir / kasutaja / cloudera / |
| 7 | Kopeerib andmeid ühest asukohast teise | $ hadoop fs - sisendandmed / sample.txt / kasutaja / koolitus / hadoop |
| 8 | Vaadake HDFS-is konkreetse kataloogi poolt hõivatud ruumi | $ hadoop fs -du -s -h / kasutaja / cloudera / |
| 9 | Eemaldage kataloog Hadoopis | $ hadoop fs -rm -r / kasutaja / cloudera / pigjobs / |
| 10 | Eemaldab kõik antud kataloogis olevad failid | $ hadoop fs -rm -skipTrash hadoop / jaemüük / * |
| 11 | Prügikast tühjendada | $ hadoop fs -expunge |
| 12 | kopeerib andmed HDFS-i ja kohalikku | $ hadoop fs -copyFromLocal / kodu / cloudera / proov / / kasutaja / cloudera / flume /
$ hadoop fs -copyToLocal / kasutaja / cloudera / pigjobs / * / kodu / cloudera / oozie / |
Täpsemad HDFS-käsud:
|
Vahepealsed HDFS-käsud |
||
| Sr.Ei | HDFS-i käskluse atribuut | HDFS-i käsk |
| 13 | muuta faili õigusi | $ sudo -u hdfs hadoop fs -chmod 777 / kasutaja / cloudera / flume / |
| 14 | faili andmete replikatsiooniteguri määramine | $ hadoop fs -setrep -w 5 / kasutaja / cloudera / pigjobs / |
| 15 | Loendage hdfs-i all kataloogide, failide ja baitide arv | $ hadoop fs -count hdfs: / |
| 16 | pane namenode turvarežiimis eksisteerima | $ sudo -u hdfs hdfs dfsadmin -safemode lahkuvad |
| 17 | Hadoop vormindab namenoodi | $ hadoop namenode -format |
HDFS-i näpunäited ja nipid:
1) Kiirema taastumise saavutame siis, kui klastri sõlmede arv on suurem.
2) Salvestuse suurenemine ajaühiku kohta pikendab taastumisaega.
3) Namenode riistvara peab olema väga usaldusväärne.
4) Keerukas jälgimine on saavutatav ambari abil.
5) Süsteemi nälga saab vähendada, vähendades reduktorite arvu.
Soovitatavad artiklid
See on olnud HDFS-i käskude juhend. Siin arutasime HDFS-i käske, funktsioone, selle põhi-, vahe- ja täiustatud käske koos piltide esitamise, näpunäidete ja näpunäidetega nende käskude kohta. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Sõlme käsud
- Matlabi käsud
- DBMS eelised
- Hadoopi ökosüsteem
- Hadoop fs käsud