Sissejuhatus Hadoopi administraatori intervjuu küsimustele ja vastustele
Nii et olete lõpuks leidnud oma unistuste töökoha Hadoopi administraatoris, kuid mõtlete, kuidas Hadoopi administraatori intervjuud murda ja millised võiksid olla Hadoopi administraatori intervjuu tõenäolised küsimused. Iga vestlus on erinev ja ka töö ulatus. Seda meeles pidades oleme välja töötanud Hadoopi administraatori kõige tavalisemad intervjuu küsimused ja vastused, mis aitavad teil intervjuus edu saavutada.
Järgnevalt on toodud Hadoopi administraatori intervjuuküsimused, mis aitavad teil Hadoopi intervjuust aru saada.
1. Mis on rackiteadlikkus? Ja miks see vajalik on?
Vastus:
Racki teadlikkus seisneb andmesõlmede jaotamises mitmele rackile.HDFS järgib andmeplokkide paigutamiseks rackiteadlikkuse algoritmi. Rack mahutab mitut serverit. Ja klastri jaoks võiks olla mitu püstikut. Ütleme, et Hadoopi klaster on üles seatud 12 sõlmega. Seal võiks olla 3 nagi, kus mõlemal oleks 4 serverit. Kõik 3 nagi on ühendatud nii, et kõik 12 sõlme on ühendatud ja moodustavad klastri. Riiulite arvu üle otsustamisel on oluline arvestada replikatsiooniteguriga. Kui on 100 GB andmeid, mis hakkavad voolama iga päev koos kordusteguriga 3. Siis peavad klastris olema 300 GB andmeid. See on parem variant, kui soovite, et andmeid korratakse kogu nagis. Isegi kui mõni sõlm alla läheb, on koopia teises rackis.
2. Mis on vaikimisi ploki suurus ja kuidas see on määratletud?
Vastus:
128 MB ja see on määratletud hdfs-site.xml ning ka see on kohandatav sõltuvalt andmete mahust ja juurdepääsu tasemest. Ütleme nii, et päevas voolab 100 GB andmeid, andmed eraldatakse ja salvestatakse klastrisse. Kui palju faile on? 800 faili. (1024 * 100/128) (1024 à teisendas GB MB-ks.) Andmeploki suuruse kohandamiseks on kaks võimalust.
- hadoop fs -D fs.local.block.size = 134217728 (bittides)
- Lisage hdfs-site.xml see atribuut à block.size koos bittide suurusega.
Kui muudate vaikesuuruseks 512 MB, kuna andmemaht on tohutu, genereeritakse failide arv 200. (1024 * 100/512)
3. Kuidas saada hdfs-failisüsteemi aruanne? Ketta saadavuse ja aktiivsete sõlmede arvu kohta?
Vastus:
Käsk: sudo -u hdfs dfsadmin –report
See on kuvatava teabe loetelu,
- Konfigureeritud maht - kogu saadaolev maht hdfs-is
- Praegune maht - see on kogu ruumi summa, mis eraldatakse ressursside jaoks, et elada metastore ja fsimage ruumi kasutamise kõrval.
- Järelejäänud DFS - see on HDFS-i jaoks veel saadaolev salvestusruum, et salvestada rohkem faile
- DFS kasutatud - see on salvestusruum, mille HDFS on ära kasutanud.
- DFS kasutatud% - protsentides
- Kordatavate plokkide all - plokkide arv
- Plokid koos rikutud repliikidega - kui rikutud plokid on olemas
- Puuduvad klotsid
- Puuduvad plokid (kordusteguriga 1)
4. Mis on Hadoopi tasakaalustaja ja miks see on vajalik?
Vastus:
Sõlmede vahel levinud andmed ei jagune õiges proportsioonis, mis tähendab, et iga sõlme kasutamine ei pruugi olla tasakaalus. Üks sõlm võib olla liiga ära kasutatud ja teine - alakasutatud. Selle tulemuseks on ükskõik millise protsessi käitamisel kõrge kuluefekt ja see võib lõppeda nende sõlmede suure kasutamisega. Selle lahendamiseks kasutatakse Hadoopi tasakaalustajat, mis tasakaalustab andmete kasutamist sõlmedes. Nii et kui tasakaalustaja käivitatakse, liigutatakse andmed üle ala, kus alakasutatud sõlmed saavad täidetud ja ülekasutatud sõlmed vabastatakse.
5. Cloudera ja Ambari erinevus?
Vastus:
| Cloudera mänedžer | Ambari |
| Cloudera haldustööriist | Hortoni administreerimisriist töötab |
| Jälgib ja haldab kogu klastrit ning annab aru kasutamisest ja probleemidest | Jälgib ja haldab kogu klastrit ning annab aru kasutamisest ja probleemidest |
| Kaasas Cloudera tasuline teenus | Avatud lähtekoodiga |
6. Mis on Hadoopi administraatori peamised toimingud?
Vastus:
Klastri tervise jälgimine - on palju rakenduse lehti, mida tuleb jälgida, kui mõni protsess töötab. (Tööajaloo server, YARNi ressursihaldur, Cloudera haldur / ambary sõltuvalt jaotusest)
lülitage turbe sisse - SSL või Kerberos
Häälestamine - Hadoopi tasakaalustaja
Lisage vajadusel uusi andmesõlmi - infrastruktuuri muudatused ja konfiguratsioonid
MapReduce tööajaloo jälgimisserveri sisselülitamine valikuline à Mõnikord aitab teenuste taaskäivitamine vahemälu vabastada. See on siis, kui klaster on tühi.
7. Mis on Kerberos?
Vastus:
See on iga teenuse sünkroonimiseks protsessi autentimiseks vajalik autentimine. Kerberos on soovitatav lubada. Kuna tegemist on hajutatud andmetöötlusega, on alati hea tava krüptimine andmetele juurdepääsu ja nende töötlemise ajal. Kuna kõik sõlmed on ühendatud ja igasugune infokäik on üle võrgu. Kuna Hadoop kasutab Kerberost, ei saadeta paroole võrkude kaudu. Selle asemel kasutatakse krüpteerimisvõtmete arvutamiseks paroole. Sõnumeid vahetatakse kliendi ja serveri vahel. Lihtsamalt öeldes pakub Kerberos krüptimisega turvaliselt üksteisele (sõlmedele) identiteeti.
Seadistamine saidil core-site.xml
Hadoop.security.authentication: Kerberos
8. Mis on hdfs-käskude oluline loend?
Vastus:
| Käsud | Eesmärk |
| hdfs dfs –ls | Hdfs-failisüsteemis olevate failide loetlemiseks. |
| Hdfs dfs –put | Kopeerige fail kohalikust süsteemist hdfs-failisüsteemi |
| Hdfs dfs –chmod 777 | Andke failile lugemis-, kirjutamis- ja täitmisluba |
| Hdfs dfs –get | Kopeerige fail hdfs-failisüsteemist kohalikku failisüsteemi |
| Hdfs dfs –cat | Vaadake failisisu hdfs-failisüsteemist |
| Hdfs dfs –rm | Eemaldage fail hdfs-failisüsteemist. Kuid see teisaldatakse prügikasti faili teele (see on nagu akende prügikast) |
| Hdfs dfs –rm –skipTrash | Eemaldab faili jäädavalt klastrist. |
| Hdfs dfs –touchz | Looge fail hdfs-failisüsteemis |
9. Kuidas kontrollida klastris esitatud Hadoopi töö logisid ja kuidas lõpetada juba töötav protsess?
Vastus:
lõnga logid –applicationId - rakenduse ülem genereerib logid oma konteinerisse ja see lisatakse loodud ID-ga. See on abiks protsessi käitamise oleku ja logiteabe jälgimisel.
lõngarakendus –kill - kui klastris töötav protsess tuleb lõpetada, kasutatakse tapmiskäsku, kus klastri töö lõpetamiseks kasutatakse rakenduse id.
Soovitatav artikkel
See on olnud Hadoopi administraatori intervjuu küsimuste ja vastuste loendi juhend, et kandidaat saaks hõlpsalt neid Hadoopi administraatori intervjuu küsimusi lahendada. Lisateabe saamiseks võite vaadata ka järgmisi artikleid
- Hadoopi klastri intervjuu küsimused ja vastused - kümme kõige kasulikumat
- Küsimused andmete modelleerimise kohta - 10 olulist küsimust
- SASi süsteemiintervjuu küsimused - kümme parimat küsimust