Sqoopi intervjuu küsimuste ja vastuste sissejuhatus
Sqoop on avatud lähtekoodiga andmeedastusriist, Sqoopi tööriist edastab andmeid Hadoopi ökosüsteemi ja relatsiooniliste andmebaasiserverite (RDBMS) vahel. See impordib andmed Hadoopi failisüsteemi (HDFS), relatsiooniandmebaasidest nagu Oracle, MySQL jne., Samuti ekspordib andmeid Hadoopi failisüsteemist RDMS-i.
Allpool on toodud 15 olulist 2019. aasta Sqoopi intervjuu küsimust ja vastust:
Nii et olete lõpuks leidnud Sqoopis oma unistuste töö, kuid mõtlete, kuidas Sqoopi intervjuud lõhestada ja millised võiksid olla 2019. aasta Sqoopi intervjuu tõenäolised küsimused. Iga vestlus on erinev ja ka töö ulatus. Seda meeles pidades oleme välja töötanud kõige tavalisemad Sqoopi intervjuu küsimused ja vastused, mis aitavad teil intervjuus edu saavutada.
Need küsimused jagunevad järgmisteks osadeks:
1. osa - Sqoopi intervjuu küsimused (põhilised)
See esimene osa hõlmab Sqoopi intervjuu põhiküsimusi ja vastuseid.
1. Määratlege Sqoop ja miks me Sqoopi kasutame?
Vastus:
Sqoop on avatud lähtekoodiga andmeedastusriist, mis on loodud andmete edastamiseks Hadoopi ökosüsteemi ja relatsiooniliste andmebaasiserverite (RDBMS) vahel. Sqoopi kasutatakse andmete importimiseks relatsiooniandmebaasidest, näiteks Oracle, MySQL jne, Hadoopi failisüsteemi (HDFS), ning ka andmete eksportimiseks Hadoopi failisüsteemist relatsiooniandmebaasidesse.
2. Millised on Sqoopi erinevad omadused?
Vastus:
Allpool on erinevad funktsioonid, mida Sqoop toetab -
- Kandevõime
- Täislaadimine ja suurendav laadimine
- Andmete tihendamise tehnikad
- SQL päringute tulemuste importimine
- Kõigi suuremate andmebaaside andmesideühendused
- Andmete otselaadimise tugi Hadoopi failisüsteemidesse
- Turvakonfiguratsioonid nagu Kerberos
- Samaaegsed impordi või ekspordi funktsioonid
Liigume järgmiste Sqoopi intervjuu küsimuste juurde.
3. Nimetage Sqoopis toetatud relatsiooniandmebaasid ja Hadoopi ökosüsteemi allikad?
Vastus:
Sqoop toetab relatsiooniandmebaaside osana praegu MySQL, PostgreSQL, Oracle, MSSQL, Teradata ja IBMi Netezza.
Praegu toetatavad Hadoopi ökosüsteemi sihtteenused on HDFC, Hive, HBase, H Catalog ja Accumulo.
Sqoop kasutab MySQL-i vaikimisi andmebaasina.
4. Kuidas Sqoop töötab?
Vastus:
See on tavaline Sqoopi intervjuu küsimus, mida intervjuus küsitakse. Andmeedastuse teostamiseks kasutab Sqoop ekspordi ja impordi käske. Programmi Map Reduce kasutatakse Sqoopis sisemiselt andmekogu salvestamiseks HDFS-i. Käsud seostatakse kaardistamisülesannetega, et saada andmeid relatsiooniandmebaasidest; Vähendamise korral lasub vastutus sisestatud andmete sihtkohtadesse (HDFS / HBase / Hive)
Sqoop kasutab mitmete andmebaasidega ühenduse loomiseks ka erinevaid API-liideseid. Sqoop pakub ka võimalust luua kohandatud pistikuid konkreetsete nõuete täitmiseks.
Vaatame allpool impordi- ja eksportimiskäske
MySQL-i andmebaasiga ühenduse loomise käsk andmete importimiseks tabelist „Logi”
sqoop import –ühendus jdbc: mysql: // localhost / –kasutaja nimi – parool –tabel –m 1
sqoop import - ühenda jdbc: mysql: // localhost / mytestdb - kasutajanimi root - parool admin123 - tabel log - m 1
Käsk andmete eksportimiseks HDFS-ist relatsiooniandmebaasi
sqoop export - ühenda jdbc: mysql: // localhost / sqoop_export --table export-dir / sqoop / emp_last / part-m-00000 - update-key id
sqoop eksport - ühenda jdbc: mysql: // localhost / sqoop_export - tabel log_table - export-dir / sqoop / data / foler1 / part-m-00000
5. Mis on Sqoop Metastore? Selgita seda?
Vastus:
Sqoopi metastore on Sqoopis saadaval olev tööriist, mida kasutatakse Sqoopi rakenduse konfigureerimiseks, et võimaldada ühiskasutatud hoidla majutamist metaandmete kujul. Seda Metastore'i saab kasutada tööülesannete täitmiseks ja hulga kasutajate haldamiseks vastavalt kasutajarollidele ja tegevustele. Kõik mitu kasutajat saavad ülesannete tõhusaks täitmiseks samaaegselt täita mitu toimingut või toimingut. Sqoop Metastore rakendatakse vaikimisi mälusisese esitusena. Kui töö luuakse Sqoopis, salvestatakse töö määratlus Metastore'is ja see loetletakse vajadusel Sqoopi tööde abil.
6. Milliseid failivorminguid Sqoop andmete importimisel toetab?
Vastus:
Sqoop kasutab andmete importimiseks kahte failivormingut. Need on: - piiritletud testi failivorming ja järjestusfaili vorming.
Piiratud tekstifaili vorming : piiritletud teksti vorming on importimiseks vaikimisi kasutatav failivorming. Saame ikkagi täpselt määratleda, kasutades argumenti –as- tekstiil. Samamoodi seab argumendi edastamine eraldusmärgid ridade ja veergude vahel.
Järjestuse failivorming : võib öelda, et see failivorming on binaarne failivorming. Seda tüüpi vormingus failikirjed salvestatakse kohandatud kirjete konkreetsetele andmetüüpidele, mis kuvatakse Java klassidena.
Liigume järgmiste Sqoopi intervjuu küsimuste juurde.
7. Kas sqoopis saab juhtida mitmeid kaardistajaid? Kui jah, siis kuidas?
Vastus:
Jah, me saame kontrollida kaardistajate arvu Sqoopis, täpsustades sqoopi käsus parameetri “-num-mappers”. Selle parameetriga saab juhtida kaarditoimingute arvu, st midagi muud, kui sqoop kasutab paralleelsuse astet. Number otsustatakse nõude alusel.
Süntaks: kasutage neid lippe kaardistajate arvu kontrollimiseks: m, -num- kaardistajad
2. osa - Sqoopi intervjuu küsimused (täpsemad)
Vaadakem nüüd Sqoopi täpsemaid intervjuuküsimusi.
8. Mis on Sqoop-merge ja selgitage selle kasutamist?
Vastus:
Sqoopi ühendamine on tööriist, mis ühendab kaks erinevat andmekogumit, mis säilitavad ainsa versiooni, kirjutades üle andmekogu vanema versiooni kirjed uute failidega, et muuta see uusima versiooni andmestikuks. Kahe erineva andmekogumi liitmisel toimub tasandamine, mis säilitab andmed ilma kadudeta ning tõhususe ja ohutusega. Selle toimingu teostamiseks kasutatakse ühendamisvõtme käsku nagu “–merge-key”
9. Millised on erinevused Sqoopi, flume'i ja distcpi vahel?
Vastus:
Andmete edastamiseks kasutatakse nii Distcpi kui ka Sqoopi. Sqoopi kasutatakse mis tahes tüüpi andmete edastamiseks ühest Hadoopi klastrist teise klastrisse, samas kui Sqoop edastab andmeid Relatsioonandmebaaside ja Hadoopi ökosüsteemi (nt Hive, HDFS ja HBase jne) vahel. Kuid mõlemad meetodid kasutavad andmete kopeerimiseks sama lähenemisviisi., mis on pull / transfer.
Flume on levitanud tööriista, mis järgib agendipõhist arhitektuuri, et voogesitada logisid Hadoopi ökosüsteemi. Arvestades, et Sqoop on konnektoripõhine arhitektuur.
Flume kogub ja koondab tohutul hulgal logiandmeid. Flume saab andmeid koguda erinevat tüüpi ressurssidest; see ei arvesta skeemi ega struktureeritud / struktureerimata andmeid. Flume võib tõmmata mis tahes tüüpi andmeid. Kui Sqoop saab importida ainult relatsiooniandmebaasi andmeid, on sqoopi töötlemiseks skeem kohustuslik. Üldiselt on suuremahulise töömahu teisaldamiseks parimaks võimaluseks flume.
Liigume järgmiste Sqoopi intervjuu küsimuste juurde.
10. Milliseid andmeallikaid Apache Sqoop toetab?
Vastus:
Apache Sqoopi toetatud rakenduste erinevad andmeallikad on järgmised:
- Taru
- HBase
- Hadoopi hajutatud failisüsteem (HDFS)
- HCatalog
- Accumulo
11. Milliseid käske / funktsioone on Sqoopis enim kasutatud?
Vastus:
See on Sqoopi täpsustatud intervjuuküsimus, mida küsiti intervjuus. Sqoopis kasutatavate põhikäskude loend on järgmine:
Codegen -Codegenit kasutatakse andmebaasi kirjetega suhtlemiseks koodi genereerimiseks.
Eval -Sqoop Eval aitab SQL-i proovipäringute käivitamisel andmebaaside vastu ja edastab tulemused konsoolil.
Abi - Abi saadaolevate käskude loend
Import - Import impordib tabeli Hadoopi ökosüsteemi
Export - Exporti kasutatakse HDFS-i andmete eksportimiseks relatsiooniandmebaasidesse.
Loo-taru-tabel - See käsk on kasulik tabelimääratluse importimiseks tarusse
Import-kõik-tabelid -import-kõik-tabelid impordib tabelid, et moodustada relatsiooniandmebaasid HDFS-i.
Loend-andmebaasid - see loetleb kõik serveris olevad andmebaasid.
Loenditabelid - see loetleb kõik andmebaasis olevad tabelid.
Versioonid - see kuvab versiooni teabe.
Funktsioonid - paralleelne import / eksport, täiskoormus, suurendav koormus, täiskoormus, võrdlus, RDBMS-andmebaaside pistikud, Kerberose turbeintegratsioon, andmete laadimine otse HDFS-i (taru / HBase)
12. Selgitage parimaid tavasid, importides tabeleid MySQL-ist või muudest andmebaasidest Sqoopi abil?
Vastus:
Tabelite importimisel MySQL-ist peaksime kontrollima järgmisi asju, nagu autentimine ja autoriseerimine sihtserverisse ja andmebaasidesse. Peame veenduma, et oleme andmebaasidele, millele juurde pääseb, vajalikud õigused ja ka lähte- ja sihtkoha hostinimedega ühenduse loomisel veenduda hostinime eraldusvõimes. Kui meil pole vajalikku luba, saame andmebaasiga ühenduse loomisel ühenduse tõrke erandi.
13. Kuidas värskendate juba eksporditud andmeid või ridu?
Vastus:
Sihtpunkti juba eksporditud ridade värskendamiseks saame kasutada parameetrit “-värskenda-võti”. Selles kasutatakse komaeraldusega veergude loendit, mis identifitseerib rea üheselt ja kõiki neid veerge kasutatakse genereeritud UPDATE päringu WHERE-klauslis. SET osa päringust hoolitseb kõigi muude tabeli veergude eest.
Liigume järgmiste Sqoopi intervjuu küsimuste juurde.
14. Kuidas seadistada ja installida JDBC draiver Apache Sqoopi?
Vastus:
Apache Sqoopi JDB draivereid saab konfigureerida Hadoopi pakkuja (nt Cloudera või Hortonworks) põhjal, kus selle konfiguratsioon pisut erineb Hadoopi pakkuja põhjal. Cloudera JDBC saab seadistada nii, et luuakse raamatukogu kaust nagu / var / lib /. Seda saab teha mis tahes kolmanda osapoole raamatukogu jaoks, mis tuleb konfigureerida vastavalt nõudele. Sel viisil saab JDBC draiveri abil konfigureerida mis tahes tüüpi andmebaase. Lisaks JDBC draiverile vajab Apache Sqoop pistikut, et luua ühendus erinevate relatsiooniandmebaaside vahel. Andmebaasidega ühenduse loomiseks vajalikud komponendid on konkreetse andmebaasi pakkuja draiveri ja konnektori kaudu.
15. Mis on jagamisklausel ja millal me seda kasutame?
Vastus:
Jagatav parameeter on imporditavate andmete tükeldamiseks mitmeks paralleelseks ülesandeks. Selle parameetri abil saame täpsustada veeru nimesid. Need on veergude nimed, mille alusel sqoop jagab imporditavad andmed mitmeks tükiks ja need töötavad paralleelselt. See on üks tehnikaid, kuidas Sqoopis etendust häälestada.
Soovitatavad artiklid
See on juhend Sqoopi intervjuu küsimuste ja vastuste loendisse, et kandidaat saaks neid Sqoopi intervjuu küsimusi hõlpsalt lahendada. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -
- Hadoop vs Teradata - mis on kasulik
- 13 hämmastavat andmebaasi testimise intervjuu küsimust
- Kümme parimat kõige kasulikumat HBase'i intervjuu küsimust
- 10 kõige vingemat PHP-intervjuu küsimust kogenutele
- Teage 5 parimat DBA-intervjuu küsimust