Sqoopi käskude sissejuhatus

Sqoopi käskudes käsitletakse igat rida kirjetena ja ülesanded jaotatakse sisemiselt Map Task all alamülesanneteks. Andmebaasid, mida sqoop toetab, on MYSQL, Oracle, IBM, PostgreSQL. Sqoop pakub lihtsat käsurida, saame sqoopi käskude kaudu andmeid erinevatest andmebaasidest tuua. Need on kirjutatud Java keeles ja kasutavad JDBC-d ühenduse loomiseks teiste andmebaasidega.

See tähistab „SQL Hadoopi” ja Hadoop SQLi ning avatud lähtekoodiga tööriista. See on rakenduste com ühenduvustööriist, mis edastab hulgiandmeid relatsioonilise andmebaasisüsteemi ja Hadoopi vahel (taru, kaardi vähendamine, Mahout, siga, HBase). Need võimaldavad kasutajatel määrata Hadoopis sihtkoha ja muudavad sqoopi andmete teisaldamiseks RDMS-ist sihtmärgiks. Nad pakuvad optimeeritud MySQL-liideseid, mis kasutavad andmebaasi-spetsiifilist API-t täieliku hulgiülekande tegemiseks. Kasutaja impordib andmeid välistest allikatest nagu Hive või Hbase. Sqoopil on kaks failivormingut: piiritletud tekstifaili vorming ja jadafaili vorming.

Siin on Sqoopi käskude põhikäsud:

  1. Loenditabel:

See käsk loetleb MYSQL-i serveris oleva andmebaasi konkreetse tabeli.

Näide:

  1. Sihtkataloog:

Selle käsu importtabel HDFS-i konkreetses kataloogis. -m tähistab kaardistaja argumenti. Neil on täisarv.

Näide:

  1. Paroolikaitse:

Näide:

  1. sqoop-eval:

See käsk käivitab kiiresti vastava andmebaasi SQL päringud.

Näide:

  1. sqoop - versioon:

See käsk kuvab sqoopi versiooni.

Näide:

  1. sqoop-töö

See käsk võimaldab meil luua töö, loodud parameetritele saab igal ajal tugineda. Nad valivad valikuid (–loome, kustuta, näita, välju).

Näide:

  1. CSV-faili laadimine SQL-i:

Näide:

  1. Pistik:

Näide:

  1. kood gen:

See Sqoopi käsk loob java klassi faile, mis kapseldavad imporditud kirjed. Kõik java-failid luuakse uuesti ja genereeritakse klassi uued versioonid. Nad genereerivad andmebaasi kirjetega suhtlemiseks koodi. Toob kõigi veergude ja nende andmetüüpide loendi.

Näide:

10.Loendite andmebaas:

Sellel Sqoopi käsklusloenditel on RDBMS-serveris kogu saadaolev andmebaas.

näide:

Sqoopi käskude vahepealsed käsud:

1.sqoop -meta kauplus:

See käsk hostib jagatud metaandmete hoidlat. Mitu kasutajat / kaugkasutaja võib käivitada mitu tööd.

Käsk:

$ sqoop .metastore.client.autoconnect.url

näide: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop-abi:

See käsk loetleb sqoopis saadaval olevad tööriistad ja nende eesmärgi.

Käsk:

$ sqoopi abi

$ bin / sqoop aitab importida

3. Eksport:

See käsk ekspordib andmeid HDFS-ist RDMS-andmebaasi. HDFS-is hoitakse andmeid kirjetena.

Käsk:

$ sqoop export \ –ühendus jdbc: mysql: // localhost / inventar - kasutajanimi jony –table lib –export –dir / user / jony / inventar.

4. Lisada:

See käsk lisab uue kirje HDFS-ist RDBMS-i tabelisse.

Käsk

$ sqoop eksport - ühendage JDBC: MySQL: // localhost / sqoop_export - tabel emp_exported –eksport -dir / sqoop / newemp -m -000

5. Uuendamine:

See Sqoopi käsk värskendab RDBMS-i kirjeid HDFS-i andmetest.

Käsk

$ sqoop eksport - ühendage JDBC: MySQL: // localhost / sqoop_export - tabel emp_exported - eksporti -dir / sqoop / newemp -m -000 - värskendus -võtme ID

6. Partiivalik:

See käsk lisab mitu rida kokku, need optimeerivad sisestamise kiirust, kasutades Sqoop JDBC draiverit.

Käsk

$ sqoop export \ -connect JDBC: MySQL: // hostinimi / –kasutaja nimi-parool -eksport -dir

7. Poolitatud:

Selle käsu kasutamisel rakendatakse klauslit kogu SQL-ile.

Käsk

$ sqoopi import -D mysql: // jdbc: // kus.klause.location = SPLIT - laua JUNK - kus “rownum <= 12”

8. AVRO-fail HDFS-i:

Nad salvestavad RDBMS-andmeid Avro-failina.

Käsk

$ sqoopi import - ühendage JDBC: MySQL: // localhost / Acadgild - kasutaja nimi juur - parool lk.34 - tabelimakse -m1 - sihtmärk -dir / sqoop_data / makse / avro / == kui -avrodatfile.

Sqoopi käskude täpsemad käsud:

Impordi käsud:

Impordi käskudel on impordi juhtimisargumendid. erinevad argumendid on järgmised:

  • piir: kasutatakse lõhede loomiseks.
  • as - text file: impordib lihtteksti andmeid
  • -kolonnid (: tabeli veergude importimine)
  • -m, - num: paralleelsete kaardistamisülesannete importimiseks
  • split-by: jagab tabeli veeru
  • -z, - pakkimine: andmete pakkimine on lubatud.

Täiendavad impordiargumendid:

  • kontroll - veerg: näitab veerge imporditavate ridade määramiseks.
  • inkrementaalne (režiim): näitab uusi ridu (lisage lisamine ja viimati muudab ridu)

Väljundliiniargumendid:

  • read -terminated -by: Nad määravad eol tähemärgi
  • MySQL - eraldajad: nad määravad \ n väljad: read:

Import tarusse

-taru - import: nad impordivad tabeleid tarusse

-hive - partition-key: partitsiooni nimi on jagatud.

-hive - kirjutatakse üle: nad kirjutavad olemasolevas tabelis olevad andmed üle.

Import Hbase'i argumentidesse:

-accumulo-table: See täpsustab HBase-i sihttabeli.

-accumulo-veerg: selle importimiseks seab sihtveeru.

-accumulo -: nimestiku importimiseks

–Accumulo -: kogumisparooli importimine

Jadafailides salvestamine:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventuur \ - klassi nimi com.foo.com.Loend - -as --järjestusefail

Päringu import:

See käsk täpsustab Sql-avalduse argumendiga -query.

$ sqoopi import \ - päring 'SELECT a. *, b. * JOIN b-ist (a.id = b.id), kus $ tingimused' \ -split - autor / target-dir / kasutaja

Täiendav eksport:

$ sqoop eksport –ühendus –tabel –kasutaja nimi –parool –lisaline –kontrollirida –viimane väärtus

Kõigi tabelite importimine HDFS-i:

$ sqoop import -all - tables --connect jdbc: mysql: // localhost / sale_db - kasutajanimi root.

Andmete importimine tarusse:

$ sqoop import –ühendus –tabel –kasutaja nimi –parool – taru –import - taru –tabel

Andmete importimine HBase'i:

käsk:

$ sqoopi import –ühendus –tabel –kasutaja nimi –parool –tarbimine –import - HBase -tabel

Kodeeri nullväärtused:

käsk:

$ mysql import \ - ühendage JDBC: MySQL: //mysql.ex.com/sqoop \ - kasutajanimi sqoop \ -parool sqoop \ –tabel lib \ –null-string '

Näpunäited ja nipid Sqoopi käskude kasutamiseks:

Kui soovime andmeoperatsioone tõhusalt teostada, peame kasutama sqoopi, vaid ühe käsurida kaudu saame selles täita mitmeid ülesandeid ja alamülesandeid. Sqoop loob konnektorite kaudu ühenduse erinevate relatsiooniandmebaasidega, nendega suheldes kasutavad nad JDBC draiverit. Kuna sqoop töötab omal allikal, saame sqoopi käivitada ka ilma installiprotsessita. Sqoopi käivitamine on lihtne, kuna käivitage andmed paralleelselt. Kaardi vähendamise abil saame andmeid importida ja eksportida, mis omakorda tagab paralleelse täitmise.

Järeldus - Sqoopi käsud:

Kokkuvõtteks võib öelda, et Sqoop Commands reguleerib andmete importimise ja eksportimise protsessi. Sqoop pakub võimalust tabeli osi värskendada järkjärgulise koormuse alusel. Andmete importimine sqoopis ei põhine sündmustel. Ja seal on saadaval sqoop2 koos lubatud GUI-ga, millele on käsurida hõlpsaks juurdepääsuks. Andmeedastus on kiire, kuna need edastavad paralleelselt. Neil on Hadoopi keskkonnas oluline roll. Nad teevad oma tööd iseseisvalt, väikeste andmekogumite importimisel pole see vajalik.

Soovitatavad artiklid

See on olnud Sqoopi käskude juhend. Siin oleme arutanud nii Sqoopi põhilisi kui ka täiustatud käske ja mõnda vahetut Sqoopi käsku. Lisateabe saamiseks võite vaadata ka järgmist artiklit -

  1. Sqoopi intervjuu küsimused ja vastused
  2. Petturileht SQL (käsud, tasuta näpunäited ja nipid)
  3. Olulised VBA käsud
  4. Tableau käsud

Kategooria:

Suured andmed