Sissejuhatus Talendi andmete integreerimisse
Talendi andmete integreerimine tähendab erinevatest allikatest pärinevate andmete ühendamist ja nende ühendamist üheks vaateks, et saada olulisi andmeid nendest, mis aitavad ettevõttel või organisatsioonil nende andmete analüüsi abil oma äri parendada. Integreerimine aitab andmeid hankida, andmeid puhastada, tehes vajaliku ümberkujundamise jms, seejärel laadides need andmelattu.
Mis on Talendi andmete integreerimine?
- Talend on ETL-i tööriist, mida kasutatakse andmete integreerimiseks. Talend pakub lahendust andmete ettevalmistamiseks, andmete kvaliteediks, andmete integreerimiseks ja suurandmete jaoks.
- Talend pakub Open Studio, mis on avatud lähtekoodiga andmete integreerimiseks ja suurandmete jaoks.
- Talendi avatud stuudio aitab tohutute andmete töötlemisel suurte andmekomponentidega. Sellel on rohkem kui 800 komponenti erinevatel integratsiooni eesmärkidel. Siin käsitleme mõnda komponenti. Lihtsamaks muutmiseks vaadake allpool toodud näidet
- Sim-operaatoril on tohutul hulgal andmeid plaanide, klientide, simide üksikasjade jms kohta. Need andmed on tohutud, seega kasutatakse integratsioonis ka suuri andmeid.
Klient Simmi ostmine valitsuse ID abil.
Nime panemine: AB C
Aadress kui: Chennai, Chennai
Telefoninumber: 1234567890
Pärast andmete integreerimist
Eesnimi: AB
Perekonnanimi: C
Aadress: Chennai, India
Telefoninumber: +911234567890
Siin andmed puhastatakse ja muudetakse millekski tähendusrikkamaks.
Andmete integreerimise eelised
Siin räägime andmete integreerimise eelistest.
- Äritrendide analüüsimine andmete integreerimise abil
- Andmete ühendamine ühtseks süsteemiks
- Ajasäästlik ja tõhusam ning vähem ümbertegemist
- Lihtne aruandluse genereerimine - kasutatakse BI-tööriistades
- Andmete säilitamine ja sisestamine andmelaosse ja andmekaartidesse
Talendi andmete integreerimise rakendamine
Siinkohal arutame Talendi andmete integreerimise rakendamist.
1. Töö Talendiga
- Veenduge, et teil oleks Java installitud ja keskkonnamuutujad seadistatud.
- Laadige Talenni veebisaidilt alla avatud lähtekoodiga tarkvara ja installige tarkvara.
- Looge uus projekt ja viige seadistamine lõpule
- Talend avaneb koos disainerite vahekaardiga.
- Talend on eclipse-põhine tööriist ja komponente saab lohistada paletist või klõpsata ja tippida komponentide nime.
2. Esimene töö faili lugemine
- Otsige komponenti tFileinputdelimited. Seda komponenti kasutatakse eraldatud failide lugemiseks.
- Asetage tFileinputdelimited komponent. Otsige üles tLogRow ja pange see töökujundajasse.
- Paremklõpsake nuppu tFileinputdelimited ja valige rida-> pea ja tõmmake joon tLogRow.
- Komponendis valib vahekaart selle faili tee, mida soovite lugeda, ja annab rea eraldajaks \ n. Kui failil on eraldaja, võite piiritleja mainida.
- Klõpsake skeemil ja andke veeru tüübi üksikasjad või võite kogu rea lugeda ühe veeruga stringina ja eraldusväärtus peaks olema tühi.
- Võite ka päise ja jaluse vahele jätta.
- Valige komponendis tLogRow viis, kuidas soovite andmeid vaadata. Tabeli vorming või üherealine vorming.
- tLogRow kuvab väljundi käituskonsoolis.
- Pärast nii tFileinputdelimimited kui ka tLogRow ühendamist käivitage töö vahekaardil Run.
- Faili sisu näete konsoolis trükitud kujul.
3. Teine töö Tmap abil
- Lugege faili ja filtreerige see erinevatesse väljundfailidesse.
- Lugege komponendis tFileinputdelimited olevat faili, mille kirjeks on ühe veeru skeem.
- Tmap-komponent - see komponent aitab andmeid muuta mõnede sisseehitatud funktsioonidega, näiteks otsing, liitumine jne.
- Tmap-is looge kaks väljundit1 ja 2.
- Lisage filtrisse out1 filter record.contains (“talend”) ja juhtige rekord out1-le.
- Joonistage rekordjoon teisele out2.
- Võtke tmapilt peamised read ja looge ühendus kahega tFileoutputdelimited.
- välja1 link ühele failile väljundmudeldatud1 kui fail1.txt ja välja2 muudele failidele väljundmudeldatud2 faili2.txt.
- txt sisaldab kirjeid, mis sisaldavad talendit.
- txt-l on kirjed, millel on muud nimed.
4. Sisseehitatud ja hoidla
- Sisseehitatud tähendab, et peaksite iga kord andmebaasiga ühenduse loomiseks määrama skeemi või üksikasjad.
- Hoidla on kasulik detailide salvestamiseks metaandmetesse, et saaksite samu detaile iga kord uuesti kasutada, ilma et andmeid iga kord käsitsi sisestaks. Metaandmetes saate salvestada failiskeemi, andmebaasiühendused, Hadoopi ühenduse, taruühenduse, s3-ühenduse ja palju muud.
Talendi andmete integreerimise komponendid
Siin räägime Talendi andmete integreerimise komponentidest.
1. tFileList: see komponent loetleb antud failimaski mustriga kataloogid või kaustad.
2. tMysqlConnection: seda komponenti kasutatakse ühenduse loomiseks MySQL andmebaasiga. Mysql-komponendid saavad seda ühendust kasutada andmebaasiga ühenduse loomiseks.
3. tMysqlInput: See komponent aitab käivitada mysql andmebaasi päringu ja hankida tabeli või veerud. Seda komponenti kasutatakse päringute valimiseks ja üksikasjade saamiseks.
4. tMysqlOutput: Seda komponenti kasutatakse andmete sisestamiseks või värskendamiseks andmebaasi Mysql.
5. tPrejob: see komponent on esimene, mida töös täidetakse, ja seda saab ühendada teiste komponentidega, mille funktsioon on Subjob korras.
6. tPostjob: see komponent on viimane, mida töös täidetakse. Selle saate ühendada ühenduse lähedal olevate komponentidega.
7. tLogcatcher: see komponent püüab hoiatusi ja vigu töös. See on kõige olulisem komponent, mida kasutatakse vigade käsitlemise tehnikas. Selle komponendi ja tfileoutputdelimited abil saab tõrkelogisid kirjutada. Komponente on rohkem kui 800+.
8. Kontekstimuutuja: Kontekstimuutujad on muutujad, mida saab töös kasutada ükskõik kus. Sellel on väärtused ja seda saab teisele tööle üle viia ka tRun-komponente kasutades. Kontekstimuutujaid kasutatakse selleks, et saaksime väärtust erinevatel eesmärkidel muuta. Näiteks võib meil olla arenduse kontekstirühma väärtuste komplekt ja tootmiseks erinevad kontekstiväärtuste komplektid. Nii ei pea me töökohta vahetama, piisab ainult kontekstiparameetrite muutmisest.
9. Töö ehitamine: töö loomiseks paremklõpsake tööl ja valige ehitustöö. Ehitustöö saab importida TAC-is. Talendi halduskonsoolis plaanite tööd, et käivitada ka sõltuvus tööst. Töö saab ka artefakti abil importida Nexuse hoidlast.
10. Looge TAC-is ülesanne: avage TAC-is tööülesannete juht. Klõpsake uusi ülesandeid ja valige tavalised või esemelised ülesanded. Importige ehitustöö või valige seos. Valige tööserver, kus talend käivitatakse. Salvestage ülesanne. Nüüd saate seda tööd juurutada ja käivitada.
Järeldus
- “Lihtsustage ETL-i ja ELT-i juhtiva tasuta avatud lähtekoodiga ETL-i tööriistaga suurandmete jaoks.” On avatud stuudio sildiliin.
- Talend Bigdata sisaldab tohutute andmete töötlemiseks palju komponente.
- Tavaline töö, Bigdata töö, Bigdata voogesitustööd on Talendis saadaolevat tüüpi tööd.
- Bigdata töökohti saab luua sädeme või MapReduce'i raamistikus.
Soovitatav artikkel
See on Talendi andmete integreerimise juhend. Siin käsitleme Talendi andmete integreerimise sissejuhatust ning eeliseid koos rakenduste ja komponentidega. Lisateabe saamiseks võite tutvuda ka meie teiste soovitatud artiklitega
- Andmete integreerimise tööriist | 12 parimat tööriista
- Talendi intervjuu küsimused ja vastused
- Parimad andmete visualiseerimise tööriistad selle tüüpidega
- Talend vs Mulesoft - erinevused
- Mis on Data Mart?