Talendi tööriistad - Talendi erinevad tööriistad või komponendid andmete integreerimiseks

Sissejuhatus Talendi tööriistadesse

Talendi avatud stuudios on rohkem kui 700 komponenti sellistes valdkondades nagu suurandmed, andmebaasid, pilv jne. Talendi avatud stuudio võib jagada mitmeks, näiteks Talendi avatud stuudio andmete integreerimiseks ja Talendi avatud stuudio suurandmete jaoks jne. Selles artiklis me näeb detailselt erinevaid talendi tööriistu.

Talend Open Studio komponendid / tööriistad

Andmete integreerimiseks mõeldud Talendi avatud stuudio hõlmab järgmisi valdkondi / tehnoloogiaid koos sisseehitatud komponentidega, mis aitab hõlpsalt töödelda.

Big Data komponendid
Ärikomponendid
Äriteabe komponendid
Pilve komponendid
Kohandatud koodi komponendid
Andmekvaliteedi komponendid
Andmebaasid - traditsioonilised komponendid
Andmebaasid - seadme / andmelao komponendid
Andmebaasid - muud komponendid
DotNET-i komponendid
ELT komponendid
ESB komponendid
Faili komponendid
Interneti komponendid
Logide ja vigade komponendid
Muud rühma komponendid
Orkestratsioonikomponendid
Komponentide töötlemine
Süsteemi komponendid
Talend MDM komponendid
Tehnilised komponendid
XML-komponendid

Siin käsitleme mõnda Talend Open Studio for Data Integration komponenti.

1. tS3Connection: seda komponenti kasutatakse ühenduse loomiseks amazon s3-ga. Komponendid saavad seda ühendust kasutada amazon s3-ga ühenduse loomiseks.

2. tS3Input: seda kasutatakse faili S3 failisüsteemist lugemiseks. Sellel on mõned funktsioonid, mis on sarnased tfileinputdelimitediga, kuid kasutab Amazon Simple Storage teenust.

3. tS3Output: Seda kasutatakse andmete kirjutamiseks S3 failisüsteemi. Sellel on mõned funktsioonid, mis sarnanevad funktsiooniga tfileoutputdelimited, kuid kasutab teenuse Amazon Simple Storage teenust.

4. ts3Put: seda kasutatakse faili paigutamiseks S3-failisüsteemi kohalikust süsteemist.

5. ts3Get: seda komponenti kasutatakse faili S3-st kohalikesse süsteemidesse toomiseks.

6. tS3BucketCreate: seda komponenti kasutatakse S3-le ämbri loomiseks.

7. tS3BucketDelete: seda komponenti kasutatakse S3-st ämbri kustutamiseks.

8. tS3BucketExist: seda komponenti kasutatakse kontrollimaks, kas antud kopp on S3-l olemas. See tagastab tulemuse tõese või vale tõeväärtusena, mida saab kasutada globaalse kaardina.

9. tS3BucketList: Seda komponenti kasutatakse kõigi S3 ämbrite loetlemiseks.

10. tS3Copy: seda komponenti kasutatakse S3 objekti kopeerimiseks ühest ämbrist teise. See sarnaneb rakendusega tFileCopy.

11. tS3Delete: seda komponenti kasutatakse S3 objekti ämbrist kustutamiseks. See sarnaneb rakendusega tFileDelete.

12. tS3Close: seda komponenti kasutatakse ühenduse S3 sulgemiseks, mis on loodud tS3Connectioni abil.

13. tCreateTemporaryFile: see komponent loob ajutise faili, näiteks tFileOutputDelimited, kuid selle ajutise faili saab pärast töö lõpetamist automaatselt kustutada või säilitada.

14. tFileArchive: Seda komponenti kasutatakse tihendatud faili loomiseks ühest või enamast failist. Krüptimist saab rakendada ka pakkimisel.

15. tFileCompare: seda komponenti kasutatakse kahe faili võrdlemiseks ja võrdlusandmete tagastamine.

16. tFileUnarchive: seda komponenti kasutatakse pakitud faili lahtipakkimiseks.

17. tFileCopy: seda komponenti kasutatakse faili või kausta kopeerimiseks sihtkataloogi.

18. tFileDelete: seda komponenti kasutatakse faili või kausta kustutamiseks.

19. tFileExist: seda komponenti kasutatakse faili olemasolu kontrollimiseks. See tagastab tulemuse tõese või vale tõeväärtuses, mida saab kasutada kui globalMap.

20. tFileInputExcel: Seda komponenti kasutatakse määratletud skeemi põhjal Exceli faili lugemiseks.

21. tMsgBox: Seda komponenti kasutatakse OK nupuga dialoogiboksi kuvamiseks.

22. tRowGenerator: Seda komponenti kasutatakse suvalise arvu ridade loomiseks veergudel, millel on kindlad väärtused või juhuslikud väärtused. Seda kasutatakse enamasti testimiseks ja proovifailide loomiseks.

23. tIterateToFlow: seda kasutatakse voogude loendi muutmiseks põhivooluks, mis tähendab iteratsiooni-> rida-> peamist.

24. tFlowToIterate: seda kasutatakse põhivoo muundamiseks voogude loendiks, mis tähendab pea-> rida-> iteratsiooni.

25. tLoop: seda kasutatakse konkreetse ülesande sidumiseks .

26. tReplicate: seda kasutatakse sissetuleva skeemi paljundamiseks kaheks väljundvooguks.

27. tRunJob: seda kasutatakse teise alamtöö tegemiseks praeguse töö piires pärast alamjaotust ok.

28. tSleep: seda kasutatakse töö tegemiseks või teatud alamtüki pausiks antud aja jooksul sekundites.

29. tWaitForFile: see vaatab konkreetset kataloogi ja käivitab järgmise komponendi vastavalt tingimusele.

30.tMysqlBulkExec: seda komponenti kasutatakse pakkumisel jõudluse suurendamist, kui Mysqli andmebaasis sisestatakse toiminguid.

31. tMysqlClose: seda komponenti kasutatakse MySQL-i ühenduse sulgemiseks, mille loob tMysqlConnection.

32. tMysqlRow: seda komponenti kasutatakse SQL-päringu käivitamiseks otse MySQL-i andmebaasis.

33. tMysqlTableList: Seda komponenti kasutatakse tabelite nimede loetlemiseks .

34. tMysqlColumnList: Seda komponenti kasutatakse tabeli kõigi veergude iteratsiooniks .

35. tMysqlCommit: Seda komponenti kasutatakse Mysqli andmebaasis tehtud muudatuste tegemiseks.

36. tMysqlLastInsertId: Seda komponenti kasutatakse viimati sisestatud võtme väärtuse saamiseks

37. tMysqlOutputBulk: seda komponenti kasutatakse eraldaja alusel veergudega faili kirjutamiseks

38. tMysqlOutputBulkExec: Seda komponenti kasutatakse eraldaja alusel veergudega faili kirjutamiseks ja seejärel faili Mysql andmebaasis täitmiseks.

39. tContextLoad: Seda komponenti kasutatakse väärtuste laadimiseks sisendvoogude konteksti. Enne väärtuste laadimist kontekstimuutujateks tuleks luua kontekstimuutujad. Kui kontekstimuutujaid ei looda, kuvatakse see hoiatusega.

40. tHiveClose: seda komponenti kasutatakse ühenduse tHiveConnection abil loodud ühenduse sulgemiseks.

41. tHiveConnection: seda komponenti kasutatakse taru ühenduse loomiseks ja seda saavad teised taru komponendid uuesti kasutada.

42. tHiveRow: seda komponenti kasutatakse taru päringute otse käivitamiseks.

Järeldus

HDFS-i komponente saab vaadata Talendi avatud stuudios Big Data jaoks.
thdfsinput, thdfsoutput on mõned komponendid ja sarnanevad failikomponentidega.
tHDFSInput - loeb Hadoopi hajutatud failisüsteemis (HDFS) asuvat faili. Sellel on mõned funktsioonid, mis sarnanevad faili tfileinputdelimited abil, kuid kasutab Hadoopi hajutatud failisüsteemi.
tHDFSOutput - kirjutab faili Hadoopi hajutatud failisüsteemi (HDFS).
Sellel on mõned funktsioonid, mis sarnanevad faili tfileoutputdelimited, kuid kasutab Hadoopi hajutatud failisüsteemi.
tHDFSPut - seda kasutatakse faili paigutamiseks kohalikust süsteemist HDFS-failisüsteemi.
tHDFSGet - seda komponenti kasutatakse faili HDFS-ist kohalikesse süsteemidesse toomiseks.

Soovitatavad artiklid

See on Talend Tööriistade juhend. Siin käsitleme avatud stuudio komponentide või andmete integreerimise tööriistade tutvustamist ja ühendamist, mis hõlmavad tS3Connection, tS3Input, tS3Output ja ts3Put jne. Lisateabe saamiseks võite vaadata ka järgmisi artikleid -