Karjäär Hadoopis - sissejuhatus
Hadoop pole suurandmete maailmas pelk raamistik. Sellel on lai ökosüsteem koos sellega seotud tehnoloogiate vihmavarjuga. Samal põhjusel on paljulubav karjäär Hadoopis. Kui teil on Hadoopi põhialustest hästi aru saada, on see Hadoopi suure karjääri alustala.
Haridus karjääriks Hadoopis
Nagu paljud uued andmesidetehnoloogiad, ei nõua Hadoop iseenesest konkreetset haridusalast tausta. Ligikaudu pooled Hadoopi arendajatest on pärit muu kui infotehnoloogia taustast, nagu statistika või füüsika. Seega on selge, et taust ei takista Hadoopi maailma sisenemist, kui olete valmis õppima põhialuseid. Seal on häid veebikursusi, mis hõlmavad Hadoopi - eduCBA kursus on parim näide - master-apache-Hadoop
Lisaks, kui soovite liikuda sügavamale Hadoopi klastrite halduse või andmete modelleerimise valdkonda Hive materjalides, on iga konkreetne teema saadaval veebikursuste ja õpikutena. Enamasti seadistatakse Hadoopi klastrid pilveteenuse pakkujasse nagu AWS või Azure. Nii et saate tutvuda kõigi teie valitud pilvemüüjatega palju. AWS-i Hadoopi teenus kannab nime EMR.
Populaarne spetsialiseerumine hõlmab:
- Spark - skaleeritav mälusisene andmetöötlusmootor
- HBase - HDFS-i peal pole SQL-andmebaasi
- Beam - voogesituse esimese lähenemise andmetöötlus
- Siga - andmete teisendamise (ETL) skriptimine
- Taru - andmete ladustamine
- Mahout, Spark MLlib - skaleeritav masinõpe Hadoopis
- Apache Drill - SQL-mootor Hadoopis
- Flume, Sqoop - andmesideteenused
- Solr & Lucene - otsimine ja indekseerimine
Karjääritee Hadoopis
Vastavalt 2017. aasta virnade ülevoolu uuringu tulemustele on Hadoop juhtiv populaarseim ja armastatuim raamistik suurandmete ruumis (uuringu link). See on võimalik ainult seetõttu, et erineva IT-vaatenurga inimesed leidsid Hadoopile potentsiaalse karjääritee ja soovivad vahetada.
Ükskõik, milline on teie praegune IT-roll, toimub Hadoopi maailmas hõlpsasti kohandatav karjäär. Mõned populaarsed näited -
- Tarkvaraarendaja (programmeerija) -> Hadoopi andmearendaja, kes tegeleb erinevate Hadoopi abstraktsioonide SDK-dega ja tuletab andmetest väärtust.
- Andmeanalüütik -> seega valdate SQL-i. Hadoopis on tohutu võimalus töötada selliste SQL-mootoritega nagu Hive või Impala
- Ärianalüütik -> organisatsioonid, kes üritavad massiliselt kogutud andmeid kasutades kasumlikumaks muutuda, ja ärianalüütiku roll on selles ülioluline.
- ETL-i arendaja -> Kui töötate traditsioonilise ETL-i arendajana, saate hõlpsalt Hadoop ETL-i üle minna, kasutades selliseid tööriistu nagu Spark.
- Testijad -> Hadoopi maailmas on testijate järele tohutu nõudlus. Hadoopi põhialuste ja andmete profileerimise mõistmise kaudu saavad kõik testijad selle rolli üle minna.
- BI / DW elukutsed -> saavad hõlpsalt Hadoop Data arhitektuurilt üle minna modelleerimisele Data.
- Vanemad IT-spetsialistid -> Valdkonna ja andmemaailma olemasolevate väljakutsete sügava mõistmise kaudu võib vanemprofessionaalist saada konsultante, saades teadmisi Hadoopi püüdmise kohta neid väljakutseid lahendada.
- Seal on üldised rollid, nagu Data Engineers või Big Data Engineering, kes vastutab lahenduse juurutamise eest enamasti pilveteenuse pakkujate peal. Pilve pakutavate andmekomponentide tundmise omandamisel on see paljutõotav roll.
Tööpositsioonid
Hadoopi ökosüsteem pakub mitmesuguseid karjäärivõimalusi
- MapReduce Developer - see on põhimõtteliselt Java arendaja roll, kes mõistab ka seda, kuidas Hadoopi süsteemid sisemiselt töötavad. On olemas abstraktsioon nagu taru või siga, kuid endiselt on MapReduce'i töökohad hädavajalike süsteemide jaoks vajalikud. MapReduce'i arendajad mõistavad süsteemi sisse ja välja ning maksavad tõepoolest kõrgeid makse.
- Hadoopi administraatorid - need on inimesed, kes vastutavad Hadoopi klastri tervise ja töövõime eest. See võib hõlmata tüüpilisi administraatori toiminguid nagu korrapärased süsteemi tervisekontrollid, kuid enamus Hadoopi süsteemi arhitektuuri mõistmiseks vajalikest toimingutest.
- Devops - uute süsteemikomponentide ja muude arendusega seotud muudatuste juurutamine Hadoopi klastrisse. Selle rolli vastutus on väga erinev ja sõltub organisatsiooni kultuurist.
- Andmearendaja - andmetöötlus Hadoopi peal. See on üks Hadoopi ökosüsteemi kõige populaarsemaid rolle. Nendele rollidele sobivad kõige paremini SQL-i või analüüsi taustal olevad inimesed. Enamasti töötavad Hadoopi kõrgetasemelised abstraktsioonid nagu taru või siga.
- Andmeturbe administraator - andmed on kõige väärtuslikum vara ja nende turvalisus on kõige olulisem. Turvaadministraatorid tagavad andmete kaitsmiseks tööstuse tavapärased põhimõtted ja parimad tavad, mille mõistmise piirang on süsteem
- Data visualizer - käsitlege järgmise põlvkonna visualiseerimisriistu, mis võimaldavad mälu andmete vahemällu salvestamise abil dünaamilist andmete viilimist ja koondamist
- ETL-i arendaja - saate muuta andmeid andmete kvaliteedi parandamiseks või äriloogika järgi Hadoopi ökosüsteemi tööriistade abil. ETL-protsess võib olla voogesitus või perioodiline.
- Süsteemiarhitekt - projekteerige suure jõudlusega süsteeme, võttes arvesse andmete saadavust ja vastupidavust kulutasuval viisil. Sõltub suuresti riistvara pakkujast.
- Andmearhitekt - lisaks tavapärasele andmete loogilisele / füüsilisele kujundusele on andmearhitekti vastutusel ka paljud muud asjad, näiteks veergude kodeerimine, denormaliseerimine, eraldamise kujundamine jne.
Soovitatavad kursused
- Online XML- ja Java-koolitus
- Node.JS kursused
- Silverlighti koolituskursus
- Ember.JS programm
Palk
Tarkvaraarendaja keskmine palk USA-s on 90 956 dollarit aastas, samal ajal kui Hadoopi arendaja keskmine palk on palju suurem - 118 234 dollarit aastas (vastavalt tõele.com - tõepoolest.com)
Hadoopi arendaja palgad USA parimates ettevõtetes (viide: really.com)
| Apple | Aastas 147 573 dollarit |
| Wipro | 110 553 dollarit aastas |
| HERO.jobs | 158 715 dollarit aastas |
| MBCAA | 133 422 dollarit aastas |
| Ventures Unlimited Inc | 130 000 dollarit aastas |
| Nityo Infotech Services Pvt. OÜ | 128 633 dollarit aastas |
| PÕHJANAEL | 126 370 dollarit aastas |
| PRI tehnoloogia | 121 396 dollarit aastas |
| NITYO INFOTECH | 116 909 dollarit aastas |
| HortonWorks, Inc | 110 710 dollarit aastas |
Karjäärivaade
Hadoopi ökosüsteem on ettevõtte vajaduste muutumisega toimetulekuks palju erinev. Kuna genereeritavate andmete arv kasvab hüppeliselt ja üha enam organisatsioone muutuvad andmepõhiseks, kasvab Hadoopi süsteemi asjakohasus alles.
Mõned märkimisväärsed suundumused:
- Üleminek pakettöötluselt voogesituse esimesele andmetöötlusviisile, kasutades funktsiooni Spark ja Beam
- Spark ML abil saab reaalajas andmete jaoks rakendada rohkem reaalajas masinõppe mudelit
- SQL-mootorid, mis on eraldatud andmesalvest, nagu Presto S3 peal, võimaldavad ajutist analüüsi andmejärve peal.
- Veeru MPP andmebaasid, näiteks AWS Redshift, võimaldavad kiiret juurdepääsu andmetele
Kuna suurandmete töötlemise põhiaspektiks on tõrketaluvusega hajutatud ja horisontaalselt skaleeritavad süsteemid, mida Hadoop hästi rakendab, jätkab Hadoop juhtiva andmetöötluse ökosüsteemina.
Soovitatav artikkel
See on olnud Hadoopi karjäärijuhend. Siin oleme arutanud sissejuhatust, haridust, karjääriteed Hadoopis, palka ja karjäärivõimalusi Hadoopis. võite lisateabe saamiseks vaadata ka järgmist artiklit -
- Azure Paas vs Iaas ja nende kasulikud eelised
- Uurige Java ja Node JS erinevusi
- Parim asjatundlik nõuanne suurarvuti karjääri kohta
- Karjäär SQL-is
- Kasulik karjäär tarkvarainsenerina
- Hadoopi administraator | Oskused ja karjääritee