Suurandmete tehnikad: tehnoloogia ja ärianalüütika ühilduvus
Tehnoloogia ja ärianalüütika koosmõju -
Pikad, ammu elavad mehed nomaadielu, enne kui nad järk-järgult põllumajanduse juurde tagasi pöördusid. Ratta, tuletõrje- ja aurumasina leiutist peetakse inimkonna evolutsiooni pöördepunktideks mehhaniseerimise ja elukvaliteedi suurendamise suunas.
Samuti on legendaarne Newtoni liikumis- ja gravitatsiooniseadus, Einsteini relatiivsusteooria, mis tähistab nüüd oma 100. aastat, või termodünaamika seadus, mis kõik on teadust revolutsiooniliselt muutnud ja rakendusteadust mõjutanud. Arvuti leiutamine, personaalarvuti saabumine ja graafiline kasutajaliides (GUI) on kõik digitaalajastu arengu verstapostid. Just binaarsed numbrid nullid ja need, mis on montaažitaseme keelte keskmes.
Binaarsed - suurandmete tehnikad
Riistvaratasandil võtavad nullid ja nullid vooluahelaid arvutis, ettevõtte tasemel muudavad suurandmete tehnikad muudatusi selles, kuidas ettevõtted kavandavad turundusstrateegiaid konkurentsis püsimiseks. See võib koosneda mis tahes üksik- ja mitmekohalistest numbritest, mis kõik sisaldavad olulist teavet turu, masina toimimise, inimkeha toimimise, e-kaubandustehingute või lihtsalt igapäevase tegevuse kohta, millel võib olla või ei pruugi olla midagi pistmist ostmise või müümisega.
Ettevõtted ja raamatupidamisasjatundjad räägivad tavaliselt varadest ja kohustustest. Tavaliselt tähistasid varad masinaid, tehnoloogiat, oskusteavet, inimressursse, infrastruktuuri ja ka finantsvarasid.
Nüüd toimub nende materiaalsete varade kõrval paradigmamuutus, sest organisatsioonide ja turgude suuruse kasvades on mõned üksik- ja mitmekohalised numbrid või andmed muutunud kõige hindamatumaks varaks. Turunduse ja suurandmete strateegiast on andmetest saanud kõige olulisem vara.
Ettevõtete suurus ja maht kasvab. Enam pole väike ilus ega elujõuline. Mitme riigi ettevõtted, suured kaubanduskeskused ja suuremahulised e-kaubanduse ettevõtted on seadnud kogu maailmas uue suundumuse. Selle suurettevõtte edu saavutamiseks on andmete analüüs muutunud kriitiliseks. Ettevõtted on pärast Big Data Hadoopi, et seda kasutada, saada turuteavet ja mõista klientide nõudmisi.
Tehnoloogia ja andmete analüüsi liitumine
Kujutise allikas: pixabay.com
Organisatsioonide suurandmete tehnikad on mõttetud, kui pole olemas tugitehnoloogiat andmete kaevandamiseks, töötlemiseks ja korraldamiseks, et ettevõtted saaksid seda eluliselt olulist vara kasutada. Tunnustatud kirjanik ja analüütik Bernard Marr on öelnud, et ettevõtted, sõltumata nende suurusest, olgu see siis Fortune 500 ettevõte või väike ema ja poppood, nõuaksid Hadoop Big Data kasutamist, et näha muudatusi, mida see ettevõtetele toob.
Suurandmete tehnikad on suurte andmekogumite kogum ja neid on tohutult palju, et nende analüüsimiseks ja tähendusliku teabe loomiseks on vaja keerukaid programme. See võib olla ostmisharjumused, filmidesse mineku sagedus, veebisaidil sisselogimise sagedus, veebipõhine ostmine, toidukaupade tellimine, mobiiltelefonide vahetamise sagedus ja nii edasi.
Suurte andmekogumite analüüsimiseks kasutatakse mitmesuguseid tööriistu, raamistikke ja tehnikaid ning need on tööstuses palju otsitud. Ekspertide sõnul pole olulised andmed, vaid see, mida ettevõte nende andmetega teeb.
Erinevate tehnoloogiate ja platvormide hulgas on Hadoop populaarseim, ehkki sellel võib olla ka puudusi. See on avatud lähtekoodiga arendusplatvorm, mis on kirjutatud C, C ++, Java ja aitab organisatsioonidel analüüsida tohutul hulgal andmeid reaalajas.
Suurte andmete tehnikad reaalajas
Kogumine, säilitamine, teisaldamine ja analüüsimine pole staatiline tegevus, vaid ka dünaamiline tegevus, mis hõlmab reaalajas keskkondi. Pidevalt kogutakse andmeid lennukite, automootorite, patsientidega ühendatud monitoride kohta haiglates, krediit- või deebetkaarditehingute kohta veebis - kõik need vajavad keerulisi algoritme, programme, suurandmete arhitektuuri ja tugevat mälusisese töötlemise võimalust.
MapRi tegevjuht John Schroeder ütles, et neil on Big Data rakendused, mis kaitsevad miljoneid American Expressi kaardiomanikke pettuste eest ja tervishoius töötavad nad vähihaigete paremate raviprotseduuride pakkumisel.
Globaalsed IT-peamised ettevõtted, nagu Microsoft, Oracle, SAP, IBM, on kõik pilveplatvormil ja võimaldavad ka suurandmete tehnikat käsitlevaid lahendusi.
Suurandmete tehnikad ja asjade Internet
Veebi- ja manustatud tehnoloogia kiired muutused on võimaldanud paljude seadmete omavahel ühendamist, mis on võimeline andmeid reaalajas saatma. On tekkinud Internet, mis koosneb pigem asjadest kui inimestest ja arvutitest.
Iga seade, mida me kasutame või kasutame, on võimeline lõpetama andmed, millel oleks omakorda laiaulatuslikud rakendused muu hulgas suurandmete turunduse, disaini ja tervishoiu valdkonnas.
Andmete kaevandamine
Nüüd on võimsad superarvutid kasutusele võetud relatsiooniandmebaasidest pärinevate andmete kaevandamiseks ning need aitavad statistikutel ja analüütikutel mudeleid luua. Mitmed uuendajad on välja pakkunud tööriistad ennustavate suurandmete analüüsi mudelite väljatöötamiseks, et ettevõtted saaksid otsuseid paremini vastu võtta. Need pakuvad ka lihtsat graafilist kasutajaliidest (GUI) ja on väga kasutajasõbralikud.
Karjäär Big Data tehnika alal
Loomulikult on suurandmete tehnika revolutsioon sünnitanud täiesti uue hulga eksperte, kes on seotud selle suurandmete analüüsi ja tehnoloogia konkreetsete valdkondadega. Nõudlike tehnoloogiaoskuste hulgas on Apache Hadoop, Apache Spark, NoSQL, masinõpe ja andmete kaevandamine, statistiline ja kvantitatiivne analüüs, SQL, andmete visualiseerimine, andmeteadlased, üldotstarbeline programmeerimiskeeleoskus. Analüütikute hinnangul suurenevad võimalused järgmisel kümnendil tänu kiirele arengule selles valdkonnas veelgi.
Aastal 2015 oli tõepoolest tohutu nõudlus suurte andmesidetehnikatega seotud ekspertteadmiste järele, kuna IBM oli juunis viimase kaheteistkümne kuu jooksul reklaaminud 2 307 ametikohta, teatas ajakiri Forbes aasta keskpaiga hinnangus. Big data koolitusega tehniliste spetsialistide reklaamitav palk on 104 850 dollarit. Kõige nõutumad oskused olid VMWare ekspertiis, rakenduste arendamine, avatud lähtekoodiga tehnoloogia, andmete ladustamine ja Pythoni programmeerimisoskused.
Tööstuses on suurandmete tehnikat ja teenuseid pakkuvad professionaalsed, teaduslikud ja tehnilised teenused, mis moodustavad 25% nõudlusest. Teiste juhtivate kategooriate hulgas on infotehnoloogia 17%, töötleva tööstuse 15%, rahanduse ja kindlustuse 9% ning jaekaubanduse 8%.
Suurandmete analüüsi eelised
1) Andmete säilitamine, kaevandamine ja analüüs:
Suured andmesidetehnoloogiad on võimaldanud nii salvestatud kui ka reaalajas andmete juurutamist mitmesuguste äri- ja missioonikriitiliste rakenduste jaoks
2) Turu ennustamine ja prognoosimine:
Suurte andmetehnika ajastul olid ettevõtted sunnitud tegema sisulist andmeanalüüsi reaalajas või prognoositavat analüüsi tehnoloogia puudumisel. Näidisküsitlused ja klientide tagasiside pakkusid strateegidele ainukest lahendust uuenduste tegemiseks uute pakkumistega turule.
3) Ettevõtted loovad suure hulga andmeid ja varasematel aastatel ei suutnud ettevõtted nende kogumiseks ja analüüsimiseks piisavalt suuri andmesidevahendeid kasutada.
4) Reaalajas suurandmete ärikeskkond, häkkimine ja andmete vargus võivad kriitiliselt mõjutada organisatsiooni tööd, klientide usaldust ja muuta selle haavatavaks edasiste rünnakute korral. On tõestatud, et suurandmed ja Hadoop aitavad organisatsioonidel andmete vargusi tuvastada. Andmete varguse metoodikad arenevad kiiremini kui vargusvastased metoodikad või ennetustegevused.
Kas suurandmete tehnikad on ainus nõue edu saavutamiseks
Suurandmete loodud hüpe pole mõne kriitiku juures hästi välja käinud, kes osutavad mõnele probleemile, mis on seotud selle kasutuselevõtuga tööstuses. Mõned analüütikud on seadnud kahtluse alla, kas investeeringu tootlus on positiivne ja kas see on väärt selle rakendamiseks kulutatud aega ja vaeva. Teine on seotud suure hulga andmete ja analüüsidega, mis ei pruugi selgitada, miks selline tarbijakäitumine aset leiab.
Suurandmete analüüsi saab tõhusalt kasutada koos traditsiooniliste uuringumetodoloogiatega (paksud andmed), mis kaardistavad piirkondade säästmis-, investeerimis-, ostu- ja kulukäitumise demograafilisi mustreid, mis annab turu laiema mõistmise. Big Data tööriistad võivad anda pildi juhtunust ja kuidas, aga miks see juhtub, saab Big-i skeptikute sõnul aru saada ainult konkreetsete tarbijate või piirkonna laiapõhjalisest mõistmisest, mis põhineb demograafilisel profiilil, elustiilieelistustel, kulutamisharjumustel ja muu hulgas. Andmetööriistad.
Suurandmete tehnoloogia suundumused
Big Data abil lahendusi pakkuv ettevõte MapRi tegevjuhi ja kaasasutaja John Schroederi sõnul oli 2015. aastaks välja kujunenud trendid ette ennustanud ja enamus neist on paistnud olevat tõesed.
Andmejärvede andmejaamad: skaleeritava infrastruktuuriga andmejärved näivad olevat eelistatud, kuna need on majanduslikult atraktiivsed ja madalamad kulud ühe terabaidi kohta).
Iseteenindus: iseteenindusega suurandmete tööriistad võimaldavad arendajatel, andmeteadlastel ja andmeanalüütikutel otseseid andmeid uurida.
Andmete paindlikkus
Kuna andmebaas laieneb ja kiiremat töötlemist on vaja, näivad pärandsüsteemid protsessi aeglustavat. Legacy andmebaasid ja laod on osutunud liiga aeglaseks ja seetõttu uurivad organisatsioonid, kui paindlik on nende andmetöötlus.
Hadoop innovatsiooni faasis: Hadoop jääb innovatsiooni faasi ja Shroeder usub, et võimalik, et toimub nüansirikkam avatud lähtekoodiga tarkvara mudel koos põhjaliku innovatsiooni ja kogukonna arendamisega.
Turvalisuse väljakutse
Suurte andmete salvestamine ja töötlemine on nüüd avatud lähtekoodiga Hadoopi süsteemis üha enam turvariskide suhtes haavatavaks muutunud. Turvafunktsioonid on selliste ohtudega siiski ühildatud ja eriti võrreldes turvalisemate ettevõtte ressursiplaneerimise (ERP) süsteemide ja relatsiooniandmebaasidega.
Pilvandmetöötlus
Pilvandmetöötluse kiire areng võimaldab isegi väikestel ja keskmise suurusega ettevõtetel kasutada SaaS-i (tarkvara teenusena), platvormi teenusena (PaaS) ja muid müüjate pakutavaid platvorme, mis võimaldavad neil kasutada suuri andmesideteenuseid palju odavamalt. kulud, mille puhul ei nõuta kulukaid litsentsitasusid ja installeerimist.
Tunnustatud autori ja analüütiku Bernard Marri sõnul kasutatakse SaaS-i kaudu pilveruumis keerulisi algoritme, mis annavad täpsema pildi sellest, millal, kuidas ja miks toodet müüakse. Tsiteerides AutoDeski Charlie Crockerit, osutab ta, et kuni Big Data kliendi tagasiside saamiseni oli keeruline ülesanne, kuid nüüd töös olevate keerukate algoritmidega suudavad suured andmeettevõtted paremini mõista tarbijate käitumist ja luua neile tooteid.
Big Data tööriistade tulevik on helge
International Data Corp prognoosib, et suurandmete turg kasvab kuni 2019. aastani 23% -lise kasvutempo juures, kusjuures aastased kulutused ulatuvad 2019. aastal 48, 6 miljardi dollarini. IDC usub, et kolm peamist alamturgu: infrastruktuur, tarkvara ja teenused kasvavad järgmise viie aasta jooksul märkimisväärselt. aastate tarkvara juhtimisega, teabehalduse, avastuse ja analüüsi ning rakendustarkvaraga, mille juht CAGR on 26%.
IDC prognoosib, et teenuste, sealhulgas infrastruktuuri ja tarkvara professionaalsete ning tugiteenuste CGR tõuseb 22, 7 protsenti. Prognooside kohaselt kasvab taristu - mis koosneb andmetöötlusest, võrkude loomisest, salvestusinfrastruktuurist ja muust andmekeskuse infrastruktuurilaadsest turvalisusest - CAGR on 21, 7 protsenti ja moodustab 2019. aastal umbes poole kõigist kulutustest.
"Võimalus kasutada suurandmeid ja analüütikat kliendi tegevusest ja äritegevusest integreeritud ülevaate väljatöötamiseks pakub ettevõtetele konkurentsi diferentseerumist erinevates tööstusharudes, " ütles hiljuti IDC globaalse tehnoloogia- ja tööstusuuringute organisatsiooni programmidirektor Jessica, Goepfert. „Kuid lisaks tohututele võimalustele on suurandmetel ka olulisi riske ja
Digitaalne muundamine (DX) juhib järgmise mitme aasta jooksul “kõike, mis IT-s olulist”. IDC-ga DX-majanduses edu saavutamine tähendab selliste tehnoloogiate kasutamist nagu mobiil, pilv, suurandmete analüüsi tööriistad, IoT, AI ja robootika, et luua konkurentsieelis uute pakkumiste, uute ärimudelite ja uute kliendi-, tarnija- ja levitaja suhete kaudu, ”Ütles IDC peaanalüütik Frank Gens.
Key Takeaways IDC ennustustest
- 2020. aastaks seotakse peaaegu 50% IT-eelarvetest DX-i (digitaalse muundamise) algatustesse.
- 2018. aastaks kontrollivad LOB-i juhid 45% + kõigist IT-kulutustest kogu maailmas, üle 60% USA-s
- 2017. aastaks läheb üle 50% IT-kuludest uute tehnoloogiate jaoks (mobiil, pilv, suurandmete tööriistad jne).
- Isegi kiirelt arenevate tehnoloogiate ja platvormide puhul on kaheldav, kas kõiki olemasolevaid andmeid analüüsitakse või poleks seda vaja, väitsid mõned eksperdid. Oluline on see, kas asjaomased andmed on sidusrühmade huvides kindlaks tehtud ja analüüsitud.
Soovitatavad artiklid
Siin on mõned artiklid, mis aitavad teil suurandmete tehnikate kohta täpsemat teavet saada, nii et minge lihtsalt lingi kaudu.
- 8 Kõige kasulikum juhend Big Data intervjuu küsimuste kohta
- Miks on innovatsioon suurandmete kõige kriitilisem aspekt?
- 5 peamist suurandmete suundumust, mida ettevõtted peavad valdama
- Mis on NOSQL-i oskused suure andmekarjääri loomisel?
- Andmete kaevandamise sissejuhatuse juhend