Sissejuhatus andmelao arhitektuuri
- Andmeladu on salvestuskoht, mis sisaldab mitut tüüpi andmeid, mis on kogutud mitut tüüpi allikatest.
- Kogu protsess, kus väliseid andmeallikaid hangitakse, töödeldakse, säilitatakse ja analüüsitakse kasutatavaks teabeks, toimub süsteemide komplektis, mida ühendab üksainus skeem, mida nimetatakse andmelaoarhitektuuriks.
Andmelao arhitektuur
Andmelao arhitektuur koosneb üldiselt kolmest tasandist.
- Esmatasand
- Keskmine tase
- Alumine tasand
Esmatasand
- Ülemine tasand koosneb kliendipoolsest arhitektuuri esiotsa.
- Andmelaos säilitatavat muudetud ja loogikaga seotud teavet kasutatakse ja omandatakse sellel astmel äriotstarbel.
- Soovitud teabe genereerimiseks on olemas mitu tööriista aruannete loomiseks ja analüüsimiseks.
- Nendel päevadel suureks trendiks kujunenud andmete kaevandamine toimub siin.
- Kõik Nõuete analüüsi dokumendid, maksumus ja kõik kasumipõhist äritehingut määravad funktsioonid tehakse nende tööriistade põhjal, mis kasutavad andmelao teavet.
Keskmine tase
- Keskmine tase koosneb OLAP-serveritest
- OLAP on veebipõhine analüütilise töötlemise server
- OLAP-i kasutatakse ärianalüütikutele ja juhtidele teabe edastamiseks
- Kuna see asub kesktasandil, suhtleb see õigustatult alumisel astmel oleva teabega ja edastab ülevaate kõrgeima astme tööriistadele, mis töötlevad olemasolevat teavet.
- Andmelao arhitektuuris kasutatakse enamasti relatsioonilist või mitmemõõtmelist OLAP-i.
Alumine tasand
Alumine tasand koosneb peamiselt andmeallikatest, ETL-i tööriistast ja andmelaost.
1. Andmeallikad
Andmeallikad koosnevad lähteandmetest, mis on hangitud ja edaspidiseks töötlemiseks edastamis- ja ETL-i vahenditele edastatud.
2. ETL tööriistad
- ETL-i tööriistad on väga olulised, kuna need aitavad ühendada loogika, töötlemata andmed ja skeemi üheks ja laadivad teabe andmelaosse või andmekaartidesse.
- Mõnikord laadib ETL andmed andmemahtudesse ja seejärel salvestatakse teave Data Warehouse'i. Seda lähenemist nimetatakse alt üles lähenemiseks.
- Lähenemisviisi, kus ETL laadib teabe otse andmelaosse, nimetatakse ülalt alla lähenemiseks.
Erinevus ülalt alla ja alt üles lähenemise vahel
| Ülalt-alla lähenemine | Alt üles lähenemine |
| Pakub teabele kindlat ja järjepidevat vaadet, kuna andmemaardite loomiseks kasutatakse andmelaost saadud teavet | Aruandeid saab hõlpsasti genereerida, kui esmalt luuakse andmekaardid ja andmekaartidega on suhteliselt lihtne suhelda. |
| Tugev mudel ja seetõttu eelistavad seda suured ettevõtted | Pole nii tugev, kuid andmeladu saab laiendada ja andmemahtude arvu saab luua |
| Aeg, maksumus ja hooldus on kõrge | Aeg, maksumus ja hooldus on madalad. |
Andmekaardid
- Data Mart on ka salvestuskomponent, mida kasutatakse konkreetse asutuse konkreetse funktsiooni või ettevõttega seotud osa andmete salvestamiseks.
- Data mart kogub teavet Data Warehouse'ist ja seega võib öelda, et data mart talletab teabe alamhulga Data Warehouse'is.
- Andmekaardid on paindlikud ja väikese suurusega.
3. Andmeladu
- Data Warehouse on kogu Data Warehouse Architecture keskne komponent.
- See toimib teabehoidlana.
- Andmelaos hoitakse suuri andmeid.
- Seda teavet kasutavad mitmed tehnoloogiad, näiteks suurandmed, mis nõuavad suurte teabe alamhulkade analüüsimist.
- Data Mart on ka Data Warehousei mudel.
Andmelaoarhitektuuri erinevad kihid
Andmelao arhitektuuris on alati neli erinevat tüüpi kihti.
1. Andmeallika kiht
- Andmeallika kiht on kiht, kus saadakse allikast pärinevad andmed ja seejärel saadetakse need soovitud toimingute jaoks teistele kihtidele.
- Andmed võivad olla mis tahes tüüpi.
- Lähteandmed võivad olla andmebaasid, arvutustabelid või muud tüüpi tekstifailid.
- Lähteandmed võivad olla mis tahes vormingus. Me ei saa eeldada, et saame sama vorminguga andmeid, kuna allikad on väga erinevad.
- Päriselus võivad olla mõned lähteandmete näited
- Iga konkreetse rakenduse või töökoha või tööandjate sisenemise logifailid ettevõttes.
- Vaatlusandmed, börsiandmed jne
- Veebibrauseri andmed ja palju muud.
2. Andmeastmekiht
Andmeastmekihis toimuvad järgmised sammud.
1. Andmete ekstraheerimine
Lähtekihi saadud andmed suunatakse etappkihti, kus esimene protsess, mis omandatud andmetega toimub, on kaevandamine.
2. Maandumise andmebaas
- Kaevandatud andmed salvestatakse ajutiselt maandumise andmebaasi.
- See hangib andmed pärast andmete kaevandamist.
3. Peatuspaik
- Andmed maandumise andmebaasis võetakse ja peatuspiirkonnas tehakse mitu kvaliteedikontrolli ja etappide toimingut.
- Samuti tehakse kindlaks struktuur ja skeem ning korrigeerimata kujul korrastatakse andmeid, püüdes sellega omandatud andmete vahel ühtsust luua.
- Asukoha olemasolu või andmete seadistamine vahetult enne ümberkujundamist ja muudatusi on eeliseks, mis muudab etappimisprotsessi väga oluliseks.
- See muudab andmete töötlemise lihtsamaks.
4. ETL
- See on ekstraheerimine, ümberkujundamine ja laadimine.
- ETL-tööriistu kasutatakse andmete integreerimiseks ja töötlemiseks, kui loogikat rakendatakse üsna tooretele, kuid mõnevõrra korrastatud andmetele.
- Need andmed eraldatakse nõutavat analüütilist olemust arvestades ja teisendatakse andmeteks, mida peetakse sobivaks andmete laos talletamiseks.
- Pärast ümberkujundamist laaditakse andmed või pigem teave lõpuks andmelattu.
- Mõned näited ETL-i vahenditest on Informatica, SSIS jne.
3. Andmesalvestuskiht
- Töödeldud andmeid hoitakse andmelaos.
- Need andmed puhastatakse, muudetakse ja valmistatakse ette kindla struktuuriga ning see annab tööandjatele võimaluse kasutada andmeid vastavalt ettevõtte nõudmistele.
- Sõltuvalt arhitektuuri lähenemisviisist hoitakse andmeid nii Data Warehouse kui ka Data Marts. Andmekaarte arutatakse hilisemates etappides.
- Mõnede hulgas on ka operatiivne andmehoidla.
4. Andmete esituskiht
- See kiht, kus kasutajad saavad andmelaos talletatud andmetega suhelda.
- Andmetest erinevat tüüpi teabe saamiseks kasutatakse päringuid ja mitmeid tööriistu.
- Teave jõuab kasutajani andmete graafilise esituse kaudu.
- Äriandmete saamiseks kasutatakse aruandlustööriistu ja äriloogikat kasutatakse ka mitut tüüpi teabe kogumiseks.
- Selles kihis hoitakse ja vaadatakse ka metaandmete teavet ning süsteemi toiminguid ja jõudlust.
Järeldus
Data Warehouse'i oluline punkt on selle tõhusus. Tõhusa andmelao loomiseks konstrueerime ärianalüüsi raamistikuna tuntud raamistiku. Andmelao kujundamisel on nelja tüüpi vaateid.
1. Ülalt-alla vaade: see vaade võimaldab valida ainult konkreetse teabe, mida on vaja andmelao jaoks.
2. Andmeallika vaade: see vaade näitab kogu teavet alates andmeallikast kuni selle muundamiseni ja säilitamiseni.
3. Andmelao vaade: see vaade näitab andmelaos olemasolevat teavet faktabelite ja mõõtmete tabelite kaudu.
4. Ettevõtte päringu vaade: see on vaade, mis näitab andmeid kasutaja vaatepunktist.
Soovitatavad artiklid
See on olnud Data Warehouse Architecture juhend. Siin arutasime andmelaoarhitektuuri erinevat tüüpi vaateid, kihte ja astmeid. Lisateavet leiate ka meie muudest soovitatud artiklitest -
- Karjäär andmetöötluses
- Kuidas JavaScript töötab?
- Andmelao intervjuu küsimused
- Mis on Pandas