Sissejuhatus Data Lake vs Data Warehouse
Data Lake vs Data Warehouse on terminid, mida kasutatakse vaheldumisi, kuid mõlema termini vahel on erinevused. Allpool toodud diagramm on esitatud, et mõista nende kahe vahelist kõrgetasemelist erinevust. Varsti käsitleme üksikasjalikult iga neist.
Mis on Data Lake?
Andmejärv on omamoodi salvestushoidla, mis koosneb ainult töötlemata, poolstruktureeritud ja struktureerimata vormingu andmetest. Andmejärve kasutavad enamasti andmeteadlased ja masinõppeinsenerid, kuna see aitab neil vastata küsimustele, millele ei ole veel vastatud, või võib-olla luua veel teadmata küsimuse. See sisaldab suurt hulka erinevat tüüpi andmeid ja kui need on integreeritud, osutuvad nad väga kasulikuks ennustava modelleerimise osas, mida enamasti kasutatakse masinõppe mudelite loomiseks.
Mis on andmeladu?
Andmeladu on tsentraliseeritud koht muudetud andmete salvestamiseks, mis enne struktuuri vormingusse vormistamist salvestatakse enne andmelaosse salvestamist. Andmelaos võib olla andmeid mitmest andmeallikast, mis laaditakse ETL-protsessi abil lattu ja mida seejärel kasutatakse äriteabe jaoks.
Data Lake'i ja Data Warehouse'i (Infographics) võrdlus
Allpool on toodud 14 peamist erinevust Data Lake vs Data Warehouse vahel 
Peamised erinevused
Allpool on toodud peamised erinevused andmejärve ja andmelao vahel:
- See koosneb struktureerimata ja struktureeritud andmetest erinevatelt platvormidelt, näiteks anduritelt, rakendustelt ja veebisaitidelt jne. Enamasti koosneb see RDBMS-ist, DBMS-süsteemidest ning muudest operatiivsetest andmebaasidest ja rakendustest saadud relatsioonilistest andmetest.
- Data Lake on skeemil põhinev töötlemine. Andmeladu töötleb skeemi kirjutamist.
- See on väga vilgas. See on vähem vilgas.
- Seadistamine on lihtne ja saab muutustega kohaneda. Sellel on fikseeritud konfiguratsioon ja seda on väga raske muuta.
- Seda kasutavad enamasti AI teadlased ja masinõppe spetsialistid. Seda kasutavad ettevõtlusspetsialistid.
Data Lake'i ja Data Warehouse'i võrdlustabel:
Arutleme, milline on suurim erinevus Data Lake vs Data Warehouse vahel
| Omadused | Data Järv | Andmeladu |
| Ladustamine | Andmeid hoitakse töötlemata kujul Data Lake'is ja siin hoitakse kõiki andmeid sõltumata andmete allikast. Neid muundatakse muudeks vormideks ainult vajaduse korral. | Andmeladu koosneb andmetest, mis on ekstraheeritud tehingute ja muudest mõõdikute süsteemidest. Siin pole andmed töötlemata kujul ning need on alati muudetud ja puhtad. |
| Kasutamine ja eesmärk | Data Lake'i peamine eesmärk on andmeteadlased, suurandmete arendajad ja masinõppeinsenerid, kes peavad tegema süvaanalüüsi, et luua ärimudelid, näiteks ennustav modelleerimine. | Data Warehouse'i peamine eesmärk on operatiivsed kasutajad, kuna need andmed on struktureeritud vormingus ja võivad pakkuda aruannete koostamiseks valmis olekut. Seega kasutatakse neid enamasti äriteabe jaoks. |
| Andmesisestused | Andmejärve peamised sisendid on igasugused andmed, näiteks struktureeritud, poolstruktureeritud ja struktureerimata andmed. Need andmed asuvad andmete järves nende algsel kujul. | Andmelao peamised sisendid on struktureeritud andmed, mis pärinevad tehingu- ja mõõdikusüsteemidest, mis seejärel korraldatakse skeemide kujul. |
| Andmete kvaliteet | Sisaldab algandmeid, mida võib kureerida või mitte. | See koosneb kureeritud andmetest, mis on tsentraliseeritud ja on ärianalüüsi ja analüüsi eesmärgil valmis kohtusse kaevama. |
| Normaliseerimine | Siin pole andmed normaliseeritud kujul. | Denormaliseeritud skeemid |
| Ajalugu | Andmejärvedes (nt Hadoop, Machine Learning) kasutatavad tehnoloogiad on võrreldes andmelaoga suhteliselt uued. | Andmelao jaoks kasutatav tehnoloogia on vanem. |
| Andmete ajajoon | Andmejärvel võib olla igasuguseid andmeid ja seda saab kasutada minevikku, olevikku ja väljavaateid silmas pidades. | Andmelao osas kulub siin suurem osa ajast erinevate andmete allikate analüüsimiseks. |
| Töötlusaeg | Siin on töötlemisaeg andmete järve analüüsimise ja tulemuste saamise ajal Data Warehouse'ist palju lühem, kuna siin hoitakse andmeid töötlemata andmetena ja need pole teisendatud vormingus ning selle tulemusel katkestasime aja see võib kuluda andmete muutmisele. Saame lihtsalt koguda andmeid sellisena, nagu nad on, ja teha mõned põhipuhastused ning hakata oma mudeleid üles ehitama. | Andmelao puhul kulub töötlemiseks rohkem aega, võrreldes andmejärvega. Põhjus on see, et esmalt tuleb suvalises andmelaos olevad andmed ümber muuta ja seejärel saab neid analüüsida. |
| Ladustamiskulud | Andmejärve tehnoloogiates on siin ladustamise kulud suhteliselt madalamad kui andmelaos ja need on ka vähem aeganõudvad. | Andmelao tehnoloogiates hoidmise kulud on võrreldes andmejärvega rohkem. Selle põhjuseks on see, et ümberkujundatud andmete jaoks on vaja rohkem salvestusruumi, kuna esmalt tuleb talletada töötlemata andmed ja seejärel need ümber teisendada, et vastavalt andmelao struktuurile määrata erinevad väljad. |
| Ühilduvus | Siin hoitakse andmeid alati töötlemata vormingus ja neid muudetakse ainult siis, kui neid on vaja või kui nad on kasutamiseks valmis. | Siin hoitakse andmeid muudetud vormingus ja muudatuste tegemisel võib tekkida probleeme. |
| Juurdepääsetavus | Andmebaasis olevad andmed on hõlpsasti juurdepääsetavad ja neid saab kiiresti värskendada. | Andmebaasis olevad andmed on keerukamad ja nende muudatuste tegemine nõuab rohkem kulusid, juurdepääs on piiratud ka ainult volitatud kasutajatele. |
| Skeemi asukoht | Skeem luuakse enamasti pärast andmete salvestamist. See toob kaasa suure paindlikkuse. | Siin luuakse skeem enamasti enne andmesalvestust. |
| Töötlemise protsess | Andmejärv kasutab ELT-protsessi, st ekstraheerimist, laadimist ja teisendamist. | Andmeladu kasutab ETL-i traditsioonilist lähenemisviisi, st ekstraheerimine, teisendamine ja laadimine. |
| Kasu | Andmejärv viib uute leiutiste juurde, kuna integratsioon koondab erinevat tüüpi andmeid ja pakub vastuseid ka paljudele vastamata küsimustele. | Enamik organisatsiooni kasutajaid on seotud operatiivtegevusega ja andmeladu pakub ühte sellist säravat platvormi aruannete ja mõõdikute loomiseks muudetud andmete peal. |
Järeldus
Selles postituses saime teada Data Lakes vs Data Warehouse kohta. Samuti läksime edasi ja võrdlesime mõlemat erinevatel parameetritel. See peaks aitama kõigil õppijatel saada põhiidee nende tehnoloogiate taga, mis toetavad Data Lake'i ja Data Warehouse'i.
Soovitatavad artiklid
See on juhend Data Lake vs Data Warehouse suurima erinevuse kohta. Siin on arutatud Data Lake vs Data Warehouse peamisi erinevusi infograafika ja võrdlustabeliga. Võite lisateabe saamiseks vaadata ka järgmisi artikleid -
- Scrum vs juga - peamised erinevused
- MySQL vs MySQLi - kumb on parem?
- Mikroprotsessor vs mikrokontroller
- Küsimused andmete modelleerimise kohta