Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | Diplomadolgozat |
| Kulcsszavak: | adattárház Data Lake Data Migration Hadoop Snowflake |
| Online Access: | http://dolgozattar.uni-bge.hu/44468 |
MARC
| LEADER | 00000nta a2200000 i 4500 | ||
|---|---|---|---|
| 001 | dolg44468 | ||
| 005 | 20230421094715.0 | ||
| 008 | 230421suuuu hu om 000 hun d | ||
| 040 | |a BGE Dolgozattár Repozitórium |b hun | ||
| 041 | |a hu | ||
| 100 | 1 | |a Sipos-Gaudi Vince | |
| 245 | 1 | 3 | |a Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben |c Sipos-Gaudi Vince |h [elektronikus dokumentum] |
| 520 | 3 | |a Tanulmányaimnak köszönhetően hamar egyértelművé vált, hogy szakdolgozatomat adatanalitikai témában szeretném írni. A témakör leszűkítése viszont később érkezett el, miszerint mindenképp olyan technológiát dolgoznék fel, ami a Big Data analitikát támogatja. A szakdolgozatom célja az, hogy egy multinacionális vállalatban történő adatmigrációs folyamatot bemutassak. Természetesen ezt több szempontból is megvizsgálom.Szakirodalmi kutatásomban először az adattárház, illetve a Data Lake fogalmát mutatom be. Összehasonlítom a tradicionális és a felhőalapú megoldásokat, majd részletesebben járom körbe a Hadoop ökoszisztémát. Végül bemutatom az új, Snowflake által biztosított megoldást, illetve az adatmigrációval kapcsolatos főbb tennivalókat.A szakmai áttekintés után bemutatom a jelenleg használatban lévő infrastruktúrát. Ezután vállalati forrásokat vizsgálok meg, hogy kiderítsem, miért is volt szükség migrációra a két technológia között. A fő kérdésem az, hogy milyen tényezők idézték elő ezt a döntést, aztán részleteiben ismertetem a migráció folyamatát egy már létező Hadoop, illetve Snowflake alapú projektkörnyezet között.Minden projektet érdemes kiértékelni annak befejezése után, így én is szerettem volna ezt tenni a teljesítmények tesztelésével és az üzleti hatások vizsgálásával. A dashboardok esetében azoknak a betöltési idejét elemzem a két rendszeren. Ebben a szekcióban ismertetek egy saját fejlesztésű alkalmazást is, ami a tesztelési folyamatot automatizálja. Az így generált adatokat végül egy dashboard formájában mutatom be. A bemutatott vizualizáción egyértelművé válik a drasztikus teljesítménybeli javulás. A rendszeresen ismételt tesztek segítségével lehetőségem volt azt is vizsgálni, hogy milyen stabilitással bír az új ökoszisztéma. Ebből a szempontból is jelentős a fejlődés. Mivel a migráció az adatfolyamokra is hatással van, ezeket is teszteltem, majd az eredményeket az előzőhöz hasonlóan vizualizáltam, elemeztem. A kimenetel az adatfolyamok esetében sem volt különböző. Egyértelmű a lekérdezések futásidejének csökkenése, a rendszer stabilitásának növekedése. Ez nem csak gyorsabban elkészülő adatmodelleket, riportokat eredményez, hanem hatékonyabb modellezési munkafolyamatokat is.Végül a migrációs projekt üzleti hatásait is megvizsgáltam a folyamatért felelős szakemberekkel. A munkafolyamatok lerövidítése mellett a költségcsökkentés is cél volt. Ezt az adatközpontok fenntartásának kiszervezésével, SaaS szolgáltatás igénybevételével tudta elérni a vállalat. Természetesen negatívumok is felmerülhetnek, mint például a harmadik félnél időnként felmerülő meghibásodások, valamint az adatok feletti csökkent tulajdonjog. Bár rizikót vállal a pénzintézet, hogy egy másik vállalat kezeli a szenzitív információkat, biztos lehet abban, hogy az erre specializálódott szolgáltató mindent és hatékonyabban megtesz azért, hogy az ügyfelek adatai biztonságban maradjanak. | |
| 695 | |a adattárház | ||
| 695 | |a Data Lake | ||
| 695 | |a Data Migration | ||
| 695 | |a Hadoop | ||
| 695 | |a Snowflake | ||
| 700 | 1 | |a Bakóczy-Écsy Zsuzsa |e ths | |
| 700 | 1 | |a Kovács Dr. Endre |e ths | |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/44468/1/sipos-gaudi_vince_LQKS0Z.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/44468/2/BA_O_Sipos-Gaudi_Vince.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/44468/3/sipos-gaudi_vince_LQKS0Z_biralat_hitelesitett.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/44468/4/Sipos-Gaudi_Vince.pdf |z Dokumentum-elérés |