Borítókép

Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben

Elmentve itt :

Bibliográfiai részletek
Szerző:	Sipos-Gaudi Vince
További közreműködők:	Bakóczy-Écsy Zsuzsa Kovács Dr. Endre
Dokumentumtípus:	Diplomadolgozat
Kulcsszavak:	adattárház Data Lake Data Migration Hadoop Snowflake
Online Access:	http://dolgozattar.uni-bge.hu/44468

Leíró adatok
Kivonat:	Tanulmányaimnak köszönhetően hamar egyértelművé vált, hogy szakdolgozatomat adatanalitikai témában szeretném írni. A témakör leszűkítése viszont később érkezett el, miszerint mindenképp olyan technológiát dolgoznék fel, ami a Big Data analitikát támogatja. A szakdolgozatom célja az, hogy egy multinacionális vállalatban történő adatmigrációs folyamatot bemutassak. Természetesen ezt több szempontból is megvizsgálom.Szakirodalmi kutatásomban először az adattárház, illetve a Data Lake fogalmát mutatom be. Összehasonlítom a tradicionális és a felhőalapú megoldásokat, majd részletesebben járom körbe a Hadoop ökoszisztémát. Végül bemutatom az új, Snowflake által biztosított megoldást, illetve az adatmigrációval kapcsolatos főbb tennivalókat.A szakmai áttekintés után bemutatom a jelenleg használatban lévő infrastruktúrát. Ezután vállalati forrásokat vizsgálok meg, hogy kiderítsem, miért is volt szükség migrációra a két technológia között. A fő kérdésem az, hogy milyen tényezők idézték elő ezt a döntést, aztán részleteiben ismertetem a migráció folyamatát egy már létező Hadoop, illetve Snowflake alapú projektkörnyezet között.Minden projektet érdemes kiértékelni annak befejezése után, így én is szerettem volna ezt tenni a teljesítmények tesztelésével és az üzleti hatások vizsgálásával. A dashboardok esetében azoknak a betöltési idejét elemzem a két rendszeren. Ebben a szekcióban ismertetek egy saját fejlesztésű alkalmazást is, ami a tesztelési folyamatot automatizálja. Az így generált adatokat végül egy dashboard formájában mutatom be. A bemutatott vizualizáción egyértelművé válik a drasztikus teljesítménybeli javulás. A rendszeresen ismételt tesztek segítségével lehetőségem volt azt is vizsgálni, hogy milyen stabilitással bír az új ökoszisztéma. Ebből a szempontból is jelentős a fejlődés. Mivel a migráció az adatfolyamokra is hatással van, ezeket is teszteltem, majd az eredményeket az előzőhöz hasonlóan vizualizáltam, elemeztem. A kimenetel az adatfolyamok esetében sem volt különböző. Egyértelmű a lekérdezések futásidejének csökkenése, a rendszer stabilitásának növekedése. Ez nem csak gyorsabban elkészülő adatmodelleket, riportokat eredményez, hanem hatékonyabb modellezési munkafolyamatokat is.Végül a migrációs projekt üzleti hatásait is megvizsgáltam a folyamatért felelős szakemberekkel. A munkafolyamatok lerövidítése mellett a költségcsökkentés is cél volt. Ezt az adatközpontok fenntartásának kiszervezésével, SaaS szolgáltatás igénybevételével tudta elérni a vállalat. Természetesen negatívumok is felmerülhetnek, mint például a harmadik félnél időnként felmerülő meghibásodások, valamint az adatok feletti csökkent tulajdonjog. Bár rizikót vállal a pénzintézet, hogy egy másik vállalat kezeli a szenzitív információkat, biztos lehet abban, hogy az erre specializálódott szolgáltató mindent és hatékonyabban megtesz azért, hogy az ügyfelek adatai biztonságban maradjanak.