Pipeline megvalósítása Apache Airflow-val
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | Diplomadolgozat |
| Kulcsszavak: | Apache Airflow Docker etl Pipeline Python |
| Online Access: | http://dolgozattar.uni-bge.hu/54956 |
MARC
| LEADER | 00000nta a2200000 i 4500 | ||
|---|---|---|---|
| 001 | dolg54956 | ||
| 005 | 20240711074844.0 | ||
| 008 | 240711suuuu hu om 000 hun d | ||
| 040 | |a BGE Dolgozattár Repozitórium |b hun | ||
| 041 | |a hu | ||
| 100 | 1 | |a Székeli Szeverin | |
| 245 | 1 | 0 | |a Pipeline megvalósítása Apache Airflow-val |c Székeli Szeverin |h [elektronikus dokumentum] |
| 520 | 3 | |a Szakdolgozatom célja az volt, hogy a munkahelyemen tapasztalt üzleti igények és alkalmazott szoftverek, technológiák segítségével kialakítsak egy otthoni környezetben is működő alkalmazást. Üzleti igényként azt fogalmazta meg, hogy az adatok centralizáltan helyen tárolódjanak, valamint szükség esetén az adatok transzformálva legyenek. A megvalósításhoz a workflow módszert választottam, amelyet Apache Airflow segítségével valósítottam meg, amelyben pipeline-ket hoztam létre. A szakdolgozatomban bemutatom az Airflow működését, alapvető komponenseit, megvalósíthatóságát, valamint, a különböző pipeline-ket. Ezen kívül bemutattam a data engineer területet és azokat a szoftvereket, amiket használnak. Az alkalmazás implementálásához a Dockert mint konténer technológiát és a DBeaver SQL - klienst használtam. A flow-k implementálása Python programozási nyelvvel valósult meg. A kód egyik flow-a egy data pipeline-nak (MySQL serverről PostgredSQL serverre tölti az adatokat), a másik pedig egy ETL pipeline-k feleltethető meg. | |
| 695 | |a Apache Airflow | ||
| 695 | |a Docker | ||
| 695 | |a etl | ||
| 695 | |a Pipeline | ||
| 695 | |a Python | ||
| 700 | 1 | |a Fauszt Dr. Tibor |e ths | |
| 700 | 1 | |a Pálvölgyi Ferenc |e ths | |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/54956/1/Sz%C3%A9keli_Szeverin_szakdolgozat.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/54956/2/Sz%C3%A9keli_Szeverin_%C3%B6sszefoglal%C3%B3.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/54956/3/Sz%C3%A9keli%20Szeverin%20szakdolgozat-biralat-es-javaslat%202023.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/54956/4/Sz%C3%A9keli_Szeverin_Szakdolgozat_B%C3%ADr%C3%A1lat.pdf |z Dokumentum-elérés |